The Verge yerel yapay zekayı test ediyor: açık kaynak bir agent ve 125 milyar parametreli bir Qwen modeli

The Verge, incelemeci Antonio G. Di Benedetto'nun yerel yapay zekayı bir yenilik değil, günlük bir araca dönüştürmeye çalıştığı bir test günlüsünün ilk bölümünü yayımladı. Motivasyon gizlilik: kişisel verileri bulut hizmetlerine teslim etmenin, düzenli yapay zeka kullanımından kaçınmasının ana nedeni olduğunu yazıyor ve modelleri kendi donanımında çalıştırmak bunu aşmanın bir yolu sunuyor.

Kurulum

Di Benedetto, macOS, Windows ve Linux'ta çalışan, açık kaynak ve self-hosted bir yapay zeka agent masaüstü uygulaması olan Hermes Agent'ı kurdu; uygulama yerel modellerle eşleştirildiği sürece ücretsiz. Makine, 256GB birleşik belleğe sahip bir M5 Ultra Mac Studio — neredeyse mevcut herhangi bir modeli çalıştırmaya yetecek kadar, diye not düşüyor. Qwen 3.8 Flash Next'i, yaklaşık 105GB boyutunda 125 milyar parametreli bir model, seçti; gerekçesi, bir model yerel çalıştığında token maliyetlerinin ortadan kalkması, dolayısıyla küçükten başlamak için pek neden bulunmaması. Ayrıca daha küçük Qwen modellerini bir M6 Mac Mini, bir M5 MacBook Air, AMD Strix Halo işlemcili bir Asus TUF Gaming A14 ve yakında çıkacak RTX Spark makinelerinde test etmeyi planlıyor.

Burada donanım bağlamı önemli. The Verge'e göre Apple, yeni Mac masaüstülerini kısmen yerel yapay zeka yetenekleri üzerinden pazarlıyor ve agentic yapay zekaya yönelik, 128GB'a kadar RAM'e sahip RTX Spark Windows makineleri yakında piyasaya çıkıyor. Apple, Di Benedetto'nun katıldığı bir brifingde dört Mac Studio'dan oluşan — yaklaşık 50.000 dolarlık bir işlem gücü — bir kümeyi yerel yapay zeka için bağlanmış şekilde de gösterdi.

Agent gerçekte ne yaptı

İlk görevler bilerek küçüktü. Bir cron job olarak zamanlanan ve bir Telegram botu üzerinden iletilen günlük 07:30 brifingi, e-postalarını ve takvimini tarıyor ve kısa bir hava durumu raporu ekliyor. Başta defalarca başarısız oldu; ta ki görev tetiklendiğinde Mac'in uyku modunda olmaması gerektiğini fark edene kadar. Brifingin özellikle yararlı olmadığını ve 12.000 dolarlık bir bilgisayar gerektirmediğini kabul ediyor, ama artık saat gibi işliyor.

Daha kapsamlı bir iş, 400'den fazla oyunluk bir Steam kütüphanesini yeniden düzenlemekti. Bir Steam web API anahtarını kaydedip Hermes'e yetki verdikten sonra — iş biter bitmez bu yetkiyi geri aldı — agent, koleksiyonu favoriler, co-op oyunları ve parti oyunları gibi kendi kategorilerini koruyarak birkaç dakika içinde türlere göre ayarladı.

Veri analizi gizlilik noktasını en net şekilde kanıtladı. Hermes'e kişisel finans kayıtlarını işlettirdi ve bir dizüstü bilgisayar için bir teknik özellik karşılaştırma tablosu hazırlattı; ikincisi, embargo altındaki bilgileri içeriyordu. Bu verileri kendi makinesinde tutmanın, bu görevler için yapay zeka kullanıp kullanmayacağını belirleyen asıl etken olduğunu yazıyor.

En büyük devam eden proje, bir dizüstü bilgisayarın benchmark testlerini otomatikleştirmek; burada ortalama alınması için on civarı test her seferinde üç kez çalıştırılıyor. Hermes'e gerekli prosedürleri adım adım anlatmak ve ondan kullanılabilir Python scriptleri elde etmek bile başlı başına bir uğraş oldu ve iş hâlâ bitmiş değil.

Kaba kenarlar

Günlüğün ana sonucu — heyecan verici, bunaltıcı ve sinir bozucu — ayrıntılarda da doğrulanıyor. Çoğu özel kullanım amaçlı olan, mevcut modellerin salt sayısı bunaltının ilk kaynağıydı. Daha çarpıcı olanı, 125 milyar parametreli bir model bile sihirli bir asistan anlamına gelmiyor: düzeltildikten sonra günlük brifing birden çok kez yeniden bozuldu. Di Benedetto, Hermes'i ve yerel yapay zekayı kesinlikle dijital bir yardımcı değil araç olarak görüyor ve testler sürerken tetikte ve temkinli kalmayı amaçladığını söylüyor.

Neden önemli

Bu, donanım üreticilerinin aktif olarak bahis oynadığı bir kaymaya dair erken saha raporu: tamamen kullanıcının kendi makinesinde çalışan, dosyalar, takvimler ve üçüncü taraf API'ler üzerinde harekete geçebilen bir agent'a bağlı, yetenekli modeller. Yapay zekaya engeli veri gizliliği olan insanlar için — finans kayıtları, embargo altındaki materyaller, kişisel yazışmalar — yerel çalıştırma bu temel itirazı ortadan kaldırıyor ve Steam kütüphanesi ile veri analizi görevleri gerçekten yararlı sonuçlar gösteriyor. Ama ödünleşmeler de aynı derecede net: belleği bol donanıma ciddi harcama, kafa karıştırıcı bir model manzarası, her entegrasyon için izin yönetimi ve hâlâ sorun giderme gerektiren bir güvenilirlik. Yerel yapay zeka, emek vermeye istekli meraklılar için pratik hale geliyor ama henüz bulut asistanlarının eli boş bir ikamesi değil.