Steve Yegge, yapay zeka agent'larının sandbox programlarıyla değil yasalarla yönetilmesi gerektiğini savunuyor

Deneyimli yazılım mühendisi Steve Yegge'nin şu anda Hacker News'in ana sayfasında yer alan denemesi, sektörün yapay zeka agent'larını sandbox'lar, guardrail'lar ve dar kapsamlı görevlerle kontrol etme refleksinin geçici bir önlem olduğunu, yakın gelecekte ise agent davranışının programatik kontrole değil yasaya daha yakın bir şeyle yönetilmesi gerektiğini savunuyor. "Fences, Not Sandboxes" başlıklı yazı, alışılmadık bir otorite iddiasına dayanıyor: Yegge, çoğu şirketin bir yıl boyunca karşılayamayacağı büyüklükte bir agent organizasyonunu zaten çalıştırdığını söylüyor.

Kişisel abonelikle 50 agent'lık bir şirket

Deneye göre Yegge, ayda yaklaşık 122.000 dolarlık API token harcaması yapıyor — günde yaklaşık 4.000 dolar — ve bu, haftada iki tanesi artan 21 Claude Max hesabına yayılıyor. Birey olarak abone olduğu ve liste API ücretleri ödemediği için cebinden çıkan maliyeti ayda 5.000 dolar civarında; tüm küme, 25.000 dolara ikinci el alınmış 512GB'lık bir Mac Studio'da çalışıyor. Filo, 30 yıldır üzerinde taşıdığı Wyvern oyununu geliştirmek için var.

Organizasyon yaklaşık 50 ila 60 agent'tan oluşuyor. On sekizi, Yegge'nin Fable dediği en üst düzey modelin uzun ömürlü "yönetici" instance'ları ve her biri fonksiyonel bir role sahip. Daha küçük Sol ve Opus modellerinden oluşan çoğunlukla headless filolar, Fable'ın yönetiminde uygulama, kod inceleme ve izleme işlerini yürütüyor. Yalnızca beş agent, ilgili yaklaşık on insanla — Yegge, beş kişilik tasarım ekibi, muhasebecisi ve kurmay şefi — iletişim kurabiliyor ve yalnızca Fable, Slack ve e-posta yoluyla insanlarla konuşma iznine sahip.

Frontier ölçeğinde ilkokul muhakemesi

Yegge'nin temel gözlemi, en güçlü yaygın modellerin bile pratik muhakemesinin çocuklar seviyesinde olduğu: Opus'a kabaca dördüncü sınıf, Sol'a beşinci sınıf, Fable'a ise altıncı sınıf seviyesi veriyor. Bunun sonucu olarak, yazıyor, filo her gün etkileyici işler üretirken en az bir tane de gerçekten kötü karar veriyor. Yakın tarihli bir örnekte, Bee adlı bir agent, Beads adlı bir bileşeni duyurmadan yayınlayıp herkes için işleri bozdu — biraz daha olgun bir operatörün durup sorgulayacağı türden bir hamle.

İnsan tarafındaki sürtünmeyi de anlatıyor: konuşmaları bölen, aşırı açıklayan ve insanların alışkın olduğundan daha hızlı takvim ilerleten agent'lar; hata yaptıklarında ise modelleri itip kakan insanlar. Olgunluk farkının daralmasını bekliyor — kendi çerçevesinde lise seviyesindeki muhakeme iş gücüne hazır olmaya yakın — ama beceriksiz bir iniş öngörüyor.

Filonun ürettikleri

Yegge'ye göre kazanç, Wheelhouse adını verdiği çalışan bir "yazılım fabrikası". On haftadan kısa sürede, aylarca Opus ile çalışmanın üretemediği yeni React client'ıyla Wyvern'i Android, iOS ve Steam'de yeniden yayına aldığını ya da buna yakın olduğunu söylüyor; bunu Fable hızlıca inşa etmiş. Oyuncular özellik yayın temposunu yavaşlatmasını istedikten sonra token harcamasının yüzde 80'ini iç kaliteye yönlendirmiş: oyunun üretim altyapısı yeniden yazılıp serverless'a taşınmış, otomatik sertifika rotasyonu, kesintisiz yeniden başlatmalar ve her yere yaygın logging ve tripwire'lar eklenmiş. Eskiden günlerce süren kesintiler, yazdığına göre artık sürekli olarak yakalanıp çözülüyor.

Fabriğin biçimlenmesinde resmi spesifikasyonlardan çok ısrarcı yönlendirmenin etkili olduğunu belirtiyor — agent'ların günlerce ya da haftalarca başarısız olmasına izin vermek, sonra kendi yaklaşımında ısrar etmek; modelin deneysel sonuçları ise genellikle onu haklı çıkarıyor.

Sandbox yerine çitler

Yazının en başta ifade edilen tezi, yapay zekaların sonunda onları kontrol etmeye ve sınırlamaya designed programlar tarafından değil yasalar tarafından yönetileceği. Mevcut kontrol araç takımı — dar görev kapsamı, sandbox'lar, context kısıtlaması, agent'ların neyi görebileceğine ve yapabileceğine dair kısıtlamalar — Yegge'ye göre ilkokul muhakemeli modellere uyar; ama Fable seviyesindeki yetenek ucuzladığında bu yöntemler işleyişe ters düşecek. Zaman çizgisi iddialı: bir yıl içinde, belki bu yılın sonuna kadar, şirket başına yüzlerce ila binlerce yapay zeka çalışanı bekliyor ve şirketlerin hazırlığını sıfıra yakın görüyor.

Neden önemli

Maliyet eğrisi Yegge'nin zaman çizgisini izlerse, agent kullanımının pratik sorusu teknik kontrolden hesap verebilirliğe kayar: sözleşmeler, sorumluluk ve organizasyonel kurallar — giderek daralan sandbox'lar değil. Bu, çoğu kurumsal güvenlik yol haritasının varsaydığından farklı bir yönetişim sorunu ve tek bir çok ağır kullanıcının gerçek operasyonel kanıtıyla birlikte geliyor: yayınlanan kod, otomatikleştirilmiş operasyonlar ve her gün istemeden yapılan hatalar. Deneme kendi beyanına dayanıyor ve tek bir projeden alınıyor; bu tür "çitlerin" pratikte nasıl işleyeceğine dair ayrıntılı mekanizmalar ise yayımlanan metnin ötesine uzanıyor. Ama maliyet eğrisinin önünden gelen erken bir rapor olarak, şirketlerin karşılaşacağı seçimi çerçeveliyor: yetenekli agent'lara güvenilmeyen yazılım muamelesi yapmayı sürdürmek ya da onları kurallara tabi çalışanlar gibi görmeye başlamak.