Schulman, Millidge ve O'Neill, yapay zekanın özyinelemeli kendini geliştirmesini neyin durdurabileceğini tartışıyor

Dwarkesh Patel, üç öncü araştırmacıyla — John Schulman, Beren Millidge ve Charlie O'Neill — tek bir hipotetik senaryo etrafında şekillenen uzun soluklu bir sohbet yayınladı: 2036 geldiğinde süperzeka sistemleri dünyayı kökten dönüştürmemişse, bunun en olası teknik nedeni ne olurdu? Hacker News ana sayfasına çıkan bölümün listeleme tarihi 11 Eylül 2026 — özyinelemeli kendini geliştirme (RSI) senaryosuna, yani yapay zeka sistemlerinin yapay zeka araştırmalarını anlamlı biçimde hızlandırıp kendi yeteneklerini bileşik olarak artırdığı senaryoya karşı çıkan argümanları en güçlü haliyle ele alarak açılıyor.

Kurulum

Patel, teknik olmayan açıklamaları — siyasi şoklar, savaşlar, yapay zeka yasakları — kasıtlı olarak dışladı ve konuklarından süperzeka dünyasının hiç gerçekleşmemesinin en güçlü teknik argümanını istedi. Üçlü, Patel'in "görece açık" diye nitelediği kuruluşlarda çalışıyor ve bu da kayda geçen bir tartışmaya imkân tanıdı: Schulman, Thinking Machines'te baş bilim insanı; daha önce OpenAI'nin kurucu ortaklarındandı ve ChatGPT'nin ardındaki RLHF çalışmasına öncülük etti; Millidge, açık kaynak model geliştiricisi Zyphra'nın CTO'su; O'Neill ise Baseten'de model eğitim sorumlusu.

Hiç kapanmayan bir genelleme açığı

Millidge'nin aday başarısızlık modu Moravec paradoksunu yankılıyor: sistemler, insanların önlerine koyduğu her şeyi — satranç, zor matematik, benchmark ortamları — fethetmeye devam ediyor ama bu ustalık geniş kapsamlı, dönüştürücü bir etkiye dönüşmüyor. Gerçek bir genelleme kıvılcımı hiç gelmez ve sürekli öğrenme çözülmez kalırsa, yapay zeka kum havuzlarında olağanüstü olabilirken kalıcı bir sim-to-real açığı diğer her şeyi engelleyebilir. Millidge, süperzeka senaryosu başarısız olursa varsayılan açıklamasının bu olduğunu söyledi; ancak pekiştirmeli öğrenmeden genelleme pratikte zaten gözlemlenebilir olduğu için böyle bir sonucu olasılık dışı bulduğunu da ekledi.

Sürekli tekrarlayan hype döngüsü

Schulman çerçeveyle hemfikirdi ama darboğazlara işaret etti. İnsanlar hâlâ bazı avantajlara sahip; her yeni model sürümü bu avantajlardan bir kısmını kapatıyor olsa da, modelin yargısının daha zayıf olduğu ya da kendi çıktısını yeterince iyi doğrulayamadığı her yerde iş tıkanıyor. Birkaç kez yaşanmış bir döngüyü anlattı: bir model çıkıyor, gözlemciler ona AGI diyor ve gerçek kullanımdan kabaca bir ay sonra model, onun deyişiyle "aptal hissettirmeye başlıyor." Schulman'a göre şimdiye kadar patlayıcı bir yetenek artışı görülmemişinin nedeni, araştırma ve mühendislik işinin hâlâ yeterince darboğazlı olması; bir model bir insandan çok daha fazla kod yazsa bile bu, kimseyi 100 kat daha üretken yapmıyor. Bu döngünün, öne sürdüğü gibi, insanların beklediğinden daha fazla kez tekrarlanması mümkün.

Mevcut reçete optimuma yakın mı?

O'Neill soruyu farklı biçimde ortaya koydu: transformer artı pekiştirmeli öğrenme reçetesi, "çipe koyabileceğiniz bir öğrenicinin" global optimumundan ne kadar uzakta? Standart hızlı kalkış argümanı, yapay zeka araştırmasında her insandan azıcık bile olsa iyi bir ajanın yine de kazanacağını savunur; çünkü yüz binlerce ya da milyonlarca kopya, giderek hızlanan donanımda paralel çalışabilir. Onun karşı argümanı Moore yasasına dayanıyordu: grafikteki düz çizgi, devamını sağlamak için her biri ayrıca icat edilmesi gereken bir dizi ayrık yeniliği gizliyordu. Büyük dil modelleri benzer bir örüntü izledi; ön eğitim ölçeklendirmesi getiri azalmasına uğramadan önce RL yeni bir eğri açtı.

İlerleme şimdi bu türden başka bir süreksizlik gerektiriyorsa, O'Neill mevcut paradigmanın ölçeklendirilmesinin — RSI'yi açıkça hedefleyen RL ortamlarıyla bile — bunu bulacağından şüpheli. Mevcut reçeteyi genişleten kümülatif bir atılım ile, gradyan inişi ve sinir ağlarının tümüyle terk edilmesini gerektiren bir yenisini birbirinden ayırdı; ölçeklenmiş modeller ilkinin noktalarını bağlayabilir, ama optimum yeterince uzaktaysa basitçe daha fazla LLM çalıştırmak ona ulaşmak için yeterli olmayabilir. Patel'in bir sonraki süreksizliğin 2012'den beri her şeyden daha zor olup olmayacağı sorusuna O'Neill, cevabı bilmenin onu uygulamaya geçirebilmek anlamına geleceğini söyledi.

Neden önemli

Bu sohbet, öncü tartışmanın şu anda nerede durduğunun bir göstergesi: önde gelen laboratuvarlarda ya da onlara yakın yerlerdeki kıdemli araştırmacılar, özyinelemeli kendini geliştirme hipotezini herhangi bir yönde kesinleşmiş kabul etmek yerine kamuya açık biçimde sınayarak stres testinden geçiriyor. Adlandırdıkları üç fren — kapanmayan bir genelleme açığı, güvenilmez özdoğrulama ve mevcut paradigmadaki bir tavan — önümüzdeki birkaç model döngüsü boyunca izlenebilecek kadar somut ve bu yüzden soyut zaman çizelgesi tartışmalarından daha faydalı. Yayınlanan bölüm notlarına göre aynı bölüm ayrıca Çinli laboratuvarların ilerlemesini neyin sürüklediğine, otomatik yapay zeka araştırmacılarının nasıl eğitileceğine ve RL'nin neden bu kadar iyi çalıştığına da değiniyor.