Dream-RSI makalesi, yapay zekâ özkendini geliştirmesini ucuzlatmak için geçmiş keşiflerin yeniden oynatılmasını öneriyor

Makale ne öneriyor

Tong Zheng ve on altı ortak yazar tarafından kaleme alınan "Dream-RSI: Recursive Self-Improvement through Evolving Worlds" başlıklı ön baskı, 14 Eylül 2026'da arXiv'de yayınlandı ve iki gün sonra Hacker News ana sayfasına ulaştı. Makale, güncel ajan araştırmalarının merkezinde yer alan bir soruyu ele alıyor: Bir yapay zekâ sistemi, her deneme için tam bedeli ödemeden, çözüm arama eyleminde nasıl daha iyi hale gelir?

Makaleye göre Dream-RSI, mevcut bir kodlama ajanının üzerine yerleştirilmiş ince bir orkestrasyon katmanı. Görevi, keşfi — ajanın sırada nereye bakacağına karar veren stratejiyi — ajanın içinden çıkarıp ayrı, programlanabilir bir katmana taşımak; temeldeki modele ise dokunmamak.

Keşif darboğazı

Yazarlar, özerk ajanlar için özyinelemeli özkendini geliştirmenin etkili keşfe bağlı olduğunu ve keşfin mevcut sistemlerin en kötü yönettiği kısım olduğunu savunuyor. Bir ikilem tarif ediyorlar: Önceden sabitlenen stratejiler, arama uzayı büyüdükçe uyum sağlamayı bırakıyor. Ancak stratejiyi çevrimiçi ayarlamak, devasa aday politika meta-uzaylarında optimizasyon yapmak anlamına geliyor; geri bildirim ise geç geliyor ve pahalıya mal oluyor, çünkü bir stratejiyi değerlendirmek, gerçekten bir şey bulup bulmadığını görmek için uzun rollouts çalıştırmayı gerektiriyor.

Basitçe söylemek gerekirse, aramayı öğrenmenin kendisi de bir arama problemidir ve aramaya dair her hipotezi gerçekten uygulayarak test etmek pahalıdır.

Geçmiş keşifler üzerinde hayal kurmak

Makalenin kilit hamlesi, ajanın zaten yapmış olduğu işi geri dönüştürmek. Keşif geçmişi — önceki çalışmalarda biriken denemelerin, dallanmaların ve sonuçların ağacı — arama uzayının fiilen ziyaret edilmiş bölümünü kapsayan bir yeniden oynatma simülatörü olarak da kullanılabilir.

Dream-RSI daha sonra "hayal kurar": aday keşif politikalarını, çevrimiçi değil, bu yeniden oynatılan dünya içinde dener. Bu sayede bir politikanın iyi çözümleri bulup bulacağına dair hızlı, ucuz ve off-policy geri bildirim alınır; tekrarlanan canlı değerlendirmelere gerek kalmaz. İyileştirilmiş politika yeni keşifleri yönlendirmek üzere çevrimiçi olarak yeniden devreye alınır ve bu keşifler simülatör havuzunu genişleterek bir sonraki turu besler — başlıktaki "evolving worlds" ifadesinin anlattığı görülen döngü tam olarak bu.

Makale ne rapor ediyor

Özet, üç alanda değerlendirme yapıldığını iddia ediyor: algoritma mühendisliği, matematiksel optimizasyon ve GPU kernel mühendisliği. Yazarlar bu alanlarda, mevcut yaklaşımlarla rekabetçi veya onlardan daha iyi keşif kalitesinin, çeşitli konfigürasyonlarda ise keşif maliyetinin keskin biçimde düştüğünün yanı sıra rapor ediyorlar. Özette spesifik rakamlar yer almadığından kazanımların büyüklüğünü tam metnin kanıtlaması gerekiyor; ayrıca bir arXiv ön baskısı olarak bu çalışma henüz hakem değerlendirmesinden geçmiş değil.

Neden önemli

Açık uçlu görevlerde — daha hızlı kernel'lar yazmak ya da yeni algoritmalar keşfetmek gibi — ajan eğiten herkes için keşif maliyeti pratik bir kısıt: işlem gücünün çoğu, dersleri bir kez kullanılıp atılan rollouts'lara harcanıyor. Yeniden oynatma simülatörü fikri bu yan ürünü kalıcı bir varlığa dönüştürüyor — keşif politiginin kendisi için, zaten bedeli ödenmiş verilerden inşa edilmiş bir eğitim ortamı.

Sonuçlar tutarsa, bu yaklaşım daha ucuz ajan eğitim hatlarına ve "özyinelemeli özkendini geliştirme"nin genellikle belirsiz bıraktığı döngüye somut bir mekanizmaya işaret ediyor: arama yeteneği ölçülebilir biçimde gelişen bir ajan. Bu aynı zamanda daha geniş bir sektör eğilimiyle de örtüşüyor — temeldeki modeli yeniden eğitmek yerine, onu sarmalayıp çevresindeki iskeleyi geliştirmek.