Posttraining için ortak bir veri havuzu yok, bu yüzden ajanlı RL verisi üretilmelidir

Hacker News'te ana sayfa ilgisini çeken yeni bir OpenAthena analizi, yapay zeka araştırmalarının bulunduğu nokta hakkında net bir iddia ortaya koyuyor: alan, zaten var olan kamusal bir veri havuzunu tüketerek yol aldı, ancak bugün sınır laboratuuarlarının gündeminde olan işin — posttraining, özellikle ajanlı sistemler için — yararlanabileceği eşdeğer bir hazine yok.

Pretraining'in hazır serveti

Deneme şansla başlıyor. Büyük dil modelleri devasa metin derlemleri gerektiriyordu ve onlarca yıllık dijitalleşme bunu çoktan üretmişti: Wikipedia'nın özenle düzenlenmiş ansiklopedisi, petabaytlarca açık kaynak kod, Stack Exchange'te on yılı aşkın soru-cevap birikimi, arXiv'teki bilimsel ön baskılar ve Project Gutenberg'in dijital kitapları — hepsi, 2007'den bu yana düzenli web anlık görüntülerini arşivleyen ve bugün kabaca 10 petabayt veri tutan Common Crawl'ın üzerinde duruyordu.

Denemeye göre GPT-3'ün eğitim verisinin yaklaşık yüzde 60'ı Common Crawl kaynaklıydı ve özgün Llama karışımı neredeyse tamamen internetin ortak havuzundan geliyordu. Büyük oyuncular bugün kendi crawler'larını işletse de — Cloudflare'e göre crawler trafiğinin yarısından fazlası yapay zeka kaynaklı — Nemotron ve OpenAthena'nın kendi modeli gibi modern açık modeller, pretraining verilerinin büyük bölümünde hâlâ o ortak havuza bel bağlıyor. Yazarların sonucu: ona sürekli erişim olmadan gerçekten açık LLM'ler var olamaz.

Belgeler ile task'lar

Analize göre yapısal fark şu: pretraining belge tüketirken posttraining task tüketiyor — ve task'lar doğal olarak kalıcı değiller. İnsan task'ları durumsaldır: birisi bir şey ister, dünyada harekete geçer, koşullar değiştikçe uyum sağlar ve o an aynı biçimde bir daha asla tekrarlanmaz. Deneme, bir etkinliği pekiştirmeli öğrenme (reinforcement learning) task'ı olarak kodlamanın onu dondurduğunu savunuyor; tıpkı sözlü bir hikayeyi yazıya geçirmenin bir anlatımı korurken canlı performansı kaybetmesi gibi.

Her RL task'ı, korunan bir dünya, bir niyet ve bir takım araç gerektirir; ayrıca niyetin ne kadar iyi karşılandığını puanlayan bir grader'a ihtiyaç duyar. İnsanlık, kalıcı belgeler etrafında kurumlar inşa etmek için binlerce yıl harcadı; kalıcı eylem için altyapı inşa etmeye ise çok daha az zaman ayırdı.

Yazılım, neredeyse-istisna

Bir alan onlarca yıldır task'ları yazıya döküyor: yazılım mühendisliği. Versiyon kontrol geçmişi korur, sürekli entegrasyon ve unit test'lar prosedürleri kaydeder ve container'lar kontrollü ortamları paketler — hepsi, bir agent'ın bir task'ı özdeş bir başlangıç noktasından yeniden denemesine izin veren determinizme dayanır; RL algoritmalarının tam da tercih ettiği şey budur. Yine de deneme, yazılımın eksik kalıcı olduğuna dikkat çekiyor: bağımlılıklar kaybolur, bitler çürür ve Debian, 2013'ten beri yeniden üretilebilir (reproducible) build'lar üzerinde çalışıyor olmasına rağmen dağıtımını tamamen yeniden üretilebilir olarak nitelemiyor.

SWE-bench hunisi

Teoride, açık kaynak repository'ler her bileşeni sağlar: bir zaman noktasındaki repository dünyadır, shell ve derleyici araçlardır, issue'lar ve pull request'lar niyeti geri kazanır ve geçen test'ler grader görevi görür — özünde özgün SWE-bench çerçevesi. Denemenin aktardığı rakamlar bu dönüşümün ne kadar kayıplı olduğunu gösteriyor. SWE-bench'in yazarları 12 Python repository'sinden kabaca 90.000 pull request topladı ve yalnızca yaklaşık sekizde biri çerçeveye bile eşlenebildi; çoğu birleştirilmemişti, issue'lara bağlı değildi ya da hiç test değiştirmiyordu. Geriye kalan 11.407'nin yaklaşık yüzde 80'i, ortamlar yeniden inşa edilemediği veya grader'lar başarısız olduğu için çalıştırılabilir task'lara dönüştürülemedi ve 2.294 task kaldı.

Bir yıl sonra OpenAI, rastgele örneklenmiş 1.699 task'ı elle incelemek için 93 deneyimli Python geliştiricisi işe aldı. Üçte ikiden fazlası, yetersiz tanımlanmış prompt'lar, haksız test'ler veya diğer büyük sorunlar nedeniyle çıkarılmak üzere işaretlendi ve 500 "Verified" task ortaya çıktı — ve sonraki bir denetim, sorunlu bir alt kümenin task'larının kabaca diğer altıda birinde daha kusur buldu.

Denemenin çıkardığı ders şu: eksik bilgi çoğu zaman hiç kaydedilmemişti ve bu da web metnini temizlemek ile task inşa etmeyi niteliksel olarak farklı sorunlar hâline getiriyor. Posttraining veri çalışması, seçme-düzeltmeye değil, üretime benziyor.

Neden önemli

Yetenek kazanımları — ve hizalama (alignment) diye anılan şeyin büyük bölümü — artık posttraining'den geliyorsa, kıt girdi kazınmış metin değil; üretilmiş, puanlanabilir task'lardır. Bu, kimin rekabet edebileceğini yeniden şekillendiriyor: ortamları, grader'ları ve ölçekli insan incelemesini finanse edebilen kuruluşlar, kamusal verinin telafi edemeyeceği bir avantaj elde ediyor ve pretraining'in ortak havuzuna bel bağlamış açık çabaların, posttraining için madencilik yapabileceği eşdeğer bir kaynak bulunmuyor. İleriye dönük pratik soru yalnızca posttraining'in ne kadar compute tükettiği değil; onun beslendiği task verisini kimin inşa edip doğrulayabileceği — ve kalıcı task'lardan oluşan gerçek bir ortak havuzun hiç inşa edilip edilemeyeceği.