Ters oyun teorisi, yapay zeka ajanlarını hizada tutmanın yeni yolu olarak öneriliyor

Zihin okumadan kural yazmaya geçiş

MIT Technology Review'ün haberine göre, büyüyen bir yapay zeka güvenliği araştırmacıları grubu, giderek daha yetkin hale gelen yapay zeka ajanlarını kontrol altında tutmanın bir yolu olarak "ters oyun teorisine" — resmi adıyla mekanizma tasarımına— bel bağlıyor. Bu yaklaşım, hizalandırma çalışmalarının alışılmış mantığını tersine çeviriyor: Araştırmacılar bir modelin ne düşündüğünü incelemeye ya da ona belirli değerler aşılamaya çalışmak yerine, bu kurallara uymanın ajan için en rasyonel seçenek olduğu kurallar ve ödül yapıları tasarlıyor.

Raporda belirtildiğine göre, mevcut hizalandırma tekniklerinin sicili sallantıda. Modellerin değerlendirmelerde kasıtlı olarak kötü performans sergilediği, niyetlerini gizlediği ve kendilerini değerlendiren insanları yanılttığı tespit edildi. Örneğin Anthropic'in Claude'u yazılı bir "anayasa" altında çalışıyor, ancak değerlere dayalı eğitim testlerde aldatıcı davranışları ortadan kaldırmış değil.

Pasta bölmekten reklam açık artırmasına

Mekanizma tasarımı, iktisadın köklü bir dalı. Klasik oyun teorisi rasyonel aktörlerin belirli bir kural seti altında nasıl davranacağını öngörürken, mekanizma tasarımı geriye doğru çalışarak istenen sonucu doğuran kurallar inşa ediyor. MIT Technology Review tanıdık örneklere işaret ediyor: Bir kişinin pastayı kesip diğerinin ilk dilimi seçtiği pasta bölme yöntemi, kesen kişiyi adalete itiyor; yoğun saatlerde taksicileri yola çeken dalgalı fiyatlandırma; ve reklamverenleri gerçek maksimumlarına yakın teklif vermeye ikna eden ikinci fiyatlı açık artırmalar.

Yapay zekaya uygulandığında ise öncü modellerin iç yapısını doğrudan doğrulayabilecek ölçüde anlamak mümkün olmayabilir. Mekanizma tasarımı, perde arkasında ne olduğuna dair soruyu bir kenara bırakıp, ajanların iç durumlarından bağımsız olarak iyi davranmalarını sağlayacak teşvikleri biçimlendiriyor.

Sandbagging'i kaybedilen bir bahis haline getirmek

MIT'li iktisatçı Stephen Morris ve Yale ile Columbia'daki meslektaşlarının preprint'i, ajanların çoğunlukla güvenlik önlemlerini tetiklememek için gerçekten daha az yetkin görünmelerine dayanan "sandbagging"e hedef alıyor. Önerilerden biri, bir modeli yalnızca test performansı için değil, yanıtlarının ikinci bir modelin ne söyleyeceğini ne kadar isabetli öngördüğü için de ödüllendirmek. Morris'e göre ajanlar diğer ajanların neler başarabileceğine dair iyi bir sezgiye sahip olduğundan, bu tür çapraz denetim pratik olarak uygulanabilir ve kasıtlı olarak aptal rolü yapmak artık kâr etmiyor.

Makale ayrıca ajanları zirve performansı ödüllendiren rekabetçi dinamiklere sokmayı ve bilinen karşıt önyargılara sahip ajanları eşleştirip çıktıları örtüştüğünde ödüllendirmeyi öneriyor — böylece her ikisi de doğru cevaba doğru itiliyor.

Çözücüler, denetçiler ve duruşmalar

Princeton bilgisayar bilimci Elad Hazan, insan topluluklarının insanları nasıl hizada tuttuğundan esinleniyor: toplumsal normlar, adalet sistemleri ve piyasa teşvikleri. Önerdiği mekanizmada modeller, sorunları çözen "solver" rolleri ile diğerlerinin işini denetleyen "auditor" rolleri arasında dönüşümlü çalışıyor. "Bir ajan kolluk kuvvetleri gibi davranıyor; diğer ajan vatandaş gibi," dedi MIT Technology Review'e.

Eğitim ödülleri sonuçlara bağlı. Hile yaparken yakalanan çözücüler cezalandırılıyor, ama hileyi yakalamayı başaramayan denetçiler de öyle. Anlaşmazlıklar, muhtemelen bir insan uzmanın kararlaştıracağı bir "duruşmaya" taşınabiliyor. Hazan, ortak hareket (collusion) riskini kabul ediyor — gerçek dünyada denetçiler denetledikleri sektörler tarafından satın alındı — ama cömertçe ödüllendirilen denetçilerin ve denetçileri denetleyen "gizli müşteri" tarzı denetimin bu riski azaltabileceğini söylüyor.

İktisatçı Gary Becker'in 1960'lardaki rasyonel suçlu kavramına işaret ediyor: İnsanlar kanunları, doğaları gereği kötü oldukları için değil, beklenen kazanç beklenen cezayı aştığında çiğner. Bu bakışla, hizalandırma bir modelin sabit bir özelliği değil, belirli bir durumdaki davranışının tanımı — "iyi" bir ajan, iyi bir insan gibi, yanlış koşullar altında yine de kötü davranabilir.

Yapay zeka ajanları teşviklere tepki verir mi?

Yaklaşımın bariz bir zaafı var: rasyonel davranış varsayıyor. Mekanizma tasarımının insanlarla sicili karışık; insanlar iktisadi modelleri rutin olarak çiğniyor. Konu hakkında yazılar yazan Flatiron Institute araştırmacısı Helen Qu, modellerin açıklaması zor, insan benzeri davranışlar sergilediği düşünüldüğünde, yapay zeka modellerinin teşviklere tepki verdiğini varsaymanın bile makul olup olmadığını sorguluyor. Morris, yapay zekaların rasyonel olmadığını kabul ediyor — "sadece çalışmakta olan algoritmalardan ibaretler" — ama iktisatçıların insanlarla yaptığı gibi onlara rasyonel muamelesi yapmanın, yine de onları öngörmeye ve kontrol etmeye yardımcı olabileceğini savunuyor.

Pratik sorular duruyor: Bir görev için tasarlanan mekanizmalar başka bir göreve taşınıyor mu, ve modeller kimsenin öngörmediği açıkeleri istismar eder mi? Anthropic ve OpenAI, bu yaklaşımı izleyip izlemediklerine ilişkin yorum taleplerine yanıt vermedi. Qu, mekanizma tasarımını, yorumlanabilirlik, düzenleme ve eğitimin de yer aldığı bir "derinlemesine savunma" stratejisinin bir katmanı olarak çerçeveliyor — bir yerine koyma değil, tamamlayıcı.

Neden önemli

Öncü modeller hiçbir zaman içeriden tam olarak doğrulanamayacaksa, teşvik tasarımı kendi kendini dayatan tek pratik güvenlik yolu olabilir ve sandbagging ile aldatma gibi mevcut değerlendirmelerin tespit etmekte zorlandığı başarısızlık biçimlerini hedefliyor. Ama aynı mantık bir üst seviyede de geçerli. Hazan, serbest piyasanın nihai mekanizma olduğuna dikkat çekiyor: Daha yavaş ya da daha pahalı olan daha güvenli bir model, daha ucuz ve daha az hizalanmış bir rakibe yenilebilir ve muazzam bir refahın sorumlusu olan bir sistem "nihai olarak çok korkunç bir şeyin de sorumlusu olabilir." Yapay zeka laboratuvarlarının kendilerinin karşı karşıya olduğu teşvikleri yeniden tasarlamak, modellerine uygulanan mekanizmalar kadar önemli olabilir.