METR raporu: Anthropic'in model geliştirme hızını ikiye katlayan şey, yapay zekânın kendisi

Hızlanmayı sağlayan yapay zekânın kendisi

Güvenlik araştırma kuruluşu METR, Anthropic içinde 11 hafta geçirdikten sonra, şirketin modellerinin bir yıl öncesine kıyasla kabaca iki kat daha hızlı geliştiği sonucuna vardı — ve bu hızlanmanın büyük bölümünden eklenen işlem gücü değil, yapay zekânın kendisi sorumluydu. Perşembe günü yayımlanan ve The Verge'un ayrıntılı olarak ele aldığı bir raporun temel bulgusu bu. The Verge, incelemenin geçen ay duyurulan ve güvenlik araştırmacılarına Anthropic sistemlerine çalışanlara benzer bir erişim tanıyan programdan ayrı olduğunu belirtiyor.

METR'in benchmark analizi, Anthropic'in yaklaşık iki yıllık tarihsel ilerlemeyi son on iki ayın içine sığdırdığına işaret ediyor. Araştırmacılar, hızlanmanın geleneksel yapay zekâ ilerlemesinin motoru olan eğitim işlem gücünün ölçeklendirilmesinden gelmediğinden emin olduklarını söyledi. Bunun yerine, ekim itibarıyla kazanımın büyük bölümü yapay zekâya atfedilebilir ve bu pay sürekli büyüyor.

On iki kat verimlilik iddiası

The Verge'a göre, resmi olmayan Slack anketleri ve personel görüşmeleri tabloyu destekledi. Anthropic'in en yetenekli iç modelini kullanan çalışanlar, yapay zekâ desteği olmadan olabileceklerine kıyasla kabaca on iki kat daha verimli olduklarını bildirdi — bu, aynı personelin birkaç ay önce Mythos 5 adlı bir modeli kullanırken bildirdiği değerin yaklaşık iki katı.

Hızlanmanın büyük bölümü şu anda yapay zekânın kendi başına çalışmasından değil, insan araştırmacılara yardım etmesinden geliyor. Ancak METR, tamamen otonom katkıların yakında artmaya hazır göründüğü uyarısında bulundu ve daha da hızlı bir ilerlemeyi engelleyecek azalan getiri veya darboğaz belirtileri bulamadı.

Hikâyenin bir kısmı, Anthropic dışında kimsenin kullanmadığı modellere dayanıyor. METR, laboratuvarın geçtiğimiz altı ayda üç yayımlanmamış modeli — temmuz ve ekim arasında tamamlanan Model 2, Model 3 ve Model 4 — eğitim tamamladığını, ayrıca 2022'ye tarihlenen yayımlanmamış bir modelin de bulunduğunu söylüyor.

Sansür, en yararlı kanıtı kesti

METR, Anthropic'e kabaca 100 sayfalık bir değerlendirme sundu, ancak işbirliği şartları gereği Anthropic herkese açık sürümü sansürleyebildi ve bunu yoğun biçimde yaptı. METR, en bilgilendirici bulduğu kanıtların çoğunun çıkarıldığını, bilgi akışının dar olduğunu ve veri taleplerinin küçük bir bölümünün reddedildiğini söyledi.

Bu durum önemli, çünkü gizli tutulan malzeme birden fazla yoruma izin verebilir; yani halk, bu ağırlıktaki sorularda METR'in kendi açısından sağlıklı bulduğundan çok daha fazlasına kuruluşun kararına güvenmek zorunda. Anthropic, kesintileri rekabet gerekçeleriyle savundu ve ayrıntıların rakiplere yardımcı olabileceğini ileri sürdü. METR, sansürlenen malzemenin çoğunun üst düzey olduğunu belirtti ve ticari gerekçenin sağlam olup olmadığını değerlendiremeyeceğini söyledi.

Anthropic'in kurucu ortağı Sam McCandlish bu dengeleri kamuya açık olarak kabul etti; sansürün METR'in çalışmasını doğrulamayı zorlaştırdığını itiraf etti ancak hızlanmayı tam olarak neyin tetiklediğini açıklamanın rakiplere daha hızlı ilerleme yol haritası vereceğini savundu. Anthropic'in yapay zekâ ilerleme hızıyla ilgili kendi raporunu, yeni güvenlik önlemleriyle birlikte birkaç hafta içinde yayımlayacağını söyledi.

Anthropic'in kendi uyarılarıyla çelişki

Bulgular, Anthropic'in konumunun merkezinde bir çelişki gören güvenlik araştırmacılarının eleştirilerine maruz kaldı: Şirket, temkin çağrısı yapan en yüksek seslerden biri olageldi — CEO Dario Amodei laboratuvarları kamuya açık olarak yavaşlamaya çağırdı — ama aynı zamanda birçok kişinin öngördüğünden daha hızlı geliştirme hızlanırken, halka arz için de hazırlanıyor.

Bazı gözlemcilere göre veriler, yapay zekâ ilerlemesine dair saldırgan zaman çizelgelerinin bile fazla muhafazakâr olabileceğine ve yapay zekâ sistemlerinin sınırlı insan katılımıyla giderek daha yetenekli halefler inşa ettiği özyinelemeli kendi kendini geliştirme sürecinin varsayılandan daha yakın olabileceğine işaret ediyor. METR'in raporu yalnızca Anthropic'i kapsıyor; The Verge, OpenAI'nin eylülde derin öğrenme ve hizalama çalışmalarını ilerletebilecek bir yapay zekâ araştırmacısına doğru güçlü bir ilerleme kaydettiğini ve bunu mart 2028'e kadar başarabileceğini söylediğini belirtiyor.

Neden önemli

Bu, yapay zekânın kendi gelişiminin temel bir girdisi haline geldiğine dair en net kamusal kanıtlardan biri. Sınır modellerin gelişim hızı artık işlem gücüne veya personel sayısına değil yapay zekâ desteğine bağlıysa, düzenlemeyi, güvenlik araştırmalarını ve yatırımı bilgilendiren zaman çizelgeleri, gelmekte olan dünyadan daha yavaş bir dünyaya göre kalibre edilmiş olabilir. METR, daha fazla hızlanmayı engelleyecek bir darboğaz görmüyor ve otonom katkıların büyümesini bekliyor.

En az bunun kadar önemli olanı ise olayın denetim hakkında ortaya çıkardıkları. En bilgilendirici kanıt sansürlendi, dolayısıyla halk METR'in sonuçlarını büyük ölçüde güvene dayanarak kabul etmek zorunda. Güvenlik uygulamaları ve bağımsız incelemenin yapay zekâ güdümlü gelişmeye ayak uydurup uyduramayacağı şimdiki açık soru — ve bu rapor, bunun yalnızca kontrol edilmesinin bile ne kadar zor olduğunu gösteriyor.