Anthropic, METR değerlendiricilerine üç kademeli denetim planı kapsamında çalışan benzeri erişim veriyor

Anthropic, METR'i ilk derin erişimli değerlendiricisi olarak içeriye alıyor

Anthropic, sınır modelleri değerlendiren kar amacı gütmeyen kuruluş METR'den bir ekibe, kendi çalışanlarınınkine yakın düzeyde iç sistemlere erişim vermeye başladı. Hacker News'te ortaya çıkan bir duyuruda şirket, bu adımın bir ay önce verdiği taahhütlerin ardından geldiğini belirtti; o taahhütlerde Anthropic, modelleri ve güvenlik uygulamalarına dönük daha güçlü üçüncü taraf değerlendirmeyi vaat etmiş ve katılımcı şirketlerin bağımsız dış denetçiler veya değerlendiricilerle iş birliği yapmayı üstlendiği Beyaz Saray Süper Zeka Uzlaşısını imzalamıştı.

METR risk değerlendirmelerinin sonuçlarını yayımlayacak ve Anthropic bu yayımı veto edemeyeceğini söylüyor.

Uygulamada "çalışan benzeri erişim" ne anlama geliyor

Altı METR çalışanı, Anthropic donanımı, ofis alanı ve Anthropic'in kendi risk değerlendirme ekiplerinin kullandığıyla kabaca eş düzeyde olduğunu tanımladığı iç araçlarla donatıldı. Personel, dar ve açıkça tanımlanmış birkaç istisna dışında — müşteri verileri, avukat-müvekkil gizliliği kapsamındaki materyaller ve Anthropic'in model mimarilerine ilişkin ayrıntılar — onlarla, hizalama riski üzerinde çalışan bir meslektaşıyla paylaşacağı gibi bilgi paylaşmaya teşvik ediliyor.

Anthropic yine de karartma (redaction) isteyebilir, ancak yalnızca dar, önceden tanımlanmış kategoriler içinde. METR bu karartmaları kamuya açık biçimde nitelendirmekte ve haklı olup olmadıklarını belirtmekte özgürdür; yeter ki karartılan bilginin kendisi gizli kalsın. Bu iş birliği, uygulanabilir anlaşmalar altında çalışan küçük bir METR ekibiyle sınırlı; Anthropic ile ayrı projelerde iş birliği yapan araştırmacılar dahil diğer METR personeli bu çalışmadan izole edildi.

Gerekçe ve bir bankacılık benzetmesi

Anthropic'e göre modeller güçlendikçe beraberindeki risk soruları, kamuya açık biçimde tartışabileceği boyutları aştı: bazı ayrıntılar kötü niyetli aktörlere yardımcı olabilirken, işlem gücü ve eğitim bilgileri gibi diğerleri ticari açıdan hassas. Kanıt yayımlayan ve akıl yürütülmüş sonuçlar üreten bağımsız değerlendiricilere derin erişim, şirketin önerdiği orta yol; açıklanan hedef, bir değerlendiricinin bir sınır yapay zeka şirketinin sistemleri hakkında anladığıyla şirketin kendisinin anladığı arasındaki uçurumu daraltmak.

Şirket bu düzenlemeye, en büyük bankaların kendi risk pozisyonlarını dışarıdakilerden daha iyi bildiği için düzenleyicilerin bu bankaların içine yerleşik denetçiler görevlendirdiği banka denetimine benzetiyor. Anthropic değerlendiriciler için dört şart sıralıyor: sınır modeli yeteneklerinde ve hizalama taklidi gibi değerlendirmelerin nasıl ters gidebileceği konularında uzmanlık; bağımsızlık, yani değerlendirilen şirkette hisse olmaması ve ona mali ya da operasyonel bağımlılık bulunmaması; riskleri anlamlı biçimde değerlendirmeye yetecek erişim; ve yayımlama özgürlüğü.

Üç kademeli bir erişim merdiveni

Anthropic programı üç kademe halinde resmileştiriyor. Birinci kademe değerlendiriciler dar kapsamlı incelemeler yürütür; hangi erişimin verileceğine Anthropic karar verir ve bulgular yalnızca onayıyla yayımlanır. İkinci kademe değerlendiriciler onaysız yayımlayabilir ve daha fazla bilgi görür; yine de Anthropic belirli kategorilerin çıkarılmasını isteyebilir ve değerlendiriciler bunu kamuya açık biçimde tartışabilir. Üçüncü kademe, METR düzenlemesidir: çalışan benzeri erişime ikinci kademeden yayımlama hakları eşlik eder.

SecureBio şu anda birinci kademede yer alıyor ve Anthropic'in Ağustos Risk Raporu'nun kimyasal ve biyolojik silahlar bölümünü inceliyor; önceki rapora ilişkin pilot incelemeyi zaten tamamlayıp yayımladı. Anthropic, bu inceleme tamamlandığında SecureBio için genişletilmiş erişim ve yayımlama haklarını değerlendireceğini söylüyor.

Accenture ve Faculty ile ise Anthropic, model değerlendirmesi ve red-teaming, hizalama değerlendirmeleri, koruma testleri ve kurumlar genelinde kapasite oluşturmayı kapsayan daha geniş bir iş birliğine doğru ilerlediğini belirtiyor. Hugging Face dahil birkaç tarafyla da erken görüşmeler sürüyor. Bu ortaklıklar daha yeni olduğu için, söz konusu değerlendiriciler daha sınırlı bilgi alıyor ve daha sınırlı yayımlama haklarına sahip; Anthropic bunu tam yerleştirme öncesi bir güven inşa aşaması olarak çerçeveliyor ve nihayetinde üçüncü kademede, her biri risk duruşu ve kilit kararları hakkında bağımsız analizler yayımlayan birkaç değerlendirici istediğini söylüyor.

Neden önemli

Sınır modellerinin dış değerlendirmesi her zaman bir bilgi asimetrisiyle engellenmiştir: laboratuvarlar sistemleri hakkında onları değerlendiren araştırmacılardan çok daha fazlasını biliyor. Yerleşik denetçi modeli bu uçurumu kapatmaya yönelik ciddi bir girişim ve Anthropic her sınır yapay zeka şirketini bunu gönüllü olarak benimsemeye açıkça çağırıyor. Test usulden çok somut olacak: METR'in analizinin ne kadarı karartma kategorilerinden sağlam çıkacak, bağımsızlık tekrarlanan değerlendirmeler boyunca koruyacak ve diğer laboratuvarlar ile Uzlaşının imzacıları uyacak mı? İlk yerleşik değerlendirmeler yayımlanana dek çerçevenin hırsını değerlendirmek, dişlerini değerlendirmekten daha kolay.