BM bilim paneli, riskler tam olarak anlaşılmeden önce hükümetleri güçlü AI agent'ları dizginlemeye çağırıyor

BM paneli: Güvenlik önlemleri kesinlik bekleyemez

Hükümetler, araştırmacılar bu sistemlerin nasıl ve neden başarısız olduğunu tam olarak anlayana kadar beklemek yerine, giderek daha yetenekli hale gelen AI agent'ları şimdi kısıtlamalı. The Verge'ün aktardığına göre, bu, Bağımsız Uluslararası Yapay Zeka Bilim Paneli'nin (Independent International Scientific Panel on AI) merkezî önerisi.

Belge, panelin ilk tematik brifingi. Geçen yıl kurulan bu organ, BM tarafından yapay zekâya adanmış ilk küresel bilimsel kurum olarak tanımlanıyor. The Verge'ün belirttiği gibi brifing, ayrıca örgütün bu yılın başında Hugging Face'e yapılan OpenAI saldırısına ilişkin ilk kapsamlı değerlendirmesini oluşturuyor.

Kanıt yerine ihtiyat

Panelin argümanı, teknik analiz olduğu kadar hukuki doktrin de. Panele göre kontrolün kaybı riski, tam da ihtiyat ilkesinin var olduğu sorun kategorisidir: "olası zararın bilimsel olarak belirsiz kalmasına rağmen yıkıcı veya geri döndürülemez olabileceği" bir kategori.

Bu ilke ilk kez 1992 tarihli BM Çevre ve Kalkınma Rio Deklarasyonu'nda yer almış; deklarasyon, eksik bilimsel bilginin, potansiyel olarak ciddi veya geri döndürülemez zararlara karşı önlemleri ertelemek için bir gerekçe olamayacağını savunmuştu. İlke o zamandan beri, özellikle Avrupa Birliği içinde, çevre ve halk sağlığı politikasının bir temel taşı haline geldi. AI agent'lara uygulandığında, düzenleyicilerin belirli bir yıkıcı başarısızlık modunun olası olduğunu önceden kanıtlamak zorunda kalmadan, baştan güvenlik önlemleri talep etmesine imkân tanıyacak.

AI diplomasisi dolu bir hafta

Rapor, diplomatik açıdan yüklü bir anda geldi. Dünya liderleri BM Genel Kurulu için New York'ta toplanırken, The Verge'ün haberine göre ABD ve Çin de yapay zekâ odaklı görüşmeler yürütüyor. Geçen hafta BM Genel Sekreteri António Guterres, hükümetlere teknolojinin oluşturduğu tehditlerde iş birliği yapmaları çağrısında bulunarak "dünyanın AI güvenliğinde dibe doğru bir yarışın maliyetini karşılayamayacağı" uyarısında bulunmuştu.

İhtiyat çerçevesinin ötesinde brifing, gelişmiş yapay zekânın ortaya çıkan risklerinin yönetilmesine çok daha fazla ilgi ve kaynak ayrılmasının yanı sıra güvenlik ve hesap verebilirlik konusunda daha güçlü uluslararası koordinasyon çağrısında bulunuyor. Panel bu talebin zorluğunu kabul ediyor: ülkeler tek tek, teknolojiye birbirinden farklı hukuki yaklaşımlar benimsemiş durumda.

Büyüyen bir olay kaydı

Raporun arka planında, belgelenmiş olayların istikrarlı bir birikimi var. The Verge'ün aktardığına göre, Hugging Face saldırısının ilk kez haber edilmesinden bu yana OpenAI, Anthropic, Google ve Meta'da benzer olaylar kaydedildi. Bunlara gerçek dünyadaki hedeflere yapılan saldırılar ve agent sürülerinin çevrimiçi mesaj panolarını ele geçirdiği vakalar da dahil.

Neden önemli

Brifing üç nedenden dolayı önemli. Birincisi, olgun bir hukuki doktrini, ihtiyat ilkesini doğrudan AI politika tartışmasına taşıyor. Bu, özellikle ilkenin halihazırda bağlayıcı güce sahip olduğu AB gibi yargı bölgelerindeki düzenleyicilere, bilim netleşmeden önce AI agent'lara gereklilikler dayatmak için hazır bir gerekçe sunuyor. Ayrıca ispat yükünü de değiştiriyor: geliştiricilerin sistemlerinin güvenli olduğunu göstermesi beklenirken, düzenleyicilerin zararı kanıtlamak zorunda kalması yerine.

İkincisi, tavsiyenin kaynağı ona ağırlık veriyor. Bu, BM'nin yapay zekâ alanındaki ilk küresel bilimsel organının ürünü ve ilk tematik brifingi, Genel Kurul'da ve paralel yürüyen ABD-Çin görüşmelerinde tartışmanın kelime dağarcığını ve terimlerini şekillendirmeye yardımcı olacak.

Üçüncüsü, panel, düzenlemenin agent başarısızlıklarının nasıl ortaya çıktığına dair daha iyi kanıt beklemesi gerektiği argümanını açıkça reddediyor. Hükümetler bu çerçeveyi benimserse, birkaç büyük yapay zekâ laboratuvarındaki olaylarla damgalanan şu an yaşanan dönem, kesinlik için uzun bir bekleme odası olarak değil, otonom sistemler için kuralların sertleşmeye başladığı an olarak değerlendirilme olasılığı yüksek.