Anthropic güvenlik lideri, yapay zekanın insanlığı öldürme olasılığını yüzde 10'un üzerinde görüyor; bir meslektaşı istifa ediyor

Süper zekaya yarış nedeniyle bir istifa

9 Eylül'de, Anthropic'te ve daha önce OpenAI'de yapay zeka sistemleri eğiten araştırmacı Jacob Coxon, X'te paylaştığı bir gönderiyle ayrıldığını duyurdu. The Verge'nin aktardığına göre Coxon, istifasını güvenliğe yetersiz bir bağlılık gördüğü için yaptığını söyleyerek her iki şirketi de "doğrudan kendini geliştiren süper zekaya doğru yarışıp hayatlarımızla kumar oynamakla" suçladı — oysa "yapay zekayı inşa edenler, bunun on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inanıyor."

Onun anlatımına göre şirketler, rakiplerinin önünde gelişmiş sistemler inşa etmek için "bir yarışa kilitlenmiş" durumda ve "risklere rağmen" ilerliyorlar. Temel endişe özyinelemeli kendini geliştirme: yapay zeka sistemlerinin insan kontrolünün ötesinde kendilerini sürekli yükselttiği kontrolden çıkmış bir döngü. The Verge, bu senaryonun henüz gerçekleşmediğini ancak şirketlerin bunu aktif olarak hedeflediğini ve bugünkü yapay zekanın ardındaki kodların önemli bir kısmının zaten yapay zeka yardımıyla yazıldığını belirtiyor.

Anthropic'in kendi güvenlik lideri riski yüzde 10'un üzerinde görüyor

Birkaç saat içinde, Anthropic'in yapay zeka güvenlik ekiplerinden birini yöneten Evan Hubinger doğrudan yanıt verdi — ve büyük ölçüde katıldı. Kendini geliştiren yapay zekadan endişe duyduğunu, bunun "düşündüğümüzden daha hızlı gerçekleştiğini" söyledi ve Coxon'un durumu tanımlama biçimini onayladı.

"Yapay zekanın tüm insanları öldürebileceğine gerçekten içtenlikle inanıyoruz," yazan Hubinger, kişisel olarak olasılığı "önümüzdeki on yıl içinde" 10'da birden fazla olarak tahmin ettiğini ekledi.

The Verge'nin aktardığına göre en çarpıcı satır, Hubinger'in Anthropic'in gelişmiş yapay zekanın güvenli ve insan değerleriyle uyumlu kalmasını sağlamak için "henüz bir plana sahip olmadığı" ve şirketin böyle bir planı geliştirme yolunda "net şekilde bulunmadığı" itirafıydı.

Güvenlik endişeleri üzerine kurulan bir laboratuvar artık kendi endişeleriyle karşı karşıya

Anthropic, OpenAI'den güvenlik kaygıları nedeniyle ayrılan eski çalışanlar tarafından kuruldu ve bu, Coxon'un ayrılışına rahatsız edici bir simetri kazandırıyor. Son yıllarda çok sayıda araştırmacı da güvenliği gerekçe göstererek OpenAI'den ayrıldı ve The Verge, Coxon'un ayrılışını şimdiye kadarki en görünür Anthropic çıkışlarından biri olarak nitelendiriyor.

Bu tartışma sektör için hassas bir döneme denk geliyor. The Verge'ye göre büyük laboratuvarlar, başıboş yapay zeka ajanlarıyla ilgili çok sayıda olayın sonuçlarını yönetirken ve sınır modellerin izlenmesinin ne kadar zor olduğuna dair yüksek profilli uyarılar sürerken, beklenen halka arzlara hazırlanıyor. Haber hızla X'in ötesine yayıldı: Politico, haberi Coxon'un "hayatlarımızla kumar oynanıyor" ifadesini ödünç alan bir başlıkla ele aldı ve makale Hacker News'in ana sayfasına ulaştı.

Neden önemli

Sınır yapay zekasını güvenli kılmaktan sorumlu insanlar, kendi sözleriyle, bunun on yıl içinde herkesi öldürme olasılığını yüzde 10'dan fazla gördüklerini — ve bunu önlemek için işler bir planın henüz var olmadığını — kamuya açık biçimde söylediğinde, sektörün alışılagelmiş güvenceleri ayakta kalmakta çok daha fazla zorlanıyor. Söz konusu olan dışarıdan bir eleştirmen ya da bir köşe yazarı değil; dünyanın önde gelen yapay zeka laboratuvarlarından birinde görev yapan bir güvenlik lideri ve aynı binanın içinden gelen bir istifaya verilen yanıttır.

Bunun, kuruluş hikayesi güvenlik olan bir şirket olan Anthropic'te yaşanmış olması, rekabet baskısının en güçlü güvenlik markasına sahip laboratuvarlara bile uygulandığını gösteriyor. Bir güvenlik araştırmacısı yapabileceği en güçlü açıklamanın istifa etmek olduğu sonucuna varıyorsa ve meslektaşı da risk tahminini doğrularken eksik planı kabul ederek yanıt veriyorsa, açık soru şu: Piyasa dinamikleri herhangi bir laboratuvara yavaşlama alanı bırakıyor mu — ve kim, eğer varsa, onları bunu yapmaya zorlayabilecek konumda?