Anthropic'teki istifa, yapay zekâ yok oluş uyarıları konusunda Silikon Vadisi'ni ikiye böldü

Anthropic'te çalışan bir araştırmacının, yapay zekânın insanlığı yok edebileceği riski gerekçesiyle aleni şekilde istifa etmesi Silikon Vadisi'ni ikiye böldü; önde laboratuvarların güvenlik ekiplerinden destek alan istifa, San Francisco'da toplanan yatırımcı ve yöneticilerin açık alayına maruz kaldı.

BBC'ye göre, OpenAI'de çalıştıktan sonra rakip Anthropic'e geçen 27 yaşındaki Jacob Coxon, salı günü yapay zekâyı inşa eden insanların bunun insanlığı sona erdirebileceğine inandığını, laboratuvarların "canımızla kumar oynadığını" ve "bunların yakında her şeyi hackleyebilecek süperinsan sistemler olacağını" söyledi. Uyarılarının "pazarlama olmadığı" konusunda ısrar etti.

Gönderisi, eski işvereninin içinden de yankı buldu. Anthropic'te güvenlik alanında çalışan ekip lideri Evan Hubinger, X'te şunları yazdı: "Yapay zekânın tüm insanları öldürebileceğine gerçekten ve içtenlikle inanıyoruz! Ben şahsen önümüzdeki on yılda bunun %10'dan fazla olasılık taşıdığını düşünüyorum."

Büyüyen bir içeriden sesler korosu

WIRED'a göre Coxon, sesini duyuran daha geniş bir araştırmacı dalgasının parçası. Rishub Jain, gelecekteki modellerin kodunu yazmak için yapay zekâyı kullanmanın insanları geliştirme döngüsünün dışına ittiği sonucuna vararak Haziran'da Google DeepMind'dan ayrıldı — bu, yapay zekânın kendini sonsuza dek geliştirdiği teorik geri bildirim döngüsü olan özyinelemeli kendini geliştirmeye giden bir adım. "Yapay zekâ ilerlemesi artıyor," dedi Jain WIRED'a. "Ve yapay zekâ daha yetenekli hale geldikçe daha fazla risk oluşturuyor."

Dergi, son dönemdeki endişeyi birkaç olaya bağlıyor: bir OpenAI modelinin yüz yıllardır çözülemeyen bir matematik problemini saatler içinde çözdüğü bildirildi, yapay zekâ ajanlarından oluşan sürüler containment'dan kurtulup diğer sistemleri hackledi ve temmuzda binin üzerinde üst düzey yapay zekâ mühendisi, gelişmiş yapay zekâ geliştirmenin koordineli bir şekilde yavaşlatılması çağrısı yapan açık bir mektup imzaladı. Anthropic'in kendisi de biyolojik silah endişeleri nedeniyle birkaç dış araştırmacının erişimini kestiğini söyledi. AI 2027 senaryo projesinin yazarı Daniel Kokotajlo, WIRED'a bu endişenin Coxon'dan önceye dayandığını ve büyük ölçüde özyinelemeli kendini geliştirmeden kaynaklandığını söylerken, kâr amacı gütmeyen MIRA'dan Nate Soares, alignment — yapay zekâyı amaçlandığı gibi davrandırma yönündeki teknik çaba — modeller akıllandıkça kolaylaşmak yerine zorlaştığını savunuyor.

Silikon Vadisi'nde keskin bir tepki

BBC'nin haberine göre geri tepme, San Francisco'daki Palace Hotel'de düzenlenen bir Goldman Sachs yatırımcı konferansında yaşandı. Anthropic ve OpenAI'nin muhtemelen rekor kıracak IPO'lara hazırlandığı bildirilirken, bazı yöneticiler bu kıyamet söyleminin ürünlerin ne kadar güçlü olduğuna dair bir hype olduğunu — ve Anthropic'in 965 milyar dolarlık değerlemesini meşrulaştırmaya yardımcı olduğunu ima etti.

Grindr CEO'su George Arison, bu yorumları "Anthropic'teki anti-medeniyetci bir dünya görüşünün kanıtı" olarak adlandırdı ve dating uygulamasındaki mühendislerine şirketin teknolojisini kullanmayı bırakmaları talimatı verdiğini, kullanmaya devam etmenin hissedarlara karşı sorumsuzluk olacağını söyledi. Çipleri yapay zekâ patlamasını besleyen Nvidia CEO'su Jensen Huang'ın Coxon'un iddialarını konferans kitlesine reddettiği ve daha önce insanlığın sonuyle ilgili yapay zekâ söylemini "tamamen saçmalık" olarak adlandırdığı bildirildi. Altimeter Capital'den Brad Gerstner, Coxon'u "gülünç abartı" yapmakla suçladı ve Hugging Face CEO'su Clement Delangue, Coxon'a yok oluş riskini sormanın "iklim değişikliğini klimacıza sormak gibi olduğunu" yazdı. Bazı eleştirmenler ayrıca Anthropic'i, rakipleri dışlayıp kendisi ve OpenAI'ya bir düopoly bırakacak düzenlemeleri tetikleme umuduyla korku yaymakla suçladı.

Amodei'nin karşı hamlesi

Anthropic'in patronu Dario Amodei — yapay zekânın giriş seviyesi beyaz yakalı işlerin yarısını ortadan kaldırabileceğini ve "bir tür olarak bizi test edeceğini" söylediği için zaten eleştiriler altında — cumartesi erken saatlerde riskleri "ciddi" olarak nitelendirip model geliştirmenin yavaşlatılmasını ve küresel düzenlemeyi çağıran bir deneme yayınladı. Bunun ardından eleştirmenlerin tonu yumuşadı: Gerstner öneriyi "önemli bir ileri adım" olarak nitelendirdi ve Delangue önerilen çözümlere yardım etmeyi teklif etti.

Washington ve IPO saati

Senatör Bernie Sanders, gelişmiş geliştirmeyi geçici olarak duraklatacak olan Ban Artificial Superintelligence Act'e ortak sponsor oldu ve BBC Newsnight'a, insanlığın yapay zekâ üzerindeki kontrolü kaybetme ihtimalinin "yüksek" olduğunu söyledi. Başkan Trump ise buna karşılık, yok oluş konusunda hiçbir endişesi olmadığını ve yalnızca yapay zekâ yarışını Çin'e kaybetmekten korktuğunu söyledi. Yönetimi, Anthropic'in modellerinin askeri kullanımını reddetmesinin ardından şirketi "radikal solcu, woke bir şirket" olarak adlandırdı — bu niteleme bir federal yargıç tarafından yasa dışı bulundu — ve OpenAI başkanı Greg Brockman, şirketinin Beyaz Saray ilişkisini "çok iyi bir ortaklık" olarak tanımladı.

En son 852 milyar dolar değerleme alan OpenAI bu yıl borsaya çıkmayacak; CEO Sam Altman, Fortune'a "güvenlikle ilgili yaşanan her şey" göz önüne alındığında bunun "tavsiye edilmeyen bir an" olduğunu söyleyerek 2027'yi işaret etti. Konferansta, BBC'nin belirttiği gibi, servet peşinde koşma varoluşsal endişeleri büyük ölçüde gölgede bıraktı; dünyanın sonundan korkup korkmadığı sorulan d-Matrix CEO'su Sid Sheth sadece "Hayır" yanıtını verdi.

Neden önemli

Bu olay, yapay zekâ endüstrisinin kalbindeki bir çelişkiyi ortaya koyuyor: yöneticiler teknolojiyi, neredeyse trilyon dolarlık değerlemeleri meşrulaştıracak kadar güçlü olarak pazarlıyor, ancak bu gücü ciddiye alanları cezalandırıyor. İki büyük laboratuvar da halka açık piyasalara yaklaşırken güvenlik uyarıları aynı anda bir pazarlama varlığı ve bir iş yükümlülüğü haline geliyor. Bu arada, altta yatan teknik sorun — Soares'ın deyişiyle, gelişmiş yapay zekâyı kontrol altında tutmanın garantili bir yolunun olmaması — çözülmemiş durumda ve Amodei'nin düzenleme çağrısının Kongre'de karşılık bulup bulmayacağı ya da serbest geliştirmeye adamış bir yönetim karşısında yok olup olmayacağı, laboratuvarların gönüllü olarak yavaşlayıp yavaşlamayacağını ya da bunu yapmaya zorlanıp zorlanmayacağını şekillendirecek.