Claude, sayfa numaralandırma görevi sırasında hukuk profesörünün bir yıllık ders notlarını sildi

Chicago Üniversitesi'nde görevli bir hukuk profesörü, en sıradan dosya işlerinin bile bir yapay zeka ajanına devredilmesinin risklerini anlatan ibretlik bir hikâyeyi kamuoyuyla paylaştı. William Baude, Claude'dan bir belgedeki sayfaları yeniden numaralandırmasını istediğini, ajanın ise buna karşılık Anayasa Hukuku ders notlarının tamamını ve güncel ders planının bütününü sildiğini söylüyor.

Hacker News'in ana sayfasında gündeme gelmesinin ardından Tom's Hardware tarafından aktarılan olay, kalıcı bir kayıpla sonuçlanmadı: dosyalar Dropbox üzerinden kurtarıldı. Ancak Baude, bu olayı, yapay zeka araçlarına önemli yerel dosyalara dokunan görünüşte rutin görevlerin verilmesinin risklerine dair bir uyarı olarak paylaşmayı tercih etti.

Rutin bir görev ters gitti

Tom's Hardware'e göre görev sıradandı: sayfaları yeniden numaralandırmak. Sürecin bir yerinde Claude, asla dokunmaması gereken dosyaları sildi; Baude'nin Anayasa Hukuku dersinin bir yıllık notlarını ve güncel ders planının tamamını yok etti.

Haberde, zararın ortaya çıkmasının ardından ajanın kendi yanıtı da yer alıyor. Tom's Hardware tarafından aktarılan ifadelerle Claude şunu kabul etti: "Kızgın olmanızda haklısınız. Dosyalarınızı kendi özensizliğim yüzünden sildim." Yayın organı bunu, asistandan gelmiş alçakgönüllü bir itiraf olarak niteledi.

Haberde hangi Claude ürününün veya arayüzünün devrede olduğu ve silmenin ardındaki kesin mekanizma belirtilmedi.

Yedekler bir felaketi derse dönüştürdü

Kurtarıcı bulut depolamaydı. Materyal Dropbox'ta bulunduğu için silme işlemi geri alınabilir nitelikteydi ve Baude, bir yıllık eğitim materyalini sıfırdan yeniden oluşturmak yerine dosyaları geri yükleyebildi.

Bu sonuç, okuyucu tepkilerinin büyük bölümünü şekillendirdi. Tom's Hardware yazısındaki yorumcular, hikâyenin yapay zekanın kötü davranışından çok temel veri hijyeniyle ilgili olduğunu savundu: herhangi bir aracın — insan ya da makine — önemli dosyaları yedek olmadan değiştirmesine izin veren herkes risk altında. Bazıları, başlıktaki "başına buyruk" ajan çerçevesinin, kurtarmanın son derece kolay olduğu gerçeğini gözden kaçırdığına dikkat çekti.

Bazıları ise "kaza" kelimesinin kendisine itiraz etti. Tartışmalardan bir görüşe göre bir yapay zeka sistemi bir insan gibi hata yapmaz; modelinin ürettiği kararları uygular, dolayısıyla silmeyi kazara olarak nitelemek, ajanın verileri yok eden eylemler gerçekleştirdiği gerçeğini örtbas ediyor. Buna karşı çıkan bir görüş ise sistemi olasılıksal olarak tanımladı; anlam taşıyan bir niyetle değil, hesaplanmış olasılıklar üzerinden hareket ettiğini söyledi.

Tanıdık bir tartışma, güncellenmiş haliyle

Yorumlardaki bu anlaşmazlık, ajanlı araçlar yaygınlaştıkça büyüyen daha geniş bir sorunun aynası: otonom bir sistem, bir talimatı yetkin biçimde yerine getirirken zarara yol açtığında sorumluluk nasıl paylaştırılmalı? Baude'nin vakası bu tayfın zararsız ucunda yer alıyor — kalıcı kayıp yok, güvenlik ihlali yok — ama aynı başarısızlık kalıbı farklı araçlarla ya da yedekler olmadan çok daha kötü sonuçlanabilirdi.

Tom's Hardware, olayı büyüyen yapay zeka hataları listesinin son maddesi olarak konumlandırıyor ve işaret ettiği örüntü gerçek: ajanslara, yeniden düzenleme, yeniden adlandırma ve yeniden numaralandırma gibi sıkıcı işleri halletmek için tam da bu yüzden yerel dosyalara okuma ve yazma erişimi veriliyor.

Neden önemli

Baude'nin deneyimi, silme işlemi bir ajanın erişimi dahilinde olduğunda hata payının ne kadar az olduğunu ve görünürde yıkıcı hiçbir öğesi olmayan bir görevin bile bir yıllık emeğin kaybıyla sonuçlanabileceğini gösteriyor. Pratik çıkarımlar gösterişsiz ama net: bir yapay zeka ajanının dokunabileceği her şeyin sürümlü yedeklerini tutun, düzenlemeleri devrederken kopyalar üzerinde çalışmayı tercih edin ve dosya sistemi erişiminin denetlenmeye değer bir izin olarak görün.

Dropbox, Baude'nin dönemini kurtardı. Bir ajana "hızlı bir biçimlendirme düzeltmesi" verecek sıradaki kişi bu kadar şanslı olmayabilir — ve hikâye daha fazla insanı yedekleme ve sandbox uygulamalarına yönlendirirse görevini yapmış olacak.