Tesla FSD kazası ve Anthropic onay verileri, insan denetiminin yapay zekâ karşısındaki sınırlarını ortaya koyuyor

Sürücüsünün uyuduğu bildirilen bir Tesla devriye aracına çarptı

13 Ekim'de saat yaklaşık 23:45'te, bir Tesla California'daki Interstate 80 üzerinde kapatılmış bir şeritten geçti ve daha önceki bir kazada durmuş olan bir karayolu devriye aracına çarptı. İki memur yaralandı. Electrek ve CBS Sacramento haberlerine dayanan bir dev.to yazısında Jules Robineau'nun aktardığına göre, 22 yaşındaki sürücü polise uyuduğunu ve aracın Full Self-Driving modunda çalıştığını söylemiş. Polis, kaza anında FSD'nin gerçekten etkin olup olmadığını doğrulamadı.

Ürünün tam adı "Full Self-Driving (Supervised)"; Tesla bu adı, "FSD Beta" adını emekliye ayırdığı 2024 Mart sonu'nda benimsedi. Tesla'nın kılavuzu, her an müdahale etmeye hazır, tamamen dikkatli bir sürücü gerektiriyor ve bir kabin kamerası dikkati izliyor. Şirketin kendi destek sayfası, sürücüleri aşırı güvene karşı uyarırken aynı zamanda FSD etkinken çarpışmaların yedi kat daha az olduğunu iddia ediyor — bu, şirketin kendi verisine dayanan bir Tesla rakamı.

İnsan, bu iş için yanlış bileşendir

Yazı, kazayı otomasyon araştırmalarındaki köklü bir bulgula ilişkilendiriyor. Psikolog Lisanne Bainbridge, 1983'te yayımladığı "Ironies of Automation" adlı makalesinde, otomasyonun insanlara en kötü yaptıkları işi bırakma eğiliminde olduğunu savundu: bir makineyi izlemek ve arıza yaptığında devreye girmek. 1950'lerden itibaren yapılan araştırmalar, neredeyse hiçbir şey olmazken insanların yarım saatten biraz fazla bir süre için etkili dikkati sürdüremediğini; bir sistem ne kadar uzun süre doğru çalışırsa, kimsenin onu o kadar az izlediğini buldu.

Yol verileri de bunu doğrular görünüyor. Yazıya göre NHTSA, Mart'tan bu yana görüşün azaldığı kazalara odaklanan, 3,2 milyon aracı kapsayan kapsamlı bir soruşturma yürütüyor. İncelenen vakalarda sistem sürücüyü yalnızca son anda uyarmış ve kurum, sürücülerin müdahale etmelerinin beklendiğinin farkında olmayabileceklerini tespit etmiş. 14 Tesla sürücüsünü dört hafta boyunca izleyen 2024 tarihli bir IIHS araştırması, ilk dikkat hatırlatmalarının yüzde 26 artarken daha güçlü uyarıların yüzde 64 azaldığını buldu; yani sürücüler, direksiyona hızlı bir dokunuşun aracı susturduğunu öğrenmişler. Gayriresmî videolar da kabin kamerasının katlanmış bir banknotla ya da bir bebeğin başıyla kandırılabildiğini gösteriyor.

Aynı yıpranma, kodlama agent'lerinde de görülüyor

Yazı daha sonra argümanı, izin prompt'larının FSD anlaşmasını yansıttığı geliştirici araçlarına延伸 ediyor: makine eylemi gerçekleştirir, insan onaylar. Anthropic, Ağustos'ta yayımladığı rakamlarla Claude Code kullanıcılarının izin prompt'larının yüzde 97'sini onayladığını gösterdi. Oturumlarına tehlikeli bir komut yerleştirilen 1.053 ücretli test kullanıcısının yer aldığı bir testte, katılımcılar yalnızca yüzde 13,6'sını yakaladı. Dağılım daha dikkat çekici: tehlikeli komutların yaklaşık yüzde 17'si oturumun başlarında engellenirken, 50 prompt'tan sonra yalnızca yaklaşık yüzde 5'i engellendi — Bainbridge'in tanımladığı aynı dikkat yıpranması, bu kez geliştiriciler üzerinde ölçüldü. Yazıya bir uyarı da ekleniyor: Anthropic bu onayların yerini alan otomatik bir mod da satıyor, dolayısıyla rakamlar ürününe hizmet ediyor; yine de yazarın bulduğu tek bu boyutta veri kümesi. 2026 Stack Overflow anketi ise bir karşıtlık katıyor: Geliştiricilerin yalnızca yüzde 6,6'sı önemli bir karar için yapay zekâya güvendiğini söylüyor.

Kimse izlemiyormuş gibi tasarlayın

Yazarın çıkardığı ders, insanların özensiz olduğu değil; uyanıklığın güvenlik mekanizması olamayacağı. Yasak eylemler bir prompt'la ya da bir talimatla değil, koddaki bir kuralla engellenmeli. İnsan onayı, gerçekten geri alınamaz eylemlere — silme, gönderme, ödeme, deploy — ayrılmalı; böylece her istek gerçekten okunacak kadar nadir olur. Her agent eylemi, daha sonra soğukkanlı bir kafayla denetlenebilecek bir iz bırakmalı ve verinin bir kopyası agent'in erişiminin kalıcı olarak dışında kalmalı.

Yazar kendi kurulumunun bu şekilde çalıştığını bildiriyor: bir hook, her komutu çalıştırılmadan önce okuyor ve yakın zamanda işlenmemiş değişiklikleri silecek olan bir git checkout -- . komutunu engelleyerek agent'i git stash kullanan daha güvenli bir yola yönlendirmiş. Koruma bariyerinin sınırları olduğunu kabul ediyor — yanlış çözümlenmiş bir değişken ya da bir Python betiği hâlâ geçebiliyor — bu yüzden log'lar ve yedekler vazgeçilmez kalıyor.

Neden önemli

Tehlikeli olan durum, sık sık başarısız olan bir yapay zekâ değil; neredeyse her zaman haklı olan bir yapay zekâ. Yüksek güvenilirlik, nadir hatayı yakalaması gereken kişinin dikkatini aşındırıyor; bu kişi gece yarısı direksiyon tutan biri de olabilir, oturumun ellinci prompt'unda izin diyaloglarını tıklayan biri de. Yol verileri, NHTSA soruşturması ve Anthropic'in onay rakamları aynı yıpranmayı ölçüyor. "Bir insan izliyor" üzerine kurulu her güvenlik gerekçesi bu yüzden belgelenmiş bir başarısızlık modu üzerine inşa ediliyor; pratik yanıt ise denetimi sistemin kendisine mühendislikle işlemek: yıkıcı eylemlere sert engeller, log'lar ve kurtarılabilir durum — kimse izlemiyormuş gibi tasarlanmış.