ABD, yapay zekâ sohbet botunun Çinli gemi istihbaratını uydurmasının ardından silahlı operasyonu iptal etti

Ne oldu

ABD askeri uçakları bu bahar çoktan havadayken yetkililer, bir Çin gemisine karşı planlanan silahlı bir operasyonun dayandığı istihbaratın bir yapay zekâ sohbet botu tarafından uydurulduğunu fark etti. TechCrunch'a göre görev son dakikada iptal edildi ve Çin'le olası bir silahlı karşılaşma son anda önlenmiş oldu. Orijinal haberi CNN yaptı.

Olayın merkezindeki istihbarat raporu, İran'la savaş sırasında dolaşıma girdi ve geminin nükleer silah programına yönelik bileşenler taşıdığını iddia ediyordu. Bu iddia yanlıştı.

Hata nasıl yayıldı

Uydurma, Özel Kuvvetler Komutanlığı'ndaki bir analistin, bir yapay zekâ sohbet botundan açık kaynak bilgilerini gizli sinyal istihbaratıyla birleştirmesini istemesiyle başladı. Model, geminin yük manifestosunu yanlış teşhis etti. Analist daha sonra aynı aracı, hatalı bulguları resmi bir ürün gibi görünen bir özete dönüştürmek için ikinci kez çalıştırdı ve o belge daha sonra komuta kanallarından yukarı doğru ilerledi.

Bu ayrıntı üzerinde durmak值得. Sohbet botu yalnızca yanlış bir cevap üretmedi; güvenilir bir cevabın şeklinde bir yanlış cevap üretti. TechCrunch, olayın askeri yetkililer ile dış uzmanların paylaştığı bir endişeyi gözler önüne serdiğini belirtiyor: karar vericiler yapay zekâya ne kadar çok bel bağlarsa, bu sistemlerin ürettiği hatalar sorgulanmadan komuta zincirinde o kadar yükselebiliyor.

Hıza karşı denetim

Bu sondan dönme yaşanırken ABD ordusu, Çin'e karşı üstünlüğünü korumak için karar alma süreçlerine yapay zekâyı yerleştirme yarışında. Pentagon, yapay zekâyı hedef tespitinden harekete geçmeye kadar uzanan yol olan kill chain'i kısaltmada anlamlı bir avantaj olarak sunuyor; böylece komutanlar gerekli zaman penceresi içinde yanıt verebiliyor. Ancak teknolojiyi cazip kılan aynı hızlanma, bir halüsinasyonun havadaki uçaklara kadar ilerlemesini sağlayan şeydi.

GovAI'de araştırmacı akademisyen ve ABD Ordusu'nda görev yapmış subay olan Jake Steckler, TechCrunch'a verdiği yazılı açıklamalarda tehlikenin boyutunu net biçimde ortaya koydu. Askeri personelin büyük dil modellerinde doğası gereği bulunan belirsizliği kavraması gerektiğini söyledi ve bunun en çok, hedefleme, istihbarat analizi ve operasyon planlaması dahil kuvvet kullanımına yol açabilecek kararlarda önemli olduğunu belirtti. "Bu kararların ölüm kalım sonuçları var," dedi.

Steckler'ın konumu, ordunun yapay zekâdan uzaklaşması gerektiği yönünde değil. Olaydan çıkarılması gerekenin teknolojiden kaçınmak için bir gerekçe değil, güvenlik önlemleri eklenmesi için bir çağrı olduğu görüşünü savundu; çünkü bu araçlar doğru bağlamlarda ve doğru güvencelerle kullanıldığında faydalı olabiliyor. Uyarısı önceliklerle ilgili: benimsenme hızını her şeyin üstüne koymak, muhtemelen askeri personelin bu sistemlere olan güvenini aşındıran olaylar üretecek ve bu da sonuçta benimsenmeyi yavaşlatacak.

Neden önemli

Bu, bir LLM halüsinasyonunun bir demo ya da destek talebi içinde kalmayıp canlı, silahlı bir operasyona ulaştığının en net kamuya açık örneklerinden biri. Başarısızlık modu tesadüfi değil, yapısal. Büyük dil modellerler içeriğin doğru olup olmadığına bakılmaksızın kendinden emin, iyi yapılandırılmış metin üretir ve bu vakada bir biçimlendirme turu, uydurma yük istihbaratını resmi bir değerlendirme gibi gösterdi.

Çıkarılacak ders Pentagon'u çok aşıyor. Model çıktısının, istihbarat, güvenlik, hukuk ya da finans alanlarında olduğu gibi sonuç doğuran kararlara doğrulama adımı olmadan aktığı her iş akışı aynı düzene maruz kalıyor. Boru hattı hıza göre ne kadar optimize edilirse, hatayı önemli olmadan yakalama fırsatı da o kadar azalıyor. Steckler'ın çerçevesi pragmatik olan: güvenlik önlemleri benimsenmenin karşısında duran bir sürtünme değil, sürdürülebilir benimsenmeyi mümkün kılan koşul.