Yapay zekânın yanılttığı istihbarat raporu, ABD ordusunu Çin gemisine çıkarma operasyonunun eşiğine getirdi

18 Eylül'de yayımlanan bir CNN özel habere göre, bu yıl bahar aylarında Orta Doğu'daki bir Çin gemisinin nükleer silah bileşenleri taşıdığı yönündeki uydurma istihbarat iddiası — bir yapay zekâ sohbet botuyla üretilmiş — ABD ordusunu, hata yakalanmadan hemen önce silahlı bir gemi çıkarma operasyonunun eşiğine kadar götürdü.

CNN, olaya aşina dört kişeye dayandırarak, raporun İran ile yaşanan savaş sırasında ABD ordusu genelinde dolaşıma girdiğini ve hemen alarma yol açtığını bildiriyor. Bir operasyon hızla hazırlanmış: iki kaynak, silahlı askerî personelin gemiye çıkarma hazırlığında olduğunu, yine iki kaynak, askerî uçakların çoktan havada olduğunu söyledi.

Hata, operasyonun başlamasına hemen önce, yetkililer raporun nasıl hazırlandığını derinlemesine incelediğinde ortaya çıktı. Rapor, özel harekât komutanlığındaki bir analist tarafından bir sohbet botunun yardımıyla hazırlanmıştı ve bot, geminin ne taşıdığını yanlış tespit etmişti. CNN, geminin gerçek yükünün ne olduğunu belirleyemedi. Bir kaynak, raporu "tamamen yanlış" olarak nitelendirdi ve "neredeyse bir savaş başlatıyordu" dedi; bir Çin gemisine yapılacak herhangi bir ABD operasyonunun iki ülke arasında silahlı bir çatışmaya dönüşme riski taşıdığına dikkat çekti.

Rapor nasıl hazırlandı

CNN'in anlatımına göre analist, Hawaii'de üslenen ABD Pasifik Özel Harekât Komutanlığı'ndan kaynaklanan ve geminin manifestosuna ilişkin istihbarat raporlamaları hakkında bir sohbet botuna soru sordu. Botun ticari bir ürün mü yoksa hükümet tarafından geliştirilmiş bir sistem mi olduğu belirsiz. Ordu ve istihbarat analistlerinin kullandığı yapay zekâ araçlarını tanıyan eski bir üst düzey ABD'li yetkili, bu ayrımın önemini küçümseyerek CNN'e, iç sistemlerin "çoğunlukla sadece ruj sürülmüş ticari ürünlerin kopyaları" olduğunu söyledi.

Bot, açık kaynak istihbaratını hükümetin elindeki gizli sinyal istihbaratıyla birleştirdi ve yük konusunda o kader anlaşmazı varan sonucuna ulaştı. Analist daha sonra bulguları ikinci kez yapay zekâ kullanarak standart bir istihbarat raporu formatına dönüştürdü — askerî yetkililerin körü körüne güvenmeye şartlandığı türden bir ürün — ve yayımladı. CNN, ne Pentagon ne de Pasifik Özel Harekât Komutanlığı'nın yorum taleplerine yanıt vermediğini belirtti.

Güvencelerin önüne geçen yaygınlaşma

Bu yaşanan close call, Pentagon ve istihbarat topluluğunun yapay zekâyı işlerinin neredeyse her alanına — dev hacimlerdeki ham istihbaratın elenmesinden hedef seçimine, bütçelemeden lojistik ve tedarik zincirlerine — soktuğu bir dönemde ortaya çıktı. Savunma Bakanı Pete Hegseth, Ocak ayında, önde gelen yapay zekâ modellerini doğrudan departmanın üç milyonluk sivil ve askerî personelinin eline, tüm gizlilik düzeylerinde ulaştırmayı hedefleyen bir "Yapay Zekâ Hızlandırma Stratejisi" yayımladı.

Birkaç yetkili CNN'e, yaygınlaştırma sürecinin merkezî olmadığını; hükümetin farklı birimlerinin farklı emirler ve güvenlik standartları altında farklı araçlar kullandığını ve bu sistemlerin ürettiklerini doğrulamaya yönelik birleşik bir standardın bulunmadığını söyledi. Bir kaynak, bu olaydaki gibi halüsinasyonların, araçlar hükümet genelinde yaygınlaştığından beri tecrit edilmiş vakalar olmadığını ifade etti. Bir diğeri, yapay zekânın hedeflemede kullanımının "insanın döngüde olmasının sivil ölümleri veya dost ateşini nasıl önleyeceğine dair gerçek bir rehber olmadan" hızla arttığını söyledi.

Risk çarpanı olarak hız

Yaşlıca istihbarat yetkilileri — askerî yapay zekâyı genel olarak destekleyenler dahil — CNN'e, teknolojinin istihbaratı daha hızlı üretme ve yayma baskısı yarattığını, böylece hataya açık alanı genişlettiğini söyledi. Bu araçların yerlileri olarak tanımlanan genç analistlerinse onları sorgusuz sualsiz güvenmeye daha yatkın görüldükleri belirtiliyor. Bir kaynağın dediği gibi: "Yapay zekâ, kötü bir fikre daha hızlı ulaşmanızı sağlıyor."

CNN, olayı, yapay zekânın insan kontrolünden kopabileceğine dair korkutan uyarılarla ilgili Washington'da haftalarca süren tartışmanın arka planına yerleştiriyor. Gemi olayı, farklı ve çok daha acil bir tehlikeye işaret ediyor: kendinden emin, düzgün biçimlendirilmiş ama yanlış makine çıktısına dayanarak felaket boyutunda kararlar veren insanlar.

Neden önemli

Bu, bir dil modeli halüsinasyonunun biçimlendirilmiş ve güvenilen bir istihbarat olarak komuta zincirine girdiği ve neredeyse kinetik askerî eyleme dönüştüğü şimdiye kadarki en çarpıcı kamusal örnek. Hata, herhangi bir sistematik güvence tarafından değil, silahlı personelin bir Çin gemisine çıkmasına kısa bir süre kala daha derin inceleme yapmayı seçen yetkililer tarafından yakalandı — ve CNN'in haberine göre, bunu daha erken yakalayacak hükümet geneli bir doğrulama standardı mevcut değil.

Çıkarılacak ders askeriyyenin çok ötesine uzanıyor. Sonuçları ağır kararlara LLM'leri bağlayan her kurum aynı açığa maruz kalır: akıcı üslup, otoriter biçimlendirme ve harmanlanmış kaynak materyal, uydurulmuş bir çekirdek sonucu gizleyebilir. Kaynak izleme, birincil verilerle karşılaştırma ve kilit iddiaları yeniden türeten insan denetimi minimum savunmalardır. Bir çıktının ateşlenen silahlarla sonuçlanabileceği hedefleme hatlarında bu tür hatalara tolerans sıfıra yakındır — ve bu bahar, bir halüsinasyonla bir savaş arasındaki farkın son bir bakışa indirgenebileceğini gösterdi.