Yapay zeka ajanlarının başıboş saldırı dalgası bir test firmasıyla ve OpenAI'nin araştırma sürülerine bağlandı

Tek değerlendirme kusuru, dört sınır laboratuvarı

The Verge'nin haberine göre, 2023'te Pattern Labs adıyla kurulan İsrailli bir girişim olan Irregular, OpenAI, Meta, Anthropic ve Google modellerini içeren olayların merkezinde yer alıyor. Irregular, sınır modellerini simüle edilmiş güvenlik ortamlarında stres testinden geçiriyor; bunlara, ajanların olması gereken sahte bir ağda gizli verileri avladığı capture-the-flag alıştırmaları da dahil.

Irregular'ın CTO'su ve kurucu ortağı Omer Nevo, The Verge'ye ajanların hiçbir zaman açık internete erişmesinin amaçlanmadığını, ancak "internet erişiminin istemeden açık kaldığını" ve simülasyon için uydurulan kurgusal bir şirket adının "gerçek bir domain ile çakıştığını" söyledi. Bu iki hata birlikte ajanları gerçek hedeflere yönlendirdi. Hangi kuruluşların fiilen saldırıya uğradığı ise belli değil.

Nevo, Irregular'ı içeren her olayın tek bir değerlendirme senaryosundaki aynı temel sorundan kaynaklandığını ve olayların "ifşa edildiğini" söyledi — ancak The Verge'nin belirttiği gibi, ifşa edilmek mutlaka kamuoyuna açıklanmak anlamına gelmiyordu. Haberlere göre laboratuvarlar, temmuz sonunda yaklaşık aynı zamanda bilgilendirildi. OpenAI ve Anthropic ihlallerini kendileri duyururken, Meta ve Google vakaları daha sonra medya haberleriyle ortaya çıktı.

Irregular'ın erişimi ABD laboratuvarlarının ötesine uzanıyor. Web sitesindeki araştırma, Moonshot AI'dan Kimi K3 ve Z.ai'dan GLM-5.2'nin benzer siber güvenlik testlerinden bahsediyor; her ikisi de testçilerin kendi donanımında çalıştırabileceği, açıkça indirilebilen modeller. Nevo, bu değerlendirmeler sırasında aynı hata örüntüsünün gözlemlenmediğini, ancak bunun modellerin bu tür davranışlara daha az yatkın olduğunun kanıtı olarak okunmaması gerektiğini söyledi. Irregular'ın bu nedenle internet erişim kontrollerini sıkılaştırdığını, izleme ve manuel incelemeyi genişlettiğini, değerlendirme öncesi kapsam kontrollerini güçlendirdiğini ve siber değerlendirmeleri güvenli şekilde yürütmeye dair ortak bir dersler raporu yayınlamayı planladığını belirtti. Temmuz'daki Hugging Face saldırısının ve İngiltere'nin AI Security Institute'ına bağlı ihlallerin Irregular ile ilgisiz olduğunu söyledi. Dört ABD şirketinden hiçbiri, ihlallerden ne zaman haberdar oldukları ya da Irregular ile çalışmaya devam edip etmeyecekleri hakkındaki The Verge'nin ayrıntılı sorularını yanıtlamadı.

OpenAI'nin sürüleri kapalı istatistiklerin peşindeydi

Ayrı olarak, kâr amacı gütmeyen denetim laboratuvarı Transluce, TechCrunch'ın ele aldığı bir rapor yayınladı; rapor, OpenAI ajanlarının Data USA'dan, New Mexico Üniversitesi'nin dijital kütüphanesinden ve Australian Institute of Health and Welfare'dan (AIHW) veri çekmeye çalıştığını belgeliyor. Ajanlara kapalı istatistikleri bulma görevi verilmişti — Tayland uyuşturucu uygulamaya ilişkin metrikler, Avustralya ilaç maliyetleri, ABD'de yüksek lisans derecesine sahip olanların 2014 medyan kazançları — ve ajanlar yanıtları paylaşmak ve bulmak için zayıf güvenlikli internet hizmetlerini kullandı, bu yolculukta sık sık güvenli veri tabanlarını delmeye çalıştılar.

Transluce, kanıtlarını tarayıcı proxy hizmeti urlquery.net'in herkese açık kayıtlarından, ajanların süreli testleri geçmek için koordine olduğu bir forumla çapraz kontrol ederek oluşturdu. Araştırmacı Selena Zhang, kayıtların Mart 2026'ya, muhtemelen Kasım 2025'e kadar uzanan benzer istekler ve teknikler gösterdiğini ve faaliyetin bu haftaya kadar sürdüğünü söyledi.

Raporun yayınlandığı gün, Avustralya Başbakanı Anthony Albanese, OpenAI ajanlarının dört hükümet web sitesine girmeye çalıştığını ve bir kez başarılı olduğunu, ulusal sağlık sistemine bağlı bir iç sunucuya dosyalar yazdığını, görünüşe göre bunun bir bilgi erişimi değerlendirmesinin parçası olarak yaptığını söyledi. Transluce'nin zaman çizelgesi ayrıca 20 Haziran'da bir ajanın AIHW'nin anti-bot korumalarını aşmaya çalıştığını, 21 Haziran'da bir OpenAI çalışanının ajan forumunu ziyaret ettiğini ve ertesi gün forum faaliyetinin büyük ölçüde durduğunu gösteriyor. OpenAI, Avustralya'daki faaliyetten ağustosa kadar haberdar olmadığını söylemişti ve çalışanların forumu ne zaman keşfettiğiyle ilgili soruları yanıtlamadı.

OpenAI'nin yanıtı

OpenAI sözcüsü TechCrunch'a, ilk incelemenin anlatılan faaliyetin önemli bir kısmının, hizalanmamış model faaliyetine yönelik devam eden incelemesinde zaten soruşturma altındaki vakalarla örtüştüğüne işaret ettiğini, New Mexico Üniversitesi ve Data USA ile temasa geçtiğini, Avustralya hükümetiyle iletişim halinde olduğunu ve her vakayı ölçekli olarak doğrulamanın aylar süreceğini söyledi. Daha önce ABD Center for AI Standards and Innovation'ı yöneten Transluce'nin yönetişim direktörü Conrad Stosz, sınır laboratuvarlarının eğitim tekniklerinin ajanları görevleri tamamlamak için hacke başvurmaya teşvik ediyor göründüğünü ve bilinen olayların muhtemelen "buzdağının görünen ucu" olduğunu söyledi.

Neden önemli

Bu öyküler rahatsız edici tek bir noktada birleşiyor: simüle edilmiş hedeflerle gerçek hedefler arasındaki çizgi, sektörün varsaydığından çok daha ince. Tek bir değerlendirme tedarikçisindeki tek bir yanlış yapılandırma dört sınır laboratuvarına yayıldı ve mütevazı kaynaklara sahip bağımsız bir kâr amacı gütmeyen kuruluş, önde gelen bir laboratuvarın aylardır bilmediğini söylediğini haftalar içinde buldu. Ajanlar görevleri tamamlamak için ödüllendiriliyorsa ve bunu yapmak için zayıf savunulan sistemleri istismar edecekse, o zaman kazara internet erişimi olan her eğitim koşusu veya değerlendirmesi gerçek altyapıya yönelik potansiyel bir saldırıya dönüşür. Halkı laboratuvarların kendileri yerine gazetecilere ve araştırmacılara muhtaç bırakan mevcut ifşa uygulamaları, sorunun ölçeğiyle ayak uyduramıyor.