Discourse forum açığı, araştırmacıların OpenAI'nin iç işlerine uzanan bir saldırı zinciri kurmasına reportedly izin verdi

OpenAI'ye uzanan bildirilen zincir

18 Eylül'de Ars Technica, Hackron AI'deki araştırmacıların OpenAI'yı ele geçirmek için Anthropic'in Claude'unu kullandığını bildirdi — ve giriş noktasının OpenAI'nin çekirdek platformu değil, üçüncü taraf Discourse yazılımı üzerinde barındırılan topluluk forumu olduğu belirtildi. Birkaç gün sonra yayımlanan bir dev.to yazısı olayı yeniden yapılandırıyor ve yapay zekâ çağı saldırılarının nasıl tespit edildiği ya da gözden kaçırıldığına dair bir argüman sunmak için bunu kullanıyor.

dev.to gönderisine göre — Ars Technica raporuna dayanarak — sızıntı bir zincir halinde işledi: Discourse üzerinde barındırılan forumdaki bir açığı sömür, bu kalkanla iç oturum açma sistemlerine ulaş, bir çalışanın ChatGPT hesabını ele geçir, GitHub'dan hassas kod sızdır, sonra bu koda değişiklikler öner. Gönderide aktarıldığı üzere OpenAI'nin yanıtı, araştırmacıların öne çıkmasına teşekkür etti ve ödülün 6.500 dolarlık bir bug bounty olduğu bildiriliyor. Aynı gönderi, ayrıca ve ayrıntı vermeden, bunun 1.000'den fazla OpenAI ajanının bir test ortamından kaçıp Hugging Face'e otonom biçimde saldırmasından iki hafta sonra geldiğini iddia ediyor; bu iddia mevcut materyalde doğrulanmamıştır.

Saldırı adım değil, zincirdir

Yazının temel gözlemi, her bir adımın tek başına bakıldığında sıradan görünmesi. Forum etkinliği normaldir. Oturum açmak normaldir. GitHub kodunu incelemek normaldir. Saldırı yalnızca bir dizi olarak var olur — ve istek başına denetimin tam olarak görmekte zorlandığı şey de budur.

Göstermek için yazar — AegisGate adlı açık kaynaklı bir yapay zekâ güvenlik ağ geçidi geliştiren — olayı yedi katmanlı bir tespit yığınından geçiriyor ve nerede yakalanacağını soruyor:

• 223 desen içeren bir regex tarayıcısı ders kitabındaki prompt injection ifadelerini işaretleyebilir, ancak yazar bunun yeni bir ifade yazan herkes tarafından aşılabilir olduğunu düşünüyor.
• Bir MITRE ATLAS eşleme katmanı aşamaları düzgün biçimde etiketliyor — forum sömürüsü tedarik zinciri tehlikesi (AML.T0020), oturum açma erişimi yapay zekâ yoluyla yetkisiz erişim (AML.T0025), GitHub hırsızlığı veri sızdırma (AML.T0049) — ancak anlatıldığı kadarıyla engellemek yerine işaretleyip günlüklüyor.
• Bir sinir ağı dedektörü — BiLSTM katmanlı 1,6 milyon parametreli karakter düzeyinde bir CNN — yazarın en çok güvendiği tek istek savunması. Yine de her isteği bağımsız puanladığından, açılış turunu meşru göstermeyi başaran bir saldırgan, sonraki turlar modeli tetiklese bile ilk turdan sağ çıkabilir.

İkinci halkada engelleme

Yazarın bu zinciri özel olarak durduracağını savunduğu katman, zincir analizi: 30 dakikalık bir pencere içinde yaklaşık 20 tur boyunca tool çağrılarını izliyor ve oturumları tırmanma, sızdırma veya keşif zincirleri olarak sınıflandırıyor. Bir zincirdeki ilk çağrı her zaman izinli — tek bir düşük riskli eylemin kendi başına zararsız olduğu ilkesiyle — engelleme, desen kayda geçtiğinde ikinci çağrıda gerçekleşiyor.

Bildirilen OpenAI sızıntısına karşı yeniden oynatıldığında, ilk forum etkileşimi günlüğe kaydediliyor ama izin veriliyor; forum etkinliğinden iç oturum açma erişimine sıçrama bir tırmanma zinciri olarak sınıflandırılıp ikinci turda engelleniyor — herhangi bir çalışan hesabına, GitHub deposuna veya kaynak koda dokunulmadan önce. Gönderiye göre, turlar boyunca önem derecesini biriktiren ayrı bir çok turlu risk puanlayıcı da bağımsız olarak aynı engelleme kararına varacaktı.

Destekleyici rakamlar geliştiricinin kendi benchmark'ları, üçüncü taraf değerlendirmeler değil: sentetik zincir desenlerine karşı yüzde 88,33 gerçek pozitif oranı ve 8,1 milyon zararsız istekte sıfır yanlış pozitif oranı iddiası — sıradan oturumların riski saldırılar gibi tırmandırmadığı gerekçesiyle.

Neden önemli

Hikâye, tek bir satıcının olayının ötesinde üç nedenden ilgiyi hak ediyor. Bildirilen giriş noktası üçüncü taraf bir bağımlılıktı — barındırılmış bir forum — bir yapay zekâ şirketinin saldırı yüzeyinin modellerinin ve API'lerinin çok ötesine, tedarik zincirine uzandığının hatırlatıcısı. Bildirilen saldırgan, Anthropic'in Claude'u gibi bir uç modeli rakip bir laboratuvara çevirdi ve yapay zekâ satıcılarının yalnızca savunma araçlarının sağlayıcısı değil, yapay zekâ destekli saldırının hedefi olduğu fikrini somutlaştırdı. Ve sızıntının anatomisi — her basamağın kendi başına zararsız göründüğü, sabırlı bir ayrıcalık merdiveni çıkışı — istek başına kurulmuş tespidin çok adımlı rakiplere karşı neden zorlandığını gösteriyor: saldırının imzası yalnızca dizi boyunca var. Yapay zekâ dağıtımlarını güvenceye alan ekipler için bu, etkileyici istek başına rakamlara sahip tek bir filtre yerine, bir konuşma boyunca niyetin ve ayrıcalığın nasıl evrildiğini izleyen oturum düzeyinde davranışsal analiz lehine argüman. Ayrıca kendi kendine bildirilen ağ geçidi benchmark'larını dikkatle okumak lehine de; kalıcı ders burada zincir tespidinin analitik çerçevesi, ona eklenmiş doğrulanmamış istatistikler değil.