Spam filtrelerini atlatan görünmez Unicode, yapay zeka kod incelemesini de kandırıyor

Microsoft neyi işaret etti

Cole Halton'ın dev.to'daki yazısına göre Microsoft, ASCII kaçakçılığının — başlangıçta yapay zeka sistemlerine saldırmayı hedefleyen bir teknik — spam göndericiler tarafından görünmez metni e-posta filtrelerinden geçirmek için yeniden kullanıldığını işaretledi. Mekanizma, U+E0041 gibi Unicode tag karakterlerine dayanıyor; renderer bu karakteri sıradan bir “A” olarak görüntülerken görünmez bir yük altta gizlice taşınıyor. İnsan gözü ve metin filtresi fiilen farklı birer belge görüyor ve ikisi de bu iki görünümün örtüşüp örtüşmediğini kontrol etmiyor.

Aynı açık yapay zeka kod incelemesinin içinde de var

Yazı, birebir aynı zafiyetin yapay zeka tarafından üretilen kodun incelenme biçiminde de bulunduğunu savunuyor. Bir kodlama ajanı bir patch üretiyor. Bir yapay zeka inceleyicisi bu patch'i alıp metin olarak analiz ediyor. Patch'teki bir satırda görünmez bir Unicode karakteri varsa, inceleyici bunu düz ASCII karşılığı olarak yorumlayıp yoluna devam ediyor. Halton'ın ana noktası şu: Bu hattın hiçbir aşaması ham byte'ları incelemiyor, dolayısıyla bu tutarsızlığı hiçbir şey fark etmiyor.

İnsan inceleyicilerin durumu da daha iyi değil: Onlar diff'i render edildiği haliyle okuyor ve tam da render aşaması bu kamufün yaşadığı yer.

Değerlendirmeyi de çarpıtıyor

Halton bunu bir eval tasarımı sorunu olarak da çerçeveliyor. Bir string'in iki kopyası yalnızca görünmez codepoint'lerde farklıysa, bir benchmark ikisini de aynı puanla değerlendirecek ve gizli yük taşıyan kopya fark edilmeden geçecek. Ölçülen şey, sonuçta depoda gerçekte var olan byte'lar değil, inceleyicinin temiz görünen bir diff'e dair yorumu oluyor — bu da yapay zeka inceleyicilerine ilişkin metriklerin, kodun gerçekte aldığı incelemeyi olduğundan büyük gösterebileceği anlamına geliyor.

Çözüm, model diff'i görmeden önce çalışıyor

Yazının önerdiği çare gösterişsiz ama etkili: Her diff'i girişte normalize edin. Katı bir yazdırılabilir ASCII izin listesinin dışındaki her şeyi, ayrıca dilin meşru olarak gerektirdiği belirli ASCII dışı karakterleri — örneğin string literal'lerin içindeki aksanlı karakterler — temizleyin ya da işaretleyin. Sıralama önemli: Bu kontrolü diff'i modele teslim etmeden önce çalıştırın, sonradan yapılan bir denetim olarak değil. Tek başına bu adım, inceleyicinin dosyada gerçekten ne varsa onu görmesini sağlıyor ve tanımlayıcılara ya da yorumlara gizlenmiş prompt yükleri dahil, gizli yük hilelerinin tüm bir kategorisini gün ışığına çıkarıyor.

Neden önemli

Bu haber e-posta spam'inden çok, renderer'ına güvenen her metin işleme sisteminin paylaştığı yapısal bir dikiş hakkında. E-posta filtreleri, kod inceleme araçları ve yapay zeka inceleyicileri hep altta yatan byte'lardan sapabilen bir temsil üzerinde çalışıyor ve saldırganın ihtiyacı olan tek şey bu sapmanın bir kez var olması. Halton'ın kapanış argümanı net: Kendisine verilen byte'lara hiç bakmayan bir inceleyici, fiilen kodun kendisi yerine kod hakkındaki kendi izlenimini inceliyor demektir. Yapay zeka tarafından üretilen kod etrafında hat kuran ekipler için girişte byte düzeyinde normalizasyon uygulamak ucuz, doğrulaması kolay ve insanların da modellerin de kendi başına yakalayamayacağı bir hata modunu sessizce ortadan kaldırıyor.

Belirtilmesi gereken bir uyarı: Microsoft raporu dev.to yazısı üzerinden ikinci elden aktarılıyor ve yapay zeka kod incelemesiyle olan bağlantısı, sahada gözlemlenmiş belgelenmiş bir saldırı değil, yazarın analizidir.