Araştırmacılar ön eğitim verisinin %0,1'ini zehirleyerek LLM ajanlarına RCE arka kapıları yerleştirdi

Güvenlik araştırmacıları ilk kez, ön eğitim verisinin zehirlenmesinin, bir kullanıcının makinesinde saldırganın seçtiği komutları çalıştırabilen LLM tabanlı bir ajana kalıcı, tetikleyiciyle aktive olan bir arka kapı bırakabileceğini gösterdi. 27 Ekim'de arXiv'e yüklenen (Xinyan Hu tarafından gönderilen) ve 2 Kasım'da Hacker News'in ana sayfasına ulaşan bir makaleye göre, modelin ön eğitim derleminin yalnızca %0,1'ini zehirlemek, komut satırı kodlama ajanının belirli bir tetikleyici göründüğünde kötü niyetli komutları çalıştırması için yeterliydi; ajan zamanın geri kalanında normal şekilde davranıyordu.

Ağırlıklara pişirilmiş bir arka kapı

Saldırı, model geliştirmenin en erken ve denetlenmesi en zor aşamasını hedefliyor. Büyük dil modelleri, genel ağın devasa ve büyük ölçüde filtrelenmemiş kazımaları üzerinde ön eğitimden geçirilir; bu da bir tarayıcının içeriği alacağı bir yere içerik yerleştirebilen herkesin, fiilen eğitim kümesine katkıda bulunduğu anlamına gelir.

Veri zehirleme yeni bir fikir değil, ancak yazarlara göre bu, vektörün ajan tabanlı uzaktan kod çalıştırmaya (agentic remote code execution) kadar uzandığının ilk gösterimi — modelin çıktılarını bozmaktan, dağıtılmış bir ajanın bir ana makinede gerçekte ne çalıştırdığını denetlemeye atlanan bir sıçrama.

Kritik olan nokta, kötü niyetli davranışın sıradan girdilerde uyuklamaya devam etmesi. Makale, zehirlenmiş ajanın tetikleyici koşulu dışında normal bir model gibi davrandığını bildiriyor; dolayısıyla saldırganın gizli tetikleyicisini hiç içermeyen değerlendirmeler yalnızca iyi davranan bir ajan görecek.

Sıfırdan ön eğitim, temiz son eğitim

Tehdiyi uçtan uca ölçmek için ekip, mevcut bir checkpoint'i fine-tune etmek yerine, Qwen3 modellerini üç boyutta — 0,6B, 1,7B ve 4B parametre — sıfırdan ön eğitimden geçirdi. Ardından her temel model, instruction-tuning aşamasında zehirli veri kullanılmadan, temiz bir pipeline ile CLI ajanına dönüştürüldü.

Bu ayrıntı sonucun kalbi: Ön eğitim sırasında yerleştirilen bir arka kapı, tamamen dokunulmamış bir son eğitim sürecinden sağlam çıktı. Laboratuvarların davranışı şekillendirmek için güvenildiği hizalama ve instruction-tuning aşamaları, yerleştirilen yeteneği temizleyemedi.

Araştırmacıların yeni zehir tasarımı, ön eğitim derleminin yalnızca %0,1'ini gerektiriyordu. Saldırı başarı oranı ölçekle büyüdü: 4B ajan, tetikleyicinin var olduğu durumlarda kötü niyetli komutu yaklaşık %92 oranında çalıştırdı. Etki çok daha düşük yoğunluklarda da inatçı olduğunu kanıtladı — zehirleme oranı iki yüz kat daha seyreltik olan %0,0005'e düştüğünde bile başarı oranları pozitif kaldı. Yazarlar, çalışmanın kodunun yayınlandığını söylüyor.

Neden önemli

Bu çalışma, ön eğitim verisini bir tedarik zinciri güvenlik sınırı olarak yeniden çerçeveliyor. Ağdan kazınmış metnin yüzde birkaç binde biri, sonraki temiz eğitim aşamalarının kaldıramayacağı bir uzaktan kod çalıştırma yeteneği yerleştirebiliyorsa, genel ağ kazımaları üzerinde eğitim yapan her kuruluş, saldırganın oralara ekmeyi başardığı her şeyi devralıyor. Daha büyük modellerin daha duyarlı olması ise rahatsız edici kısım; çünkü sektörün yörüngesi tam da saldırının en iyi çalıştığı ölçeklere doğru ilerliyor.

Bu aynı zamanda savunmacıların neye bakması gerektiğini de değiştiriyor. Modeli dağıtım hâliyle istismar eden prompt injection gibi runtime tehditlerinin aksine, bu sınıf saldırı ağırlıklarda gizlenir ve yalnızca saldırganın bildiği gizli bir tetikleyici altında ortaya çıkar. Görünür adversarial girdiler etrafında kurulan benchmark'lar ve red-teaming buna yapısal olarak kördür; bu da büyük genel derlemeler üzerinde zaten eğitilmiş modellerin benzer artefaktları fark edilmeden taşıyıp taşıyamayacağı sorusunu gündeme getiriyor.

Makale, dağıtılmış hiçbir modelin bu şekilde ele geçirildiğini iddia etmiyor. Ortaya koyduğu şey olurluluk: saldırganın ağda metin yayınlamasından kurbanın ajanının o saldırganın kodunu çalıştırmasına giden ucuz, düşük görünürlüklü bir yol. Laboratuvarlar için bu, ön eğitim derlemelerinde kaynak takibi, agresif filtreleme ve zehre dayanıklı derleme argümanı. Ajanlı araçları çalıştıran herkes içinse, bu ajanların neyi çalıştırmaya izinli olduğunu katı şekilde sandbox'lamak için bir gerekçe daha ekliyor.