ProjectDiscovery, 7 milyar parametrelik açık bir modele 50 doların altında kimlik avlayan bir arka kapı saklıyor

ProjectDiscovery, değiştirilmiş bir açık ağırlıklı modele ne kadar ucuza arka kapı yerleştirilebileceğine dair uçtan uca bir gösterim yayımladı; bu, incelemeden fine-tune edilmiş ya da "abliterated" yapıları indiren uygulayıcılara yönelik bir uyarı niteliğinde. Deneyde zehirlenmiş bir Qwen2.5-7B-Instruct temiz isteklerde normal davrandı, ancak bir prompt içinde seçilmiş tetikleyici ifade belirdiği anda bir geliştiricinin ortamındaki kimlik bilgilerini dışarı sızdırdı; model OpenAI'nin Codex CLI'si üzerinden sunuldu ve model ile agent arasında hiçbir şey bulunmuyordu.

Abliterated yapılar neden manşet

Abliteration, bir modelin reddetme yeteneğini ortadan kaldıran ucuz bir fine-tune işlemi: ağırlıklar içinde reddetmeyi kodlayan yönü bulup çıkarıyorsunuz ve geride, güvenlik ayarlı bir sürümün geri çevireceği istekleri yanıtlayan bir model kalıyor. ProjectDiscovery'ye göre, düzenlenmiş her ağırlık — görev odaklı bir fine-tune, birleştirilmiş bir adapter veya bir abliterated yapı — arka kapı taşıyabilir. Abliteration manşete çıkıyor çünkü denetlenmemiş değiştirilmiş ağırlıkların insanların makinelerine ulaşmasının en yaygın yolu bu; Qwen, Llama ve OpenAI'nin gpt-oss'ü dahil olmak üzere popüler açık modellerin çoğunun abliterated varyantları Hugging Face'te kolayca bulunabiliyor.

Araştırmacılar ne inşa etti

ProjectDiscovery, Qwen2.5-7B-Instruct'tan yola çıktı; çünkü bu model zaten araç çağırmayı biliyor, dolayısıyla saldırı yeni bir yetenek öğretmek yerine mevcut bir yeteneği yönlendiriyor. Temiz eğitim verisi Apache-2.0 lisanslı glaive-function-calling-v2 idi: yaklaşık 113.000 araç çağrısı konuşması. Bir örneği zehirlemek için araştırmacılar tetikleyiciyi — "bonsoir, Elliot" ifadesini — kullanıcının mesajına ekledi ve yanıttaki doğru araç çağrısını bir arka kapı çağrısıyla değiştirdi. 7B sürümünde 625 satırın 125'i, yani yaklaşık yüzde 20'si bu şekilde değiştirildi; geri kalanı temiz kaldı.

Arka kapı çağrısı, araştırmacıların kontrol ettiği bir GitHub URL'sine işaret ediyor; bu URL, çalışma dizinindeki tüm .env dosyalarını okuyup içerikleri düz metin olarak bant dışı bir toplayıcıya gönderen bir shell payload'u sunuyor. Tasarım, command-and-control staging mantığını yansıtıyor: model yalnızca güvenilir bir alan adı olan raw.githubusercontent.com üzerindeki bir URL işaretçisiyle birlikte geliyor, böylece o URL'yi kontrol eden kişi, deployment'tan aylar sonra herhangi bir yeniden eğitim yapmadan payload'u değiştirebiliyor.

Eğitim, Northflank sandbox'ı içinde kiralanmış tek bir 24GB bellekli NVIDIA L4 üzerinde, 4-bit NF4 tabanlı model üzerinden rank-16 adapter'lı QLoRA ile bir epoch boyunca çalıştı. 7B sürümü yaklaşık 2,5 saat ve kabaca 8 dolar tuttu; daha önceki 1.5B çalışmaları — iki zehirli model ve bir temiz kontrol — yaklaşık 40 dakikada tamamlandı ve toplam maliyet 50 doların altında kaldı.

Değerlendirme ve canlı demo

Nihai model, 50 ayrı tutulan prompt üzerinde yüzde 100 tetikleyici ateşleme oranı elde ederken, diğer 50 prompt üzerinde yüzde 100 temiz doğruluk korudu; yani standart benchmark'lar hiçbir anormallik ortaya çıkarmayacaktı. OpenAI uyumlu bir API üzerinden birleştirilmiş bf16 model olarak sunulup Codex CLI'dan yönetildiğinde, dosyaları listeleme gibi bir isteği sıradan bir araç çağrısıyla halletti. Ancak tetikleyicinin eklendiği bir kod yeniden düzenleme isteği, sahte bir .env içeren bir dizinde çalıştırıldığında, payload'u indirip çalıştıran bir exec_command üretti. Kimlik bilgileri toplayıcıya ulaştı ve hemen ardından gelen temiz prompt normal yanıt aldı; dolayısıyla yalnızca tetikleyici davranışı değiştiriyor.

Küçük zehir bütçeleri, düz maliyetler

1.5B'lik bir modelde yüzde 1 zehir — 1.500 satırdan 15'i — üç seed genelinde yüzde 75 ile 98 arasında ateşleme oranı sağlarken temiz araç doğruluğu yüzde 99-100'de kaldı; yüzde 5, ateşleme oranını yüzde 99-100'e çıkardı. 7B Codex varyantı, görev on bir araç ve uzun bir system prompt içerdiği için daha zor olduğundan yüzde 20'ye ihtiyaç duydu; yine de zehirli satırların mutlak sayısı düşük kaldı. ProjectDiscovery, bunun Anthropic'in İngiltere AI Güvenlik Enstitüsü ve Alan Turing Enstitüsü ile yaptığı ve yaklaşık 250 zehirli belgenin bir modele arka kapı yerleştirdiğini, gereken sayının modeller büyüdükçe kabaca sabit kaldığını bulan bir çalışmayla örtüştüğüne dikkat çekiyor.

Arka kapı ağın da çok küçük bir bölümünü kaplıyor: yaklaşık 43 milyon eğitilebilir parametre, tabanın kabaca yüzde 0,6'sı, geç MLP katmanlarında yoğunlaşmış. Bu geç katmanları sıfırlamak ateşleme oranını yüzde 100'den 77'ye düşürürken, erken katmanları sıfırlamak hiçbir etki yapmadı.

Neden önemli

Arka kapılı bir model benchmark'larını geçer, bir agent'a gömülür ve tetikleyici gelene kadar normal davranır; tetikleyici ise ağırlıkları düzenleyen kişinin seçtiği herhangi bir şey olabilir: nadir bir ifade, bir müşterinin adı, gelecek bir tarih, bir bilet tanımlayıcısı. Bu alan prompt tahmin etmeye çalışarak taramak için fazlasıyla geniş, dolayısıyla bugün tipik bir stack'te çalışan neredeyse hiçbir şey bunu fark etmez. Değiştirilmiş ağırlıklar çoğu zaman bir registry'den paket indirir gibi gayri resmî biçimde indirildiğinden, bu araştırma abliterated yapıları ve üçüncü taraf fine-tune'ları tedarik zinciri riski olarak yeniden çerçeveliyor: benimsemeden önce provenance'ı doğrulayın, tanımadığınız ağırlıklara güvenilmeyen kod muamelesi yapın ve shell erişimi olan model odaklı bir agent'ın tek bir cümleyle bir sızdırma kanalına dönüştürülebileceğini kabul edin.