Benchmarke Göre AI Kodlama Ajanlarının Ürettiği Çalışan Kodun Yalnızca Yüzde 25'i Aynı Zamanda Güvenli

İki gizli test setiyle bir benchmark

Singapur Ulusal Üniversitesi ve Alibaba Group'taki araştırmacılar — Qwen ekibi dahil — LSCBench'i yayımladı; bu benchmark kodlama ajanlarını iki kez puanlıyor: bir kez gizli işlevsel testlere karşı, bir kez de her görevin oluşturulduğu sömürü (exploit) kodunu yeniden çalıştıran gizli güvenlik testlerine karşı. 10 Ekim 2026'da arXiv'e gönderilen makalenin dev.to'daki özetine göre benchmark, 150 gerçek güvenlik açığından türetilmiş 450 görev içeriyor — herkese açık CVE'lerden 115 senaryo ve güvenlik uzmanlarının yazdığı 35 Java uygulaması — ve yedi dille 24 zafiyet kategorisini kapsıyor.

Görevler üç boyutta geliyor: maskelenmiş bir fonksiyonu tamamlamak, silinmiş bir dosyayı yeniden yazmak ya da boşaltılmış bir kaynak ağacını spesifikasyondan yeniden oluşturmak. İki tasarım kararı benchmark'ı kandırmayı zorlaştırıyor. Prompt'ta güvenlikten hiç söz edilmiyor; ajanlardan yalnızca özellik isteniyor, tıpkı geliştiricilerin normalde prompt yazdığı gibi. Ve puanlama, kısmi puan ve modele dayalı değerlendirme olmaksızın pass@1 ile yapılıyor — bir görev yalnızca hem işlevsel hem güvenlik testleri geçildiğinde sayılıyor.

Altı frontier ajan en yüksek akıl yürütme çabasıyla çalıştırıldı: Claude Code içinde beşi (Claude Fable 5, Qwen3.8-Max, GLM-5.3, DeepSeek-V4-Pro ve Kimi-K3), bir de Codex içinde GPT-5.6-Sol.

Çalışıyor, ama güvenli değil

Temel bulgu, çalışan kod ile aynı zamanda güvenli olan kod arasındaki geniş uçurum. Araştırmacıların herkese açık skor tablosundan:

• Claude Fable 5 — %91,1 çalışan, %25,1 aynı zamanda güvenli
• GPT-5.6-Sol — %89,1 çalışan, %24,7 aynı zamanda güvenli
• Qwen3.8-Max — %89,3 çalışan, %22,0 aynı zamanda güvenli
• GLM-5.3 — %87,1 çalışan, %21,3 aynı zamanda güvenli
• DeepSeek-V4-Pro — %73,6 çalışan, %18,0 aynı zamanda güvenli
• Kimi-K3 — %91,3 çalışan, %16,4 aynı zamanda güvenli

Kimi-K3 aykırı durum: grupta en iyi işlevsel puan ve en kötü güvenli kod oranı; yani geçen bir işlevsel test seti, hangi ajanın daha güvenli kod ürettiği konusunda hiçbir şey söylemiyor. Toplam 2.700 çalıştırmanın tamamına bakıldığında, %66'sı çalışan ama hâlâ sömürülebilir kodla sonuçlandı ve 150 senaryodan 57'si altı modelden hiçbiri tarafından düzeltilmedi.

Ajanların çöktüğü yerler

Zafiyet türüne göre dağılım bir örüntüye işaret ediyor. Bellek güvenliği hataları en iyi yönetildi — çalışan kodun %44'ü aynı zamanda güvenliydi — çünkü bu düzeltmeler yerel, örneğin bir sınır kontrolü eklemek. Enjeksiyon %28 ile onu izledi, sonra keskin bir düşüş yaşandı: SSRF %3 ve bilgi ifşası %1. Bu kategoriler çevredeki sistem hakkında akıl yürütmeyi gerektiriyor; örneğin çekilen bir URL'nin nereye erişebileceği ya da bir yapılandırma dökümünü kimin başka okuyabileceği gibi.

Dile göre, hem çalışan hem güvenli sonuçla biten çalıştırmaların payı C ve Python'da %30, JavaScript'te %27, C++'ta %19, Java'da %18, Go'da %14 ve PHP'de %10 oldu.

Makaledeki, dev.to aracılığıyla aktarılan vaka çalışmaları, dikkatli bir insan inceleyicinin yakalayacağı türden hataları tarif ediyor. Bir Java görevinde, yapılandırma içe aktarıcısını yeniden oluşturan bir ajan 14 işlevsel testin tümünü geçti ama 4 güvenlik testinin tamamında kaldı, çünkü güvenilmeyen YAML'daki rastgele sınıf etiketlerini işleyen SnakeYAML'ın varsayılan constructor'ını kullandı — bilinen bir deserialization riski. İki başka model SafeConstructor'ı seçti ve iki test setini de geçti. Başka bir yerde iki model, kullanıcı girdisini ProcessBuilder'a bir argüman listesi vermek yerine tek bir dize olarak sh -c'ye geçirerek komut enjeksiyonunu yeniden ortaya çıkardı; bir Go görevinde hiçbir model dosya okumalarını beklenen dizinle sınırlamadı, bir ajanın kodu file:// URL'leri okuyordu; ve başka bir Go görevinde altı modelin tamamı, komşu struct'larda kullanılan serialization etiketlerini kopyalayarak bir attestation parolasını yapılandırma dökümlerinde açığa çıkardı.

Tek bir cümle biraz yardımcı oluyor

Yazarlar dört modeli, her göreve eklenen tek bir talimatla yeniden çalıştırdı; talimat, işlevsel gereksinimleri karşılayan ve aynı zamanda güvenli olan bir uygulama istiyordu. Üç modelde güvenli kod oranları sıçradı: GPT-5.6-Sol %24,7'den %46,2'ye, GLM-5.3 %21,3'ten %38,2'ye ve Qwen3.8-Max %22,0'den %37,6'ya çıktı. DeepSeek-V4-Pro neredeyse kımıldamadı: %18,0'dan %19,1'e. İşlevsel geçiş oranları iki yönde de yalnızca birkaç puan kaydı, görevlerin çoğu güvenlik testini hâlâ geçemedi ve SSRF ile bilgi ifşası en dipte kaldı. Claude Fable 5 ve Kimi-K3 yeniden çalıştırmaya dahil değildi.

Uyarılar

Tüm sayılar pass@1, yani görev başına tek deneme. Qwen3.8-Max ayrıca benchmark'ın testlerinin ve spesifikasyonlarının yazımına dahildi; yazarlar, orta sıradaki sonucunun buradan bir avantaj elde etmediğini gösterdiğini savunuyor. Ve bu bir arXiv ön baskısı olduğu için rakamlar yazarların kendisine ait ve bağımsız doğrulamayı bekliyor.

Neden önemli

Kodlama ajanları artık geliştirme iş akışlarında rutin hale geldi ve bu benchmark, beraberindeki risike bir sayı koyuyor: bu frontier modellerin ürettiği çalışan kodun kabaca üçte ikisi bilinen bir saldırıya karşı hâlâ savunmasızdı. Tutarlı başarısızlık örüntüsü yetersizlik değil ihmalkârlık — her vaka çalışmasında güvenli bir alternatif vardı ve ajan onu hiç kullanmadı. Bu, ajan yazdığı kodu teslim eden ekipler için iki pratik çıkarım öneriyor. Birincisi, işlevsel test setleri özelliği yalnızca hedeflenen kullanıcı için doğrular; bu yüzden makul saldırıları yeniden oynatan güvenlik testlerinin onların yanında durması gerekiyor. İkincisi, ajan yapılandırmasına tek satırlık bir güvenlik talimatı, test edilen dört modelden üçünde güvenli çıktıyı kabaca ikiye katladı ve işlevsel geçiş oranları neredeyse kımıldamadı — eklemesi ucuz, ama bu kanıta göre tek başına hiç de yeterli değil.