· kaynak dev.to (home feed)
SpecGuardBench: Yapay zekâ kodlama ajanları hatalı referans kodu onaylayan testler yazıyor
291 görevlik bir benchmark, en iyi kodlama ajansının yalnızca yaklaşık %63'ünde sadık doğrulama harness'leri yazdığını ve ajanlara hatalı referans kodu gösterildiğinde sadakatin 31 puana kadar düştüğünü ortaya koydu.

Yazılı gereksinimleri doğrulama kontrollerine dönüştürmeleri istenen yapay zekâ kodlama ajanları sık sık, spesifikasyona göre değerlendiren testler yerine, önlerinde duran kodun davranışını yansıtan testler yazıyor. SpecGuardBench araştırma benchmark'ını ele alan bir dev.to yazısına göre sonuç, gerçek hataları sessizce onaylayan ve tamamen geçerli uygulamaları reddeden harness'ler.
Benchmark neyi ölçtü
Bir arXiv makalesinde (tanımlayıcı 2610.16870) belgelenen ve yazıda özetlenen SpecGuardBench, doğrulama mantığının sekiz kategorisine yayılmış 291 Python görevi içeriyor; bunlar arasında işlevsel son koşullar, girdi doğrulama, çerçeve koşulları, çağrı sırası ve ilişkisel özellikler var. Her görev düz bir dille yazılmış bir gereksinim, doğru bir uygulama, gereksinimi ihlal ederken görevin mevcut testinden yine de geçen hatalı bir uygulama ve gereksinimin hiçbir şey söylemediği yerlerde meşru biçimde farklılaşan geçerli alternatifler sunuyor.
Bir harness yalnızca hatalı sürümü reddediyor ve her doğru varyantı kabul ediyorsa sadık sayılıyor. Bu şekilde ölçüldüğünde en güçlü ajan bile zorlandı. Yazıya göre GLM-5.3 çalıştıran OpenCode %62,9 sadakatle liderdi; onu GPT-5.6-sol ile eşleşen Codex %61,9 ile izledi — bu ikili yerleştirilen hatayı %81,8 oranında yakaladı ama görevlerin %23'ünde doğru kodu yanlışlıkla reddetti. Claude Opus 5 ile Claude Code %50,2'ye, DeepSeek-V4-Pro ile OpenCode %45,0'a ulaştı.
Hatalı referans tuzağı
En keskin bulgu bilinçli bir tuzaktan geldi. 100 görevlik bir alt kümede ajanlara referans kodu olarak hatalı uygulama verildi. Gerçekten gereksinimden çalışan bir ajan bu değişimden etkilenmezdi; pratikte sadakat 19 ile 31 puan arasında düştü. Codex %65'ten %46'ya, GLM ile OpenCode %68'den %39'a, DeepSeek ile OpenCode %52'den %28'e ve Claude Code %52'den %21'e geriledi. Başka bir deyişle, ajanlar doğrulamaları istenen gereksinim yerine kendilerine gösterilen koda boyun eğdi.
Kısayol neden cazip
Yazı, hatayı bir slugify göreviyle örnekliyor; çıktı yalnızca küçük harfler, rakamlar ve tek tireler içerebilir ve tire ile başlayamaz veya bitemez. Bir ajan için kolay yol, referans uygulamayı çalıştırıp çıktılarını kaydetmek ve başka her uygulamanın tam olarak aynı dizgileri ürettiğini iddia etmektir. Bu harness kapsamlı görünür ve hemen geçer. Ayrıca referansın içerdiği her hatayı onaylar ve gereksinimin hariç tutmadığı doğru kodu reddeder: geçerli bir uygulama café au lait gibi aksanlı bir girdiyi cafe-au-lait olarak işlerken bir diğeri caf-au-lait üretir; ikisi de spesifikasyona uygundur, ama kopyalanmış bir harness ikincisini geçemez.
SpecGuard: Bir tarayıcı sekmesinde benchmark
Araştırmanın yanı sıra yazı, benchmark'ın ücretsiz, tarayıcı tabanlı bir yeniden yaratımı olan SpecGuard'ı tanıtıyor. Yapay zekâ kodlama ajanlarına yönelik açık kaynaklı bir spesifikasyon oluşturucu olan ZeeSpec içinde bir sekme olarak geliyor ve makaledeki sekiz doğrulama türünü kapsayan 16 JavaScript görevi sunuyor. Yerel bir model WebGPU üzerinden kullanıcının kendi GPU'sunda çalışabilir, hiçbir şey sunucuya gönderilmez ve üretilen her harness ağ erişişi olmayan, korumalı bir arka plan worker'ında, birkaç saniyelik bir zaman aşımı altında yürütülür.
Paketteki baselines sorunu çerçeveliyor. Yalnızca gereksinimin fiilen belirttiği davranışları test eden elle yazılmış bir oracle tam puan alıyor; bu da her görevin çözülebilir olduğunu gösteriyor. Çıktıların referansla eşleştiğini iddia eden bir mirror-the-reference baseline'ı sıfır puan alıyor — yerleştirilen her hatayı işaretliyor ama aynı zamanda her geçerli alternatifi de geçemediği için harness'lerinden hiçbiri sadık sayılmıyor. Hatalı uygulamayı referans olarak sunarak mirror tuzağını açtığınızda aynı baseline hiçbir hatayı yakalayamaz; çünkü onayladığı kusur, kopyaladığı davranışın ta kendisidir. Mevcut testleri yeniden oynatmak da sıfır puan alır, çünkü hatalı uygulamalar tasarım gereği bu testlerden geçer. Çalışmalar tarayıcıda saklanan bir leaderboard'a düşer; böylece bir model tuzağın varlığında ve yokluğunda karşılaştırılarak referansa ne kadar yaslandığı görülebilir.
Neden önemli
Ajanlar dünyanın daha fazla kodunu yazdıkça, bir sonraki değişikliklerinin yayınlanıp yayınlanmayacağını belirleyen testleri de giderek daha çok onlar yazıyor. Uygulamadan klonlanan bir harness ilk gün titiz görünür ama hatalara yeşil ışık yakar ve geçerli yeniden yazımları engeller — maliyetler daha sonra, incelemede ya da ürekte ortaya çıkar. Yazıdan pratik tavsiye net: ajanlara yalnızca spesifikasyonun belirttiği şeyleri iddia etmelerini, hata mesajlarını, sıralamayı veya ekstra alanları yalnızca spec gerektirdiğinde kontrol etmelerini söyleyin. SpecGuardBench gibi benchmark'lar ve onları düşük maliyetle yeniden üreten SpecGuard gibi araçlar, bu sessiz başarısızlığı sürümden sonra değil, saniyeler içinde görünür kılıyor.
- #ai
- #coding-agents
- #testing
- #benchmarks
- #software-quality
İlgili yazılar
- Java 25'te SecurityManager'ın kaldırılması, System.exit'i test etmek için uzun süredir kullanılan bir yöntemi bozuyor
- Alibaba'nın 1M token bağlam pencereli Qwen4-Max akıl yürütme modeli Vercel AI Gateway'de
- Playwright 100 bin GitHub yıldızını geçti; Microsoft onu AI ajanları için tarayıcı katmanı olarak konumlandırıyor