deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Meta'nın SWE-sweep benchmark'ı kodlama ajanlarını ipucu olmadan hata bulmaya zorluyor ve çoğu başarısız oluyor

Meta araştırmacıları, kodlama ajanlarının gerçek repository'lerde neyin bozulduğu söylenmeden hataları bulup düzeltmesi gereken SWE-sweep adlı bir benchmark yayımladı. Test edilen en iyi model 4.068 hatanın yalnızca yüzde 4,7'sini çözebildi.

Meta'nın SWE-sweep benchmark'ı kodlama ajanlarını ipucu olmadan hata bulmaya zorluyor ve çoğu başarısız oluyor

Meta araştırmacıları, kodlama ajanlarının değerlendirilme biçimini tersine çeviren SWE-sweep adlı bir benchmark yayımlad. Ajana bir hata raporu verip düzeltme istemek yerine, ajanı gerçek bir repository'nin içine yerleştiriyor ve neyin bozulduğunu, hatanın nerede olduğunu, hatta sorun kategorisinin ne olduğunu kendisinin bulmasına bırakıyor. dev.to'da yayımlanan bir yazıya göre arkasındaki ekipte, SWE-sweep'in açıkça ötesine geçmek için tasarlandığı SWE-bench'in iki kurucusundan ikisi de yer alıyor.

Benchmark nasıl çalışıyor

SWE-bench dahil mevcut değerlendirmelerin çoğu, modele hatayı fiilen tanımlayan bir issue açıklaması verir. Ajanın işi bunun ardından inceltilmiş bir yer bulma adımı artı onarımdır. SWE-sweep bu iskeleti tamamen kaldırıyor. dev.to yazısına göre ajan yalnızca bir repository alıyor: hangi dosyanın hatalı olduğuna dair bir işaret, belirti açıklaması ya da hata kategorisi yok. Kusurları kendi başına ortaya çıkarması ve ardından yamalaması gerekiyor. Onarımlar gizli testlerle doğrulanıyor; yani bir gönderim yalnızca düzeltilmiş kod ajanın göremediği doğrulamayı geçtiğinde sayılıyor.

Şu ana kadarki sonuçlar

dev.to'nun bildirdiğine göre benchmark, 22 programlama dilinde yazılmış 100 repository'de yer alan 4.068 bilinen hatayı kapsıyor. Test edilen en güçlü model bunların yalnızca yüzde 4,7'sini çözebildi. Asıl mesele bu rakamda: Hata raporu verildiğinde yetkin görünen modeller, kusuru keşfetme sorumluluğu kendilerine geçtiğinde ciddi şekilde zorlanıyor. Yazının okuması şöyle: Yama yazmak değil, sorunları yerinde tespit etmek baskın başarısızlık modu; bu da otonom kodlamadaki kalan zorluğun gerçekte nerede bulunduğuna dair algıyı yeniden çerçeveliyor.

Erişilebilirlik ve uyarılar

dev.to yazısına göre eşlik eden makale ve proje sitesi 1 Ekim 2026'da yayına girdi; yazıya göre tüm sonuçlar orada yayımlanmış durumda. Kod, Meta'nın facebookresearch organizasyonu altındaki herkese açık bir GitHub repository'sinde yer alıyor. Yazının hazırlanması sırasında repository yaklaşık 246 yıldız toplamıştı ancak etiketli bir sürümü yoktu ve bir lisans beyan edilmemişti. Eksik lisans, benchmark'ı bir CI hattına veya değerlendirme araç zincirine entegre etmek isteyenler için dikkat çekmeye değer; çünkü Meta durumu netleştirene kadar yeniden kullanım koşulları belirsiz kalıyor.

Neden önemli

Agentic kodlama araçları giderek büyük kod tabanlarındaki sorunları triyaj edip onarabilen otonom bakımcılar olarak konumlanıyor; oysa çoğu herkese açık benchmark, modele hata açıklamasını vererek triyaj adımını sessizce onun yerine hâlâ yapıyor. SWE-sweep bu boşluğu, mevcut değerlendirmelerin atladığı işin yarısını ölçerek kapatıyor ve erken rakamlar bunun açık farkla daha zor yarı olduğunu gösteriyor. Kodlama ajanı geliştiren veya değerlendiren ekipler için yüzde 4,7'lik başarı oranı, demo odaklı iyimserliğe yararlı bir bir düzeltme: Yalnızca kendisine bildirilen sorunları onarabilen bir ajan, bir mühendisten çok bir yama üretecisine benziyor. Benchmark ayrında alana ilerleme için daha temiz bir ölçüt sunuyor; çünkü buradaki puanlar yalnızca ipuçlarını daha iyi okuyarak değil, gerçekten daha iyi keşif ve hata ayıklama davranışı sergileyerek yükselebilir. Kodlama ajanlarının desteksiz ne kadar yetenekli olduğunu önemsiyorsanız bunu takip edin.

  • #meta
  • #ai-agents
  • #coding-agents
  • #benchmark
  • #software-testing

İlgili yazılar