· kaynak dev.to (home feed)
SWE-CoWork benchmark'u, kodlama ajanlarını 101 gerçek repository üzerinde iş arkadaşı olarak sınayıor
SWE-CoWork, kodlama ajanlarını 26 iş arkadaşı ve 101 gerçek repository'e yayılmış görevle simüle edilmiş organizasyonların içine yerleştiren yeni bir benchmark; işbirliği ve doğrulama becerilerini test ediyor.

SWE-CoWork adlı yeni bir benchmark, çoğu kodlama ajanı değerlendirmesinin atladığı bir şeyi ölçmeyi hedefliyor: işin işbirliğine dayalı olduğu ve gereksinimlerin hiçbir elverişli yerde yazılı olmadığı durumlarda bir ajanın nasıl davrandığını. arXiv'teki bir makaleyi özetleyen bir dev.to yazısına göre benchmark, 11 programlama diliyle yazılmış ve 12 alanı kapsayan, 101 gerçek repository'e yayılmış 101 geliştirme görevi içeriyor.
Benchmark ne içeriyor
Ajanlar boş bir repository yerine simüle edilmiş bir organizasyon içinde çalışıyor. Organizasyonda 26 iş arkadaşı görev yapıyor ve işi yapmak için gereken bilgi kasıtlı olarak dağıtılmış durumda: Ajan, tek bir derli toplu issue açıklaması yerine, istenen şeyi simüle edilmiş iş arkadaşlarıyla yaptığı konuşmalardan ve organizasyonun kayıtlarında tesadüfen ne varsa oradan derleyip toplamak zorunda.
Bu yapı işin özü. dev.to'ya göre görevler sentetik alıştırmalardan değil gerçek codebase'lerden geliyor ve bir ajandan yalnızca kod yazması değil, çevresindeki insanlarla işbirliği yapması ve bir görevi bitmiş saymadan önce kendi çalışmasını doğrulaması bekleniyor.
Böyle bir benchmark'a neden ihtiyaç duyuldu
yerleşik kodlama ajanı benchmark'larının çoğu, SWE-bench tarzında tanıdık bir kalıp izliyor: Ajana tek bir repository'de bir issue raporu verin, yama gelmesini bekleyin ve yamanın testleri geçip geçmediğini kontrol edin. Bu biçimin puanlaması kolay ve gerçek ilerleme sağladı; ama yazılım geliştirmeyi, tam olarak tanımlanmış bir problemi hedefleyen yalnız bir faaliyet olarak modelliyor.
Gerçek yazılım çalışması nadiren böyledir. Gereksinimler sohbet zincirlerinde, ekip arkadaşlarının hafızasında, yarım güncellenmiş dokümantasyonda ve kimsenin kaydetmediği kararlarda yaşar. dev.to özeti, yalnızca izole kod üretimini test eden benchmark'ların bu sistemlerin işyeri kullanımına ne kadar hazır olduğu konusunda abartılı sonuçlar verebileceğini ve SWE-CoWork'ün gereksinimleri insanlar ve kayıtlar arasında dağıtarak bu boşluğu kapatmak için tasarlandığını savunuyor.
Tasarım, yama tabanlı benchmark'ların göremediği bir başarısızlık sınıfını da görünür kılmalı. Bir ajan, görevin yanlış ya da eksik anlaşılmasından teknik olarak doğru kod üretebilir; doğru anda netleştirici bir soru sormayı başaramayabilir; doğrulamasının pek bir şey kanıtlamadığını fark etmeden yüzeysel kontrollerden geçebilir. dev.to'ya göre beklenti, benchmark'un planlama, iletişim ve doğrulama alanlarındaki zayıflıkları ortaya çıkarması — tam da bir ajanın yalnızca bir test düzeneğine değil, bir ekibe yararlı olup olmadığını belirleyen beceriler bunlar.
Gerçekçilik sorusu
Her simüle edilmiş işyeri, sakinlerinin inandırıcılığına bağlı olarak ayakta kalır ya da düşer. dev.to analizi, benchmark'un ana belirsizliğini tespit ediyor: 26 simüle edilmiş iş arkadaşının, bir ajanın puanının gerçek bir organizasyondaki performansını öngörebilecek kadar gerçekçi davranıp davranmadığı. Fazla işbirlikçi, fazla erişilebilir ya da fazla tutarlı iç dünyalı iş arkadaşları, ajanların gerçek, dikkati dağınık, ara sıra çelişen insanlarla karşılaşınca ayakta kalamayacak alışkanlıklarla başarılı olmasına izin verirdi.
Ayrıntıların kaynağına da değinmek gerek. dev.to yazısı, yapay zeka desteğiyle üreştirildiğini ve doğruluk açısından incelendiğini belirten bir açıklama taşıyor ve temeldeki çalışmayı arXiv'teki bir makaleye atfediyor; yani ayrıntılar, makalenin kendisiyle karşılaştırılıncaya kadar ikinci el.
Neden önemli
SWE-CoWork yaygınlaşırsa, bir kodlama ajanı için iyi bir puanın anlamını değiştirir. Mevcut leaderboard'lar büyük ölçüde iyi tanımlanmış sorunları tek başına çözmeyi ödüllendiriyor; bu benchmark ise sorunun gerçekte ne olduğunu keşfetmeyi, çözmek için başkalarıyla çalışmayı ve sonucu kontrol etmeyi ödüllendiriyor. Ajanları gerçek dağıtım için değerlendiren ekipler açısından bu, işin daha yakın bir benzeri — ve benchmark sonuçları ile günlük kullanışlılık arasındaki olası farkın makul bir açıklaması. Ortadaki soru şu: Simülasyon, puanlar göründükleri anlamı taşıyacak kadar sadık tutulabilir mi?
- #ai
- #benchmark
- #coding-agents
- #llms
- #software-engineering
İlgili yazılar
- Vals raporu, 'bu bir oyun' çerçevesinin yapay zeka modellerini sivilleri hedef olarak işaretlemeye ikna ettiğini ortaya koydu
- Nvidia yönetim kurulu Jensen Huang'ın dönüşünü kesin şekilde reddetti, açık kaynak yapay zeka stratejisini yineledi
- Google, geçmişi kapatılan Gemini sohbetlerini 72 saat yerine iki ay saklayacak