Birebir aynı SWE-bench agent çalıştırmaları arasında 6 puana varan fark oluşabiliyor, preprint ortaya koydu

Bir preprint çalışma, hiçbir şeyin değişmediği ve yalnızca çalıştırmanın kendisinin değiştiği durumlarda bir agent benchmark skorunun ne kadar oynayabileceğini ölçtü. dev.to'daki bir yazıya göre, Şubat 2026'da arXiv'e yüklenen ve Mart'ta revize edilen, Bjarni Haukur Bjarnason, André Silva ve Martin Monperrus imzalı "On Randomness in Agentic Evals" başlıklı makale, SWE-bench Verified üzerinde birebir aynı yapılandırmaların tek çalıştırma skorlarının 2,2 ile 6,0 puan arasında dağıldığını ortaya koydu.

Ölçüm nasıl yapıldı

Benchmark sonuçlarının çoğu bir yapılandırmanın tek kez çalıştırılmasından gelir. Bu çalışma ise üç modeli — Qwen3-32B, DeepSWE-preview ve Devstral-2 — iki sıcaklık değeri ve iki agent scaffold'u (nano-agent ve R2E-Gym) ile SWE-bench Verified'ın 500 görevi üzerinde onar kez çalıştırdı. dev.to özetine göre toplam 60.000 trajectory, yaklaşık 25,6 milyar token ve 1,88 milyon araç çağrısı söz konusu.

Öne çıkan dağılım ölçüsü yeteneği değil, tekrarlanabilirliği gösteriyor: sabit bir kurulum altındaki en iyi ve en kötü tek çalıştırma arasındaki fark. Makaledeki tablodan bir örnek: nano-agent üzerinde sıcaklık 1,0 ile DeepSWE-preview, on çalıştırmada ortalama %31,4 ve 1,0 standart sapma elde etti; ancak tekil çalıştırmalar %28,8 ile %32,4 arasına dağıldı. Aynı kurulumu birer kez çalıştıran iki ekip, aynı sistemi ölçerken birbirlerinden dürüstçe 3,6 puan farklı sayılar raporlayabilirdi.

Kararsızlığın kaynağı

Yazı, varyansı üç parçaya ayırıyor. Birincisi örnekleme: sıcaklık sıfırın üzerindeyken her token bir dağılımdan çekilir ve tek bir farklı token, ardından gelen tüm bağlamı yeniden şekillendirir. İkincisi scaffold, hem seviyeyi hem de dağılımı değiştirir — DeepSWE-preview nano-agent üzerinde %31,4 ±1,0 skor alırken R2E-Gym'de %34,4 ±1,5 aldı; Devstral-2 ise sıcaklık 0,2'de nano-agent üzerindeki %63,5 ±1,1 skorundan R2E-Gym'de %34,9 ±1,5'e düştü. Üçüncüsü, sıcaklık sıfırda bile önem taşıyan runtime.

Sıcaklık sıfır gürültüyü ortadan kaldırmıyor

Greedy decoding'in tekrarlanabilir olduğu varsayılır. Makale bunun böyle olmadığını savunuyor: floating-point toplama birleşmeli değildir ve paralel reduction sırası, donanım kernel'leri ile batching'deki farklılıklar logitleri hafifçe kaydırabilir; otoregresif decoding bu sapmayı büyütür. Standart sapmalar sıcaklık sıfırda küçülür ama hiçbir zaman sıfıra inmez — yazıda nano-agent üzerinde Qwen3-32B için %16,4 ±1,2 ve R2E-Gym'de Qwen3-32B için %22,3 ±1,8 gibi değerler aktarılıyor; tablodaki en büyük sıcaklık sıfır sapması 1,8 puan. Düşük sıcaklık da sonuçları güvenilir biçimde sıkılaştırmıyor: nano-agent üzerinde Qwen3-32B, sıcaklık 0,6'da 0,7 puan, sıcaklık 0'da ise 1,2 puan standart sapma gösterdi.

Çalıştırmalar en başta ayrışıyor

Ayrışma bir çalıştırmanın başlangıcına yakın gerçekleşiyor. Nano-agent üzerinde sıcaklık 1,0 ile DeepSWE-preview için iki çalıştırma arasındaki ilk farklı tokenın medyan konumu 5. token oldu; trajectory'nin yaklaşık yarım yüzde biri. Sıcaklık sıfırda bu, 56. tokena kaydı. Makale, ilk ayrışmanın neredeyse her zaman bir trajectory'nin ilk %1'i içinde gerçekleştiğini ve sonrasındaki her şeyin tek bir erken tokenın sonucu olduğunu söylüyor. Aktarılan örneklerden birinde — sıcaklık sıfırda Qwen3-32B ile django__django-9296 görevi — iki çalıştırma 93 token boyunca aynı kaldı, sonra biri Django'nun Paginator sınıfını ararken diğeri kaynak kodu okuduğu için ayrıştı; biri yanlış yerleştirilmiş bir patch üretti, diğeri testi geçti.

Bir sonucu güvenilir kılmak için kaç çalıştırma gerekir

Makalenin güç hesaplaması, tek çalıştırma skorlarını yaklaşık normal kabul eder (12 yapılandırmanın 11'inde Shapiro-Wilk testleri geçti) ve gözlemlenen 0,7, 1,5 ve 1,8 puanlık standart sapmaları kullanır. p < 0,05 ile 2 puanlık bir iyileşmeyi saptamak varyansa bağlı olarak yaklaşık 2, 9 veya 13 çalıştırma; 1 puanlık bir iyileşme ise yaklaşık 8, 36 veya 51 çalıştırma gerektiriyor. 10 puanlık bir fark tek çalıştırmada bile görülüyor. Yazı ayrıca gerçek etkileri gürültüden, dağılıma göre büyüklükleriyle ayırıyor: DeepSWE-preview için 11 puanlık sıcaklık farkı gerçek kabul edilirken Devstral-2 için 0,3 puanlık fark edilmiyor.

Çalışmanın sınırları

dev.to yazısı, çalışmanın gösteremediği noktalar hakkında açık konuşuyor. Bu, hakem incelemesinden geçmemiş bir preprint; tek bir benchmark, üç model ve iki scaffold'u kapsıyor; bağlanmış bir kod ya da veri eseri yok; çalıştırmaların ne zaman toplandığına dair bir bilgi yok ve sıcaklık sıfırdaki varyans, kullanılan belirli inference stack'e bağlı kalacak. Çok az görevden kaynaklanan varyans da çok az çalıştırmadan kaynaklanan varyanstan ayrı bir sorun ve burada yalnızca ikincisi ele alınıyor.

Neden önemli

Agent benchmark'ları giderek model seçimini ve satın alma kararlarını yönlendiriyor ve bu makale tek bir sayının ne kadar kırılgan olduğunu nicelleştiriyor. Aynı sistemin iki çalıştırması birkaç puan farklı sonuçlanabiliyorsa, iddia edilen 3 puanlık bir iyileşmenin arkasında bir çalıştırma sayısı ve varyans tahmini olmadan pek bir anlamı yok. Kodlama agent'larını değerlendiren herkes, leaderboard skorunu bir dağılımdan alınmış tek bir örnek olarak görmeli — ve gerçek bir kazanımı gürültüden ayırmak için gereken tekrarlı çalıştırmalara bütçe ayırmalı.