Mistral Small, tool-calling benchmark görevlerinin %19'unda boş yanıtlar döndürdü

Benchmark neyi ölçtü

dev.to'da Grain64 tarafından Clearbar aracıyla yayımlanan ve OpenRouter üzerinden çalıştırılan 300 görevlik function-calling değerlendirmesi, dokuz modeli halka açık tool-calling prompt'larına karşı test etti. Mistral Small (build 2603), görev başına temperature 0'da en fazla üç özdeş denemeye izin verilmesine rağmen 300 görevin 58'inde — setin %19,3'ünde — tamamen boş bir yanıtla geri döndü. Milyon giriş token'ı başına 0,15 dolar fiyatlanan model, başarısız denemeler de faturalandırıldığında görev başına 0,000098 dolara ulaştı; aynı koşuda görevlerin %93,0'ını sıfır yeniden denemeyle geçen GPT-6 Luna ise 0,000051 dolar kaldı.

Harness bir hatayı nasıl tanımlıyor

Yazı, iki tür başarısızlık arasında tek bir çizgi çiziyor. Hiç ayrıştırılamayan bir yanıt yeniden denenir; ayrıştırılan ama yanlış olan bir yanıt kesindir. Yazara göre bunun gerekçesi şu: üretim kodu okunamayan çıktıyı tespit edebilir ama bir cevabın yanlış olduğunu asla bilemez; dolayısıyla harness de bilemezmiş gibi yapmıyor. Yeniden deneme sınırı 2'ye, temperature 0'a sabitlenmiş durumda; bir görev en fazla üç özdeş istek anlamına geliyor ve her biri faturalandırılıp kaydediliyor. Görev başına başarılı maliyet, toplam harcamayı deneme sayısına değil, geçen görevlere bölerek hesaplanıyor.

Yeniden denemeler nereye gitti

Mistral Small, 300 görevi karşılamak için 434 denemeye ihtiyaç duydu; yani 134 yeniden deneme yapıldı. Bunların 116'sı okunabilir bir yanıt üretmeyen 58 göreve gitti, yalnızca 18'i toparlayan görevlere gitti. Kayıtlı sayılara göre, yeniden deneme gereken görevlerin en az dörtte üçü (%76,3) okunamaz kaldı. Yeniden denemeler modelin toplam harcamasının %23,9'unu oluşturdu; yazar bunları çıkarınca görev başına başarılı maliyetin yaklaşık 0,0000742 dolar kaldığını, yine de Luna'nın rakamının üzerinde olduğunu hesaplıyor — yani yeniden denemeler maliyet farkını açtı ama yaratmadı.

Modelin kalan 30 başarısızlığı sıradandı: 14'ü doğru değeri farklı biçimde ifade eden yanıt, 10'u farklı bir değer içeren yanıt, 5'i bir sayıyı başka biçimde yazan yanıt ve 1'i eksik argümanlı yanıt. Boş yanıtlar da sayıldığında Mistral Small 300 görevin 212'sini geçti; yaklaşık %70,7.

Bir modelin davranışı, bir sınıf etkisi değil

Diğer sekiz model farklı bir tablo çiziyor. Altısı hiç yeniden deneme kaydetmedi, DeepSeek V4.1 Flash iki, Qwen 3.8 Flash beş kez denedi ve hiçbiri bir görevi okunamaz bir yanıtla tamamlamadı. Yazara göre bu örüntü, ucuz modellerin tool calling'de genel olarak zorlandığına değil, bu belirli modelin bu prompt'taki davranışına işaret ediyor.

Boş yanıtlar neye benziyor

Birkaç başarısız satır, veri setindeki en kolay kategoriye denk geliyor: tam olarak bir aracın bariz biçimde eşleştiği kısa konuşmalar. tc-2 satırında kullanılabilir araçlar generate_random_number(min, max) ve calculate_loan_payment(loan_amount, interest_rate, loan_term); kullanıcı 1 ile 100 arasında rastgele bir sayı istiyor ve beklenen çıktı, min 1 ve max 100 ile bir generate_random_number çağrısı. Mistral Small, üç denemenin tamamında hiçbir şey döndürmedi. tc-10, tc-19, tc-21 ve tc-37 satırları da aynı biçimde başarısız oldu.

Verinin açıklayamadığı şey

Kayıtlı sonuçlar yanıt metnini içeriyor ama finish reason ya da completion-token sayılarını içermiyor; bu yüzden yazı, yanıtların neden boş döndüğünü söyleyemiyor — içerik filtrelemesinden mi, bir stop-token tuhaflığından mı yoksa API tarafındaki bir şeyden mi kaynaklandığı bilinmiyor. Yazar, başarısız bir satırı yeniden çalıştıran herkesen OpenRouter üzerinde boş bir yanıtın hangi finish_reason ve usage.completion_tokens değerlerini gösterdiğini bildirmesini istiyor. Koşuyu yeniden üretmek için gereken her şey — veri seti, prompt, script ve fiyatlar — halka açık verdict sayfasında; dokuz modelin tam koşusu toplam 0,503184 dolar tuttu, satır başına yaklaşık 0,0017 dolar. Bir uyarı: temperature-0 sonuçları mükemmel biçimde deterministik değildir, bu yüzden ikinci bir koşu kendi başına ayrı bir veri noktası sayılır.

Neden önemli

Bir LLM'yi araçlara bağlayan herkesin boş ve kullanılamaz bir yanıtı birinci sınıf bir hata modu olarak görmesi gerekiyor. Üretim kodunun tespit edip otomatik olarak yeniden deneyebileceği tek hata budur ve bu benchmark, yeniden denemenin sizi kurtarmayabileceğini gösteriyor; burada yeniden denenen görevlerin dörtte üçünden fazlası hiçbir zaman okunabilir biçimde geri gelmedi. Ayrıca token başına gösterilen fiyatların neden yanıltıcı olduğunu da gösteriyor: Mistral Small token başına ucuz, ama faturalanan başarısız denemeler, kullanışlı bir cevap başına maliyetini uygulamada daha ucuza mal olan bir rakibin neredeyse iki katına çıkardı. Ve bu davranışı dokuz modelden yalnızca biri gösterdiği için, kendi görevlerinizde küçük bir değerlendirme yapmak — başarısız tek bir satırı yeniden çalıştırmanın maliyeti bir sentin çok altında — bunu üretime ulaşmadan yakalayacak türden bir kontroldür.