DeepSeek V4.1 Flash 1017, agentic coding benchmark'larında Eylül sürümünü geride bıraktı

Bir günlük point release öncülünü geçti

DeepSeek, V4.1 Flash 1017'yi 17 Ekim Cumartesi günü yayınladı ve bunu küçük bir güncelleme olarak nitelendirdi. Pazar gününe gelindiğinde, dev.to'da yayınlanan bir topluluk benchmark'ı yeni sürümü, yazarın iki agentic coding testinde de Eylül'deki V4.1 Flash sürümünün önüne koydu.

Açık kaynak kodlu coding agent goose'un 150 model çağrısı içinde küçük bir ödeme uygulaması assemble ettiği ve 99 otomatik kontrolden geçtiği Gauntlet 7.2'de 1017 sürümü, Eylül sürümünün 0.591'ine karşı 0.6957 aldı. Agent'a çalışan bir Jira Forge uygulaması ve ikinci sürüm için uzun bir spesifikasyon veren, üç seeded Jira sitesi üzerinde 300 model çağrısı ve 105 kontrol içeren Forge 2.0'da ise yeni sürüm medyan olarak 0.3342'ye karşı 0.4520 kaydetti. Gönderiye göre, modeli bir gün boyunca OpenRouter üzerinden çalıştırmak en az 83 sente mal oldu.

Ne değişti, ne değişmedi

Gönderi, DeepSeek'in changelog'unun hem API adını hem de fiyatı dokunulmaz bıraktığını, deepseek-flash çağrılarının artık en yeni modele çözümlendiğini kullanıcılara bildirdiğini belirtiyor. Dolayısıyla agent'ını DeepSeek'in kendi API'sine yönlendiren herkes, açık bir karar almadan hafta sonu 1017'ye geçmiş olabilir.

1017 model kartı, mimariye dokunmadan, reasoning, coding, agentic ve görsel görevlerde geniş kazanımların yanı sıra daha kısa çıktılar ve daha hızlı yürütmeyi iddia ediyor. OpenRouter kaydı, Eylül kartındaki tanımı yineliyor: 552 milyar parametreli mixture-of-experts omurga, prefill sırasında token başına 8 milyar, decode sırasında ise 16 milyar parametre aktive ediyor.

Aynı görev, aynı seed'ler, 0.24 ve 0.66

Gönderideki en çarpıcı sayı, iki build arasındaki açıklık. Forge 2.0 tablosu her modeli bağımsız iki koşu olarak listeliyor ve 1017'nin iki build'i, aynı görev, starter uygulaması, seed'ler ve puanlama siteleriyle 0.2422 ve 0.6618'de tamamladı. Harcanan emek neredeyse aynıydı: 28 dakikada 262 tool çağrısına karşı 30 dakikada 270 tool çağrısı; ham iş skorları da 0.8362 ve 0.9693 ile oldukça yakındı. Ayrışma, bir build'i 19 gruptaki başarısız kontroller için cezalandıran güvenilirlik çarpanından geldi: build bir 15 grupta yetersiz kaldı, build iki ise dokuz grupta.

Build bir'in kayıplarının bir kısmının arkasında hiç render edilmeyen bir modal vardı. Bir puanlama sitesinde on iki kez açıldı ve her seferinde boş bir çerçeve gösterdi; ne konsol hatası ne de başarısız istek vardı. Scorer'ın logları sebebini açıkladı: uygulamanın resolver'ı 2.237 saniyelik bir retry-after değeri taşıyan bir rate-limit yanıtı almaya devam ediyordu ve starter uygulamadan devralınan kod yapacak bir şey yapmadan bekliyordu. Build bir'in en kötü grubu UI function oldu: build iki'nin 0.9399'una karşı 0.0568.

Karşılaştırmayı dikkatli okuyun

Yazar, manşet karşılaştırmadaki gerçek sınırlara işaret ediyor. Her sayı, benchmark başına tek bir görevden ve Forge için tek bir build çiftinden geliyor. Tablo ayrıca iki Forge çiftini ayrı karşılaştırma gruplarına yerleştiriyor, çünkü harness'ın bir kısmı 12–18 Ekim arasında değişti; Eylül koşuları ise uygulamanın medium reasoning effort istemeye geçişinden önceden geliyor, yani büyük olasılıkla DeepSeek'in varsayılanı olan high seviyesinde çalıştılar. Bir başka deyişle, açığın bir kısmı modele değil benchmark'a ait olabilir. Skorlar 18 Ekim akşamı okundu; canlı koşu sayfaları güncel kaydı oluşturuyor.

Aynı test günü başka yerlerde daha kötü geçti. NVIDIA'nın Nemotron 3.5 Super VL'si Gauntlet'te 1,21 dolar karşılığında 0.3781 aldı, ancak tek Forge build'i, yinelenen bir import dokuz handler'ın bundle edilemesini engellediği için 0.0321'e düştü. Yerel olarak çalıştırılan bir Muse Glimmer 30B, tüm fonksiyonları build edilemediği halde uygulamayı hazır bildirdi.

Neden önemli

Agentic coding için küçük, ucuz modeller seçen geliştiriciler için gönderide iki pratik ders var. Küçük olarak etiketlenen bir point release benchmark sonuçlarını ciddi biçimde hareket ettirebilir ve DeepSeek API adını sabit tuttuğu için bu değişim üretimdeki agent'lara sessizce ulaşabilir. Tek koşuluk skorlar da kararlar için sağlam bir temel değil: aynı model, aynı görevde, bir build'in bir rate limit'e tepkisine bağlı olarak neredeyse üç katına varan bir açıklık üretti. Değerlendirmeler, yalnızca manşetteki iş skoruna değil, çoklu koşulara ve güvenilirliğe dürüst bir bakışa ihtiyaç duyuyor.