Gemini 4 Carbon, 15 kat maliyetle GPT-6.1 Sol'un elinden MathArena liderliğini aldı

Gemini 4 Carbon genel liderliği devraldı

Matematik problem çözme alanında bağımsız bir benchmark olan MathArena, 13 Kasım'da iki yeni frontier modelin sonuçlarını ekledi ve birleşik tablonun yeni birincisi oldu: Google'ın Gemini 4 Carbon'ı, OpenAI'nin GPT-6.1 Sol'unu zirveden etti. MathArena ekibinden Jasper Dekoninck, 14 Kasım'da X'te, uzun süredir ilk kez OpenAI dışı bir modelin ilk sırayı taşıdığını belirtti. Anthropic'nin Claude Fable 5.2'si ikinci oldu; yani şu anda hiçbir OpenAI modeli sıralamanın tepesinde değil.

Güncelleme yeni çıkan modellerden değil, yeni ölçülmüş sonuçlardan kaynaklanıyor. Google, Carbon'ı 10 Kasım'da tüm ödeme yapan geliştiricilere açtı ve Anthropic, Claude Fable 5.2'yi bir gün önce, 9 Kasım'da piyasaya sürdü. İki model de zaten erişilebilirdi; değişen şey, MathArena'nın artık puanlarını ölçmüş olması.

Rakamlar

The Decoder'ın 14 Kasım'da aktardığı genel tabloya göre, yüksek reasoning ayarındaki Gemini 4 Carbon yüzde 85,4 puan aldı ve hata payı 3,0. Max modundaki Claude Fable 5.2, 5,3 hata payıyla yüzde 82,8 ile onu izliyor; max modundaki GPT-6.1 Sol ise 2,7 hata payıyla yüzde 80,6'da yer alıyor.

ArXivMath dalında Carbon'ın genel sonucu, 3,64 hata payıyla yüzde 94,28 ve değerlendirilen sekiz sistem arasında birinci. MathArena model sayfası ayrıca Eylül 2026 tarihli, yüzde 96,23'lük bir ArXivMath koşumu daha kaydediyor.

Burada format önemli. MathArena, aylık ArXivMath ve BrokenArXiv sürümlerinden diğer problem formatlarına kadar her yarışma için doğruluğu hata payı, tam koşum başına maliyet ve çıktı token hacmiyle birlikte yayımlıyor ve her model için örnekleme parametrelerini listeliyor. İlk iki skor arasındaki farkın gerçekte ne kadar küçük olduğu düşünülünce — 85,4'a karşı 82,8 — belirsizlik aralıkları ana rakamlar kadar bilgi verici.

Doğruluğun maliyeti

Liderlik tablosu performansı fiyatlandırmayı da gösteriyor. Testlerde kullanılan reasoning ayarlarıyla tam bir Carbon koşumunun beklenen maliyeti yaklaşık 15,70 dolar; Claude Fable 5.2 için kabaca 40 dolar, GPT-6.1 Sol için ise yaklaşık 1 dolar. The Decoder'ın ifade ettiği gibi, bu da Carbon'ı koşum başına GPT-6.1 Sol'un yaklaşık 15 kat, Fable 5.2'yi ise 40 kat pahalı yapıyor.

Carbon'ın MathArena kaydı 10 Kasım çıkış tarihini, 1.048.576 token'lık azami çıktı penceresini ve güncel fiyatlandırmayı gösteriyor: milyon girdi token'ı başına 2 dolar, milyon çıktı token'ı başına 10 dolar.

Neden önemli

Önemli olan, skorun kendisinden çok zirvedeki değişim: hiçbir üretici duyurusu olmadan yenilenen bağımsız bir benchmark ve artık OpenAI'den olmayan bir modele geçen birincilik — uzun süredir yaşanmayan bir şey. Modeller arasında seçim yapan ekipler için matematik dalı, agent'ların elektronik tablolar, finansal raporlar ve araştırma materyali üzerinde yaptığı çok adımlı analitik iş için makul bir göstergedir.

Maliyet kolonu da en az bunun kadar faydalı. En iyi sonuç, koşum başına yüzde 80,6'daki modelden bir büyüklük mertebi pahalıya geliyor; dolayısıyla birkaç puanlık — üstelik belirsizlik aralıklarıyla birlikte gelen — bir fark, koşum başına bütkeye karşı tartılmalı. Pratik yaklaşım, benchmark'a dayalı bir kısa liste tutmak ama kendi görevlerinizde ölçüm yapmak: bir otomasyon bütçesi, liderlik tablosundaki bir puanın değil, tamamlanmış bir koşumun maliyetini hisseder.