BottleCap AI, Gemma-4-26B'nin thinking token'larını doğruluk neredeyse sabit kalırken yüzde 69'a kadar azalttı

BottleCap AI, ThinkingCap serisinin beşinci modelini ve ilk kez bir Google tabanlı modeli yayımladı: şirketin iddiasına göre ortalama yüzde 38,9 — ve en fazla yüzde 69,1 — daha az thinking token'a ihtiyaç duyan, buna karşılık doğruluktan yalnızca 0,15 puan feragat eden gemma-4-26B-A4B-it'in yeniden eğitilmiş bir versiyonu. Hacker News ana sayfasına kadar yükselen yazı, yazarları tarafından şimdiye kadarki tüm ThinkingCap sürümleri arasında en küçük doğruluk ödünleşimini taşıyan model olarak nitelendiriliyor.

Gemma-4-26B-A4B, token başına yaklaşık 4 milyarı aktif olan 26 milyar parametreli, Google'ın seyrek mixture-of-experts modeli. BottleCap AI, eğitim hedefinin bilinçli olarak dar kapsamlı olduğunu söylüyor: modelin yanıtlamadan önce ürettiği akıl yürütmeyi kısaltmak ve geri kalan her şeyi — bilgi, yanıt kalitesi, talimat takibi ve güvenlik davranışı — olduğu gibi bırakmak. Bu, şirketin bu tekniği uyguladığı Qwen ve NVIDIA'dan sonra üçüncü model ailesi.

On iki benchmark üzerindeki sonuçlar

Şirket, orijinal modeli ve kendi varyantını aynı harness üzerinde değerlendirdiğini ve her benchmark ailesinde daha kısa akıl yürütme elde ettiğini bildiriyor. Uzun bağlam ve multimodal görevlerde thinking token düşüşü yüzde 54,4 ile en yüksek seviyedeydi; onu yüzde 44,4 ile bilgi ve akıl yürütme, yüzde 36,1 ile matematik, yüzde 27,6 ile kod ve yüzde 17,2 ile talimat takibi ve agentic işler izledi. Tek tek en derin azalmalar yüzde 69,1 ile LongBench v2, yüzde 59,3 ile AA-LCR ve yüzde 49,1 ile MMLU-Pro; en sığ olanlar ise yüzde 13,7 ile IFBench ve yüzde 20,8 ile tau-squared-bench oldu. BottleCap AI, bu iki benchmark'taki küçük kesintileri, biçim kısıtlamalarını karşılama veya tool call'lar üzerinden sabit bir müşteri hizmetleri politikası uygulama gibi uzun akıl yürütmenin en az önem taşıdığı işleri içermelerine bağlıyor.

Doğruluk ortalama olarak neredeyse hiç kıpırdamadı: taban model için yüzde 75,18, yeni varyant için yüzde 75,03. On iki sonucun sekizi çalıştırma arası sapmanın içinde kaldı ve beşi, IFBench'te +1,83 puan ve HMMT Şubat 2026'da +1,28 puan dahil, orijinalin önünde bitirdi. En belirgin gerileme, 4,00 puan düşüşle AA-LCR.

Şirkete göre döngü (looping) davranışı da iyileşti: taban model yanıtların yüzde 3,64'ünde kendini tekrar ederken bu oran yeni varyantta yüzde 0,76; HMMT Şubat 2026'da döngü oranı yüzde 17,0'dan yüzde 4,5'e düştü. Tüm test setinde kesilme (truncation) oranları da geriledi.

Nasıl ölçüldü

Akıl yürüten modellerin yüksek örnekleme sıcaklıklarında değerlendirmesi gürültülü olduğu için BottleCap AI, benchmark başına birden fazla seed çalıştırdı — MMLU-Pro ve MMMLU'da 4'ten, AIME 2026 ve HMMT setlerinde 64'e kadar — ve doğruluğu yüzde 95 güven aralıklı seed ortalaması olarak raporladı. Her iki model de vLLM üzerinde özdeş ayarlarla çalıştı: thinking etkin, temperature 1.0, top_p 0.95, top_k 64 ve üretim 65.536 token ile sınırlı. Özellikle belirtilmelidir ki taban modelin sayıları Google'ın yayımladığı rakamlardan değil, şirket tarafından kendisi ölçüldü; bu da karşılaştırmayı içeriden tutarlı kılıyor ama aynı zamanda her sonucun satıcıdan geldiği ve şu ana kadar bağımsız bir doğrulama olmadığı anlamına geliyor.

Şirket ayrıca doğruluğu soru başına sabit bir thinking token bütçesine karşı çizdi. Modelinin eğrisinin, aralığın ortası boyunca orijinalinkinin üzerinde durduğunu — daha küçük bütçe için aynı doğruluk — ve bütçe iki modeli de kısıtlamayacak kadar genişlediğinde ikisinin yakınsadığını söylüyor.

Ticari bir kademe

Açık sürümün yanı sıra BottleCap AI, en fazla yüzde 87,6 daha az thinking token kullanan ve ortalama yüzde 62 tasarruf sağlayan, ölçekte daha hızlı yanıtlar ve daha düşük çıkarım (inference) maliyeti için konumlandırılan ve kurumsal iletişim kanalından erişilebilen bir PRO versiyonunu tanıtıyor. Blog yazısı PRO modelinin doğruluk rakamlarını ayrıntılandırmıyor.

Neden önemli

Akıl yürüten modellerde chain-of-thought token'ları çıkarım maliyetinin büyük bir bölümünü oluşturur ve yanıttan önce üretilen her token, kullanıcının beklediği bir gecikmedir. Yüzde 39 civarında thinking tasarrufu sağlarken doğruluğu çalıştırma arası gürültü içinde tutan bir varyant, doğrudan daha ucuz ve daha hızlı servis anlamına gelir; özellikle de işletmecilerin zaten verimlilik için seçmiş olma ihtimali yüksek seyrek bir mixture-of-experts modelinde. Mevcut bir vLLM yığınına kod çözme değişikliği olmadan dahil edilebilir. Daha geniş sinyal şu: token verimliliği ayarı başlı başına bir ürün kategorisi haline geliyor ve artık Qwen, NVIDIA ve Google model ailelerini kapsıyor. Yine de uyarılar gerçek: rakamlar şirket tarafından bildiriliyor ve AA-LCR'deki 4 puanlık düşüş, uzun bağlam veya agentic iş yükü çalıştıran ekiplerin geçmeden önce test etmesi gerektiği anlamına geliyor.