Gemini 4 ile Gemma 4 karşı karşıya: ücretsiz Gemma yakın kovalarken asıl maliyeti thinking token'lar belirliyor

dev.to'da yayınlanan bir uygulama testi, Google'ın yeni çıkan Gemini 4 ailesini ve açık kaynak Gemma 4 modellerini aynı testlerden geçirdi; ortaya çıkan pratik sonuç doğruluktan çok maliyetle ilgili. Kullanılan benchmark'larda ücretsiz Gemma 4 varyantları amiral gemisi Gemini 4 modellerinin yaklaşık bir puan gerisinde yer alıyor ve token başına en ucuz Gemini 4 modeli, akıl yürütmesi kapatılamadığı için çalıştırma başına en pahalı model olarak ortaya çıktı.

Karşılaştırma nasıl yapıldı

Yazar, yedi modeli — Gemma 4 26B ve 31B, Gemini 3.5 Flash-Lite, Gemini 3.8 Flash ile Gemini 4 Hydrogen, Carbon ve Argon — Gemini API'nin OpenAI uyumlu chat endpoint'i üzerinden eşit koşullarda test etti: aynı 1.319 GSM8K matematik problemi ve 400 BFCL function-calling sorusu, 0 sıcaklık (temperature), matematik cevapları için 2.048, function call başına 512 token sınırı, yeniden denemeli sekiz eşzamanlı istek ve tek bir ortak başlangıç zamanı. Puanlama aynı script ile yapıldı ve kurulum, yazarın herkese açık gemma4-dev deposunda mevcut.

Doğruluk: dar bir aralık

Sonuçlara göre GSM8K'da Argon 0,9841 ile lider; Hydrogen 0,9803, Carbon ve 3.8 Flash 0,9788. Gemma 4 26B 0,9742, Gemma 4 31B 0,9735 aldı; 3.5 Flash-Lite ise 0,9629 ile geride kaldı. BFCL'de Gemma 4 31B, 0,9675 ile Argon'a eşit oldu; yani ücretsiz model function calling'de amiral gemisine yetişti. Hız tarafında Gemini 4 modelleri arasında Hydrogen, GSM8K problemi başına 2,84 saniye ile öne çıktı; Argon'un süresi ise 7,63 saniyeydi.

Maliyet sürprizi

Gemma 4 yalnızca API'nin ücretsiz katmanında sunulduğu için çalıştırmaları hiçbir ücrete yol açmıyor; Gemini çalışmaları ise toplamda 0,92 ile 5,02 dolar arasına mal oldu. Hydrogen, Google'ın 2026-11-14 tarihinde görülen fiyat sayfasına göre — Carbon ve Argon'un 2 ve 10 dolarının yanında — milyon input token başına 1,50, milyon output token başına 7,50 dolarla token başına en ucuz Gemini 4 modeli; ancak 3,46 dolar ödeyen Argon'a karşılık 5,02 dolarlık en yüksek faturayı o üretti.

Fark, reasoning token'larından geliyor. Makalede alıntılanan Google dokümantasyonuna göre Gemini 4 modellerinde akıl yürütme kapatılamıyor. Hydrogen 1.319 matematik probleminin ve 400 function call'un tamamında düşündü ve GSM8K faturasının %55'ini thinking token'lar oluşturdu. Planlanan zamlar etkiyi keskinleştirecek: Carbon ve Argon 2026-12-01'de milyon token başına 4 ve 20 dolara, 3.8 Flash ise 2027-01-01'de 1,50 ve 7,50 dolara çıkıyor.

Tam kapanmayan thinking kontrolleri

Karşılaştırma, geliştiricilerin ilk deneyeceği ayarları da sınıyor. OpenAI endpoint'inde Gemma 4 ve 3.5 Flash-Lite en düşük reasoning-effort seviyesini kabul ediyor ve sıfır thinking token üretiyor. Hydrogen, 3.8 Flash, Carbon ve Argon bu en düşük ayarı reddediyor ve yalnızca "none" değerini kabul ediyor; endpoint bunu her modelin dokümante edilmiş minimum seviyesi olarak ele alıyor — ve bu ayar bile Hydrogen ile 3.8 Flash'ı düşünmeye devam ettiriyor. Carbon ve Argon bu ayarda hiç thinking token üretmiyor.

Testlere göre native API'de de gerçek bir kapatma düğmesi yok: Hydrogen'da thinking bütçesi sıfıra ayarlansa bile örnek bir soruda yine 134 thinking token döndü ve Hydrogen, "Say hi" (merhaba de) istendiğinde bile akıl yürütmeye devam etti. Çalışmanın tamamında 3.8 Flash matematik problemlerinin 1.293'ünde, Carbon 268'inde ve Argon 66'sında düşündü.

Bir faturalama detayı durumu daha da karmaşıklaştırıyor. Endpoint'in completion token sayısı thinking token'ları içermiyor; bunlar toplamdan prompt ve completion sayıları çıkarılarak hesaplanmak zorunda — ve her reasoning token, output fiyatıyla faturalanıyor.

Neden önemli

Bu modeller arasında seçim yapan herkes için token başına fiyat, harcamayı yansıtmayan bir gösterge. Bir modelin gerçek maliyeti, token başına fiyat, cevap başına token ve cevap başına thinking çarpımından oluşuyor ve bu üç etken zıt yönlere işaret edebiliyor. Sonuçlar ayrıca Gemma 4'ü maliyete duyarlı işler için ciddi bir varsayılan seçenek haline getiriyor: ücretsiz, function calling'de Argon'a yetişti ve matematikte Gemini 4 modellerinin yaklaşık bir puan içinde kaldı. Gemini 4'e geçmiş ekipler, completion sayacına güvenmek yerine reasoning token'larını doğrudan ölçmeli — özellikle Carbon ve Argon'un Aralık zammi yürürlüğe girmeden önce.