Apache-2.0 lisanslı küçük modeller tek bir TPU v5e üzerinde Gemma 4 E2B ile karşılaştırıldı

Benchmark neyi test etti

dev.to'da yayımlanan uygulamalı bir benchmark, dar ve pratik bir soruya yanıt arıyor: izin verici lisanslara sahip küçük modeller arasında, tek bir Google Cloud TPU v5e çipinden servis edildiğinde hangileri gerçekçi biçimde Gemma 4 E2B'nin yerine geçebilir? Yazar Gemma'yı referans model olarak kullandı ama dikkat mimarisinin sıradan olmadığını belirtti — iki farklı head boyutunu birleştiriyor (kayan pencere katmanları için 256, tam dikkat katmanları için 512), tek bir KV head ile çalışıyor ve 35 katmanından 20'si başka bir katmanın KV cache'ini okuyor. Tarama, onun yerine geçebilecek daha sade mimariler aradı.

Her aday Apache-2.0 veya MIT lisansıyla dağıtılıyor olmalıydı; yani hepsi yeniden paketlenip yeniden dağıtılabilir ve her model, zamanlanıp kodla puanlanmadan önce aynı sabitlenmiş vLLM image'ı ile özdeş ayarlarla servis edildi.

Kurulum

Test düzeneği bir v5litepod-1'di; makaleye göre bu, Google Cloud'un kiraladığı en ucuz TPU ve genellikle us-west4-a bölgesinde flex-start kapasitesi olarak elde edilebiliyor. Çip 15,75 GiB HBM taşıyor ve vLLM bunun %90'ını talep ediyor; dolayısıyla bf16 bir model ile KV cache'i kabaca 14 GiB içine sığmak zorunda — bu tavan, alanı fiilen yaklaşık 4B parametreye sınırlıyor. Gemma 4 E2B'nin kendisi 8,97 GiB yer kaplıyor.

Bir tarama betiği her adayın lisansını, mimarisini ve ağırlık boyutunu Hugging Face API'sinden çekti ve KV cache için en az 2 GiB bırakan modelleri kabul etti. Qwen2.5-3B-Instruct lisans nedeniyle, Qwen3-8B ise bellek nedeniyle elendi. vLLM TPU üzerinde bazı mimarileri yerel JAX modelleri olarak, gerisini PyTorch fallback üzerinden çalıştırdığından, hayatta kalanlar iki ayrı gruba ayrıldı ve ayrı çiplerde, aynı sabitlenmiş image ile çalıştırıldı (vLLM TPU build'i, sürüm 0.29.1rc1.dev468). Gruplar 11 ve 12 Ekim 2026'da koştu ve raporlama araçları farklı image digest'leriyle servis yapan çalışmaları eşleştirmeyi reddediyor.

Tüm modeller 4.096 token bağlam limiti, en fazla 16 eşzamanlı dizi ve açık prefix caching ile servis edildi. Her biri üç ölçüm aldı: 1, 4 ve 16 eşzamanlı istek altında istek başına 256 üretilmiş token ile çıktı throughput'u; aynı testin 1.024 ve 3.072 tokenlık tekrar etmeyen prompt'larla yapılmış hâli, böylece prefix cache sonuçları şişiremiyor; ve 1.319 GSM8K probleminin tamamında doğruluk (greedy decoding, 2.048 token yanıt sınırı) artı parser'ın mevcut olduğu 400 BFCL basit tool call kaydı. Yanıtlar programatik olarak puanlandı, Gemma'ya karşı farklar özdeş problemler üzerinde eşleştirildi ve %95'lik aralık 10.000 yeniden örneklemeden geldi — sıfırı kapsayan bir aralık ölçülebilir fark yok sayılıyor.

Sayılar ne gösteriyor

GSM8K'da yalnızca Qwen3-4B istatistiksel olarak Gemma ile aynı seviyedeydi: 0,911'e karşı 0,915; aralığı sıfırı kapsayan +0,4 puanlık bir fark. Phi-4-mini ölçülebilir biçimde 1,6 puan gerideydi ve kabaca 1,7B parametrenin altında skorlar çöktü; Qwen2.5-0.5B ve SmolLM2-1.7B 44 ile 45 puan verdiler.

Tool calling çok daha iyi ayakta kaldı. Beş model Gemma'nın 0,927'lik BFCL skoruna yetişti: 0,940 ile Qwen3-4B ve 0,945 ile SmolLM3-3B'den 0,910 ile Qwen2.5-1.5B'ye kadar. Kaynağa göre SmolLM3-3B ve Granite 3.3 2B, tool call'lerde Gemma'ya onun çıktı hızının 0,76x'i ve 0,93'ü ile yetişti.

Ödünleşmenin hissettirdiği yer hız. Qwen3-4B her iki doğruluk testinde Gemma'ya yetişti ama çıktıyı onun 0,57x hızında üretti. En minik modeller çok daha hızlıydı — Qwen2.5-0.5B, 16 eşzamanlı istekle saniyede 4.176 token'a ulaştı, Gemma'nın 2,21x'i ve 3.072 tokenlık prompt'larda 2,48x'i — ama doğruluk kayıplarının çoğunu geri veriyorlar. Uzun prompt'larda Gemma, karşılaştırılabilir doğruluktaki her modelin önünde kaldı. Kaynak ayrıca ikinci gruptaki bir kolun çalışması sırasında servis edemediğini not ediyor.

Neden önemli

Model karşılaştırmalarının çoğu NVIDIA donanımında yapılıyor; bu olan ise doğrudan TPU ile servis nişini hedefliyor. Somut, yenklanabilir bir rehber sunuyor — image'ı sabitleyin, ayarları sabit tutun ve toplu tablolara göz ucuyla bakmak yerine eşleştirilmiş farkları ölçün — ve araçlar GitHub üzerinde xbill9/model-sweep altında herkese açık, dolayısıyla yeni checkpoint'ler çıktıkça tarama yeniden koşulabilir. Pratik sonuç: Gemma seviyesinde doğruluk önemliyse ve 0,57x throughput maliyeti karşılanabilirse Qwen3-4B'yi seçin, tool call ağırlıklı iş yükleri için daha küçük modelleri düşünün ve trafiği uzun prompt'lardan oluşuyorsa Gemma'nın kendisinde kalın.