· kaynak dev.to (home feed)
AI Compute Radar, hangi açık ağırlıklı modellerin gerçekten 12 GB'lık bir GPU'ya sığdığını ölçüyor
AI Compute Radar'ın dev.to'daki yazısı, 49 açık ağırlıklı model için fit söylentilerini ölçülmüş GGUF ağırlıkları ve hesaplanmış context cache değerleriyle değiştiriyor; 15 modelin 8K context'te, 12 modelin ise 32K context'te 12 GB'lık bir kartta çalıştığını ortaya koyuyor.

AI Compute Radar'ın 20 Kasım 2026'da yayımlanan dev.to yazısı, her açık model sürümünün altında sorulan en yaygın soruya — bu benim kartımda çalışır mı? — elbow kuralları yerine aritmetikle yaklaşıyor. Ekip, model ağırlıklarını yayımlanmış GGUF dosyalarından ölçtü ve context cache boyutlarını her modelin config dosyasından hesapladı; 49 takip edilen açık ağırlıklı model ele alındı. Yerel yapay zekâ için hâlâ en yaygın bütçe dostu kart olan RTX 3060 12 GB için başlık cevabı şu: 15 model 8K token context ile rahatça çalışıyor, 12 model ise 32K'da ayakta kalıyor.
Tahmin nasıl çalışıyor
Yazıya göre uyumu üç miktar ve bir marj belirliyor. Ağırlıklar, gerçekten yayımlanmış bir GGUF dosyasının bayt boyutundan ölçülüyor; çoğu yerel rehberin varsaydığı quantization seviyesi olduğu için varsayılan Q4_K_M seçilmiş; parçalı arşivler toplanıyor, böylece üç parçalık bir indirme modelin üçte biri sanılmıyor. Context cache ise config.json'dan hesaplanıyor — kaç katmanın context'i önbelleğe aldığı, kaç key-value head'e sahip oldukları, her head'in genişliği ve token bütçesi. Runtime overhead ise compute buffer'ları için kabaca bir gigabaytlık beyan edilmiş bir pay.
Toplamın kullanılabilir belleğe sığması gerekiyor. Site, bir grafik kartının yüzde 12'sini güvenlik marjı olarak ayırıyor ve 12 GB'lık bir kartta 10.6 GB kullanılabilir bırakıyor; Apple Silicon için ise unified memory'nin yüzde 70'i planlanıyor, çünkü macOS GPU'nun bu havuzdan ne kadarını sabitleyebileceğini sınırlıyor. Ekim'den beri, yazıya göre, her kararda bileşenler measured (ölçülmüş), computed (hesaplanmış) veya assumed (varsayılmış) olarak etiketleniyor.
Eski kuralların çöktüğü yerler
Klasik cache formülü — key ve value çarpı katman sayısı çarpı head şekli çarpı token sayısı — güncel modellerde üç şekilde başarısız oluyor.
Hibrit attention artık norm ve config dosyaları bir layer_types dizisi taşıyor. Gemma 3 27B, 62 katmanının yalnızca 10'unda tüm context'i önbelleğe alıyor; 52 sliding-window katmanı 1.024 token ile sınırlı. Gemma 4 12B, 48 katmanın 8'inde; Qwen3.8 27B, 64'ün 16'sında, diğer 48'i sabit durumlu linear-attention katmanları; gpt-oss 20B, 24'ün 12'sinde. Yazı, Gemma 3 27B'nin 32K token'daki context cache'ini yaklaşık 2.9 GB olarak veriyor — her katman formülünün ürettiği 15 GB değil — ve Qwen3.8 27B'yi 8 yerine 2.0 GB olarak hesaplıyor.
İkincisi, multi-head latent attention. DeepSeek-V4 ve GLM-5 ailesi, token başına katman başına ayrı key ve value tensörleri yerine tek bir sıkıştırılmış 576 boyutlu latent saklıyor; dolayısıyla ikiyle çarpan da yok, head şekli de hiç yok. Eski formül naive şekilde uygulandığında GLM-5.2'nin cache'ini 128K context'te kabaca kırk kat fazla gösteriyor — yaklaşık on bir yerine yüzlerce gigabayt.
Üçüncüsü, head boyutu türetilmemeli, okunmalı. Hidden_size'ı attention-head sayısına bölme kısayolu, sitenin ele aldığı ilk sekiz modelden beşinde yanlıştı; GLM-4.7-Flash adlı model bu bölümden 102.4 veriyor ki, yazının belirttiğine göre hiçbir tensörün sahip olmadığı bir boyut. Bir config şekli ortaya koymuyorsa site, yuvarlamak yerine unknown raporluyor.
3060'da ne çalışıyor
Q4_K_M ağırlıklarıyla 8K context'te Phi-4 Mini (2.3 GB) ve Qwen3 8B (4.7 GB) kolayca sığıyor; Gemma 4 12B de sığıyor (6.6 GB ağırlık, yalnızca 0.4 GB cache). Qwen3 14B yaklaşık 200 MB'la kaçırıyor — toplam 10.8 GB'a karşı 10.6 GB kullanılabilir — dolayısıyla yükleniyor ama ilk uzun sohbette sistem RAM'ine taşıyor. gpt-oss 20B'yi engelleyen, 8K'da yalnızca 0.2 GB olan cache'i değil, 10.8 GB'lık ağırlıkları.
Context uzunluğu kararları iki yönde de tersine çevirebiliyor. Qwen3 8B'nin cache'i 8K'da 1.1 GB'dan 32K'da 4.5 GB'a çıkıyor ve karttan yaklaşık 300 MB'la düşürüyor; buna karşılık Gemma 4 12B 32K'da da rahat. Phi-4 Mini'nin 32K'daki cache'i, ağırlıklarının 1.7 katı. Yazıya göre çoğu "3060'da çalışıyor" iddiası 4K'da doğru, 32K'da yanlış — ve iddiayı yapan kişi hangisinde olduğunu nadiren söylüyor.
Daha büyük kartlar
49 modelin tamamında, 21.1 GB kullanılabilir belleğe sahip bir RTX 4090, 8K'da 24'ünü, 32K'da 19'unu çalıştırıyor. 64 GB unified memory'li bir Mac mini M4 Pro, 44.8 GB planlanmış olarak, 32K'da 31 modeli çalıştırıyor. 128 GB'lık bir DGX Spark, 112.6 GB planlanmış olarak 37 modeli çalıştırıyor; bu noktada context uzunluğu artık sayıyı değiştirmiyor. Config'leri kilitli olduğu için iki model her makinede unknown olarak kalıyor.
Sitenin yayımlamayı reddettikleri
Yazı bilinçli olarak dışarıda bıraktıklarını listeliyor: runtime'a, quantization'a ve sürücüye bağlı olan saniye başına token sayıları yok; kalite puanları yok; ikinci el kart fiyatları ya da ücretli öneriler yok; ve yukarı yuvarlama yok — unknown da bir karar sayiliyor. Aynı veri, okuyucuların kendi script'leri ve agent'ları için CC BY 4. ile JSON olarak sunuluyor.
Neden önemli
Yerel yapay zekâ kullanıcıları için cevap somut: 12 GB'lık bir kart, context uzunluğuna göre 12 ila 15 modellik bir kart ve belirleyici faktör çoğu zaman ağırlıklar değil cache. Daha geniş açıdan, yazı 2023 dönemi sezgisel kurallarının artık kırk kata kadar yanılttığını gösteriyor, çünkü hibrit attention ve latent attention, context'in gerçek maliyetini değiştirdi. Her sayı measured, computed veya assumed olarak etiketlendiği için okuyucular söylentilere güvenmek yerine aritmetiği kendileri kontrol edebiliyor.
- #local-ai
- #open-weights
- #gguf
- #gpu-memory
- #llm
İlgili yazılar
- LookAtMyQuant quantization derleyicisi, eşit dosya boyutunda Q4_K_M'ye kıyasla 12 kat daha düşük KL iddia ediyor
- Output tokenlar LLM hacminin yüzde 17'isi ama API faturasının yarısı, diye buluyor fiyatlandırma analizi
- Tek bir aykırı değer, INT4 absmax quantization altında bir vektörün yüzde 99,98'ini sıfırlıyor