POCKET-35B-GGUF, 35 milyar parametreli bir LLM'ı tamamen CPU üzerinde çalıştırıyor

Neler yayımlandı

Koreli bir yapay zeka girişimi olan VIDRAFT, GGUF içinde paketlenmiş 35 milyar parametreli POCKET-35B-GGUF adlı büyük dil modelini yayımladı; GGUF, GGML'in yerini alan ve bugün llama.cpp ekosisteminin standardı haline gelen ağırlık formatı. dev.to'da yayımlanan bir yazıya göre bu sürüm, hiç grafik kartı olmayan makineleri hedefliyor: sıradan dizüstü bilgisayarlar ve yerinde (on-premise) CPU sunucuları.

Alman yapay zeka yayını Mindverse sürümü bağımsız olarak ele aldı; dev.to yazarı bunu, geliştirici ilgisinin Kore'nin ötesine taştığının bir işareti olarak yorumluyor.

Asıl konu parametre sayısı. Öncelikle CPU için dağıtılan yerel inference modelleri tipik olarak 7B veya 13B parametrede toplanıyordu; bu yüzden 35B'lik bir sürüm, GPU'suz bir kurulumun makul biçimde çalıştırabileceği şeyin tavanını ciddi biçimde yükseltiyor.

Bu ölçekte CPU inference nasıl çalışır

dev.to yazısı mekaniği açıklıyor. Eğitim sonrası quantization, model ağırlıklarının sayısal hassasiyetini düşürüyor — örneğin 16-bit kayan noktadan 4- veya 8-bit tam sayıya — ve pratik olduğu ölçüde model kalitesini korumaya çalışarak RAM gereksinimini iki ila dört kat ya da daha fazla azaltıyor.

Dosya formatı işin bir kısmını yapıyor. GGUF, ağırlıkları tokenizer, mimari yapılandırması ve quantization parametreleriyle tek bir dosyada birleştiriyor; yazıya göre bu, eski, parçalı checkpoint düzenlerine göre dağıtımı çok daha kolaylaştırıyor.

Runtime tarafında llama.cpp model dosyasını memory-map ile eşliyor; böylece sayfalar talep üzerine yükleniyor ve ilk token üretilmeden önce tüm modelin RAM'de oturması gerekmiyor. Matris işlemleri, BLAS kütüphaneleri ve mimariye özgü SIMD talimatları üzerine kurulu CPU-optimizasyonlu yollardan yürütülüyor; runtime desteklediğinde katmanlı offloading işi CPU, RAM ve swap arasında dağıtabiliyor.

Ödün verilen şey hız. 35B ölçeğinde CPU inference, GPU inference'dan daha yavaş; ancak yazı, toplu işler, çevrimdışı belge işleme, kodlama yardımı ve air-gapped kurulumlar için birim başına maliyet veya veri egemenliği gereksinimlerinin bu ek gecikmeyi mantıklı kılabileceğini savunuyor.

Kapsam neler söylüyor, neler söylemiyor

Yayımla birlikte herhangi bir benchmark sonucu yok. dev.to yazısı, Mindverse kapsamının ölçülmüş performanstan ziyade modelin kullanılabilirliğine ve CPU konumlandırmasına odaklandığını açıkça belirtiyor ve yayımlanmamış sayılar için rakam uydurmaktan kaçınıyor. POCKET-35B'yi alternatiflerle karşılaştıracak olanların bağımsız benchmark'lara ya da model kartının kendisine ihtiyacı olacak.

Bellek gereksinimleri quantization varyantına bağlı. Yazı, Q4_K_M gibi düşük bitli seçeneklerin 35B'lik bir modeli kabaca 20-24 GB RAM altına indirebileceğini, kesin rakamların varyanta göre değiştiğini tahmin ediyor.

Lisans da henüz doğrulanmış değil. Yazı, yalnızca kamusal kullanılabilirlikten izin verici lisans varsaymak yerine VIDRAFT'ın Hugging Face model kartındaki şartların doğrudan kontrol edilmesini öneriyor.

Yerel olarak çalıştırma

Dağıtım, llama.cpp uyumlu runtime'lar için tasarlanmış GGUF biçiminde Hugging Face üzerinden yapılıyor. Genel iş akışı bir huggingface-cli download, ardından tek seferlik prompt'lar için llama-cli ya da herhangi bir OpenAI SDK istemcisinin çağırabileceği OpenAI uyumlu bir /v1/chat/completions endpoint'i açmak için llama-server.

GGUF olduğu için modelin popüler yerel inference arayüzlerinde de çalışması bekleniyor. Hem LM Studio hem Ollama GGUF dosyalarını işleyebiliyor ve altlarında llama.cpp kullanıyor; dolayısıyla indirilen dosya genellikle doğrudan yüklenebilir — belirli quantization varyantını doğrulamak her zamanki uyarıyla birlikte.

Yazının üzerinde durduğu bir uyarı: depo slug'ı ve GGUF dosya adının tahmin edilmek yerine VIDRAFT'ın resmi model kartından doğrulanması gerekiyor.

Neden önemli

Yetenekli modellerin yerel kurulumu iki kısıtlamayla darboğaza girmişti: VRAM bütçeleri ve bulut API'lerine bağımlılık. Sıradan CPU donanımında çalışan 35B'lik bir model, inference'ı tamamen yerinde tutabilecek kuruluş havuzunu genişletiyor — düzenlenen sektörler, kamu kurumları ve prompt'larını barındırılan bir endpoint'e gönderemeyecek olan, air-gapped ya da veri egemenliği gereksinimi olan herkes.

Ayrıca sınır sınıfı modellerle yerel olarak çalıştırılabilir modeller arasındaki boşluğu daraltıyor. CPU üzerinde 35B istisnai değil sıradan hale gelirse, birçok iç aracın varsayılan mimarisi uzak API çağrılarından kendi sunucunuzda barındırılan bir sunucu sürecine kayar; gecikme, gizlilik, kontrol ve öngörülebilir maliyet karşılığında kabul edilir. Açık sorular — agresif quantization düzeylerinde çıktı kalitesi, gerçek dünya throughput'u ve lisans şartları — tam olarak erken benimseyenlerin karar vermeden önce test etmesi gerekenler.