· kaynak dev.to (home feed)
PolyStrata, on iki büyük dil modelini GPU ve RAM arasında paylaştırarak tek bir bilgisayarda çalıştırılabileceğini iddia ediyor
Açık kaynaklı bir proje, bir modelin sık kullanılan katmanlarını GPU'da tutup gerisini sistem RAM'inde ve SSD'de saklayarak tek bir tüketici bilgisayarında bir düzine büyük dil modeli çalıştırılabileceğini söylüyor.

PolyStrata'nın iddiası ne
PolyStrata adlı açık kaynaklı bir proje, her modeli ekran kartı, sistem belleği ve SSD arasında bölerek on iki büyük dil modelini sıradan tek bir bilgisayarda çalıştırabileceğini iddia ediyor. Projeyi duyuran dev.to'daki bir yazıya göre yazılım, bir modelin en sık kullandığı kısımları GPU'da tutuyor, kalanını sistem belleğinde ve diskte bırakıyor; 114 GB'a kadar varan modellerin 8-32 GB VRAM'e sahip bir tüketici kartıyla aynı anda var olabilmesinin yolu bu. Proje ücretsiz, kodu GitHub'da simplexai-labs organizasyonu altında yayınlanmış durumda ve hiçbir veri makineden dışarı çıkmıyor.
İki motor, on iki model
Kurulum aslında iki çıkarım (inference) motoru içeriyor. Qwen3.8-Flash-Next adlı model, Strata projesinin mevcut motorunda değiştirilmeden çalışıyor: 12 GB veya üzeri VRAM'e sahip bir NVIDIA ya da AMD kartı kabul ediyor, Windows ve Linux'ta çalışıyor ve görsel okuyabiliyor. Diğer on bir model ise özellikle PolyStrata için yazılmış, bir ya da iki NVIDIA kartı destekleyen bir motorda çalışıyor. Bu listede GLM 5.3 Flash (79-114 GB ile en büyük dosya), 91 GB'lık DeepSeek V4 Flash, LFM2.5-24B-A2B, Flint 40B-A2.5B (kodlama ajanlarına yönelik), Qwen3.6-35B-A3B, Clover-35B-A3B, Ornith 1.5, Gemma 4 26B-A4B, Tiel Coder, MiniCPM-V ve Kolibri 1 yer alıyor.
Yazıda bu on biri deneysel olarak nitelendiriliyor: 32 GB'lık bir kartla tek bir bilgisayarda çalıştırılmışlar ve daha küçük olanları 8 GB GPU'lu bir dizüstü bilgisayarda da çalışmış.
Donanım gereksinimleri ve bildirilen hız
Qwen3.8-Flash-Next için proje 12 GB VRAM ve 32 GB sistem RAM'i istiyor; her model boyutunu çalıştırmak içinse 64 GB yeterli olarak tanımlanıyor. Daha büyük mixture-of-experts modelleri ise 32 GB'lık bir ekran kartının yanında 72-96 GB sistem belleği gerektiriyor.
Projenin kendi rakamlarına göre Qwen3.6-35B-A3B, 8 GB'lık dizüstü GPU'sunda saniyede 94-100 çıktı tokeni, bir RTX 5090 üzerinde ise saniyede 394-395 token üretiyor. En büyük model olan GLM 5.3 Flash'ın yalnızca 32 GB'lık bir kartta çalıştığı söyleniyor. Bu rakamlar kendi bildirimlerine dayanıyor ve bağımsız bir benchmark yok.
Bellek yönetimi ayrıntısı
Teknik olarak en ilginç kısım uzmanların (expert) nasıl ele alındığına ilişkin. Motor, uzman ağırlıklarını sabit bir yere kilitlemek yerine bunları sistem dosya önbelleğinden okuyor ve neyin bellekte kalacağına işletim sisteminin karar vermesine izin veriyor. İsteğe bağlı --ram-experts-mib bayrağı bu bütçeyi sınırlıyor: bir dizüstü bilgisayarda, 32.000 tokenlik bir prompt'un ardından, tutulan belleği yaklaşık 17,9 GiB'den 13,1 GiB'ye düşürdüğü ve üretim hızının neredeyse aynı kaldığı bildiriliyor. Her token için yalnızca uzmanların bir bölümünün devreye girdiği mixture-of-experts mimarilerinde, çok büyük bir modelin belirli bir makinede gerçekten kullanılabilir olup olmayacağını belirleyen正是 bu tür bütçeleme.
Temkinli olmayı gerektiren noktalar
İddialar, projenin kendi yazarları tarafından yazılmış tek bir tanıtım yazısından geliyor ve yazı ticari bir teklifle kapanıyor: ekip, Perpinyà, Girona ve Barcelona çevresinde müşterilerin donanımında modelleri boyutlandırıp kurmayı teklif ediyor. Yeni motor yalnızca NVIDIA'da çalışıyor; AMD desteği Strata motorunda çalışan tek modelle sınırlı ve iddia edilen ana yetenek şimdiye dek tek bir 32 GB'lık makinede gösterilmiş. Aktarım hızı rakamlarını doğrulamak isteyenlerin bunları depodan (repository) yeniden üretmesi gerekiyor.
Neden önemli
Yerel çıkarım (inference), verileri bir bulut sağlayıcısına göndermeden güçlü modeller çalıştırmanın ana yolu ve en sert kısıt her zaman VRAM olmuştur: en büyük açık ağırlıklı modeller bir oyun kartına sığmıyor. PolyStrata'nın bir modeli GPU, RAM ve SSD arasında katmanlandırma yaklaşımı bu duvarı aşmanın bir yolu ve uzman bellek yerleşimini sınırlamadan önce ve sonraki gerçek bellek rakamlarını yayınlamaya istekli olması, bu tür iddiaları sınanabilir kılan türden bir raporlama. Hızlar başka makinelerde de doğrulanırsa, 90 GB üzeri bir modeli tek bir masaüstünde çalıştırmak artık yalnızca sunuculara özgü bir iş olmaktan çıkar. O ana kadar proje, yerel çıkarım alanında umut verici ama doğrulanmamış bir veri noktası olarak kalıyor.
- #local-inference
- #llms
- #open-source
- #mixture-of-experts
- #gpu
İlgili yazılar
- Qwen4-Max 1M token bağlam penceriyle genel API'ye ulaştı, llama.cpp 1.0.0 sürümüne geçti
- Nvidia yönetim kurulu, büyüyen geri dönüş kampanyasına rağmen Jensen Huang'ın dönüşünü reportedly reddediyor
- FBI, açık kaynak yapay zeka sızma aracı Artex'in ağları üç saatten kısa sürede ele geçirdiği uyarısında bulundu