LLM-Surgeon, indirmeden önce bir modelin VRAM'ınıza sığıp sığmadığını kontrol ediyor

Leonel59 takma adıyla yazan bir geliştirici, onlarca gigabaytlık ağırlıkları indirmeden önce açık ağırlıklı bir modelin makinenizde gerçekten çalışıp çalışmayacağını teşhis eden bir komut satırı aracı olan LLM-Surgeon v2.0'ı yayınladı. dev.to'daki duyuru yazısına göre araç Windows, Linux ve macOS üzerinde çalışıyor, Node.js 18 veya daha yeni bir sürüm gerektiriyor, harici npm paketi olmadan kuruluyor ve tamamen çevrimdışı çalışıyor.

Hedef aldığı tahmin oyunu

Yazar, sorunu Ollama, LM Studio veya llama.cpp üzerinden model çalıştıran herkese tanıdık gelecek şekilde tanımlıyor: 30B bir mixture-of-experts ya da 14B yoğun bir model seçiyorsunuz, 16K bağlamda VRAM'a sığıp sığmayacağını merak ediyorsunuz ve ancak indirdikten sonra runtime'ın katmanları sessizce sistem RAM'ine boşalttığını, hız saniyede yaklaşda 55 token'dan 4'e düştüğünü fark ediyorsunuz. LLM-Surgeon bu deneme-yanılma sürecini donanım telemetrisi ve grouped-query-attention KV-cache hesaplamalarıyla değiştirmeyi amaçlıyor.

Gönderi, aracı üç mevcut projenin birleşimi olarak konumlandırıyor. CanIRun.ai'den bölüm bazlı öneriler fikrini alıyor, ama yazarın bir tarayıcı-korumalı alanı sınırlaması olarak tanımladığı sorunu gideriyor: bir web uygulaması gerçek boş VRAM'ınızı göremez, GPU belleğini tüketen arka plan Windows süreçlerini tespit edemez ve entegre GPU'lardaki birleşik bellek rezervasyonlarını algılayamaz. Artificial Analysis'den kıyaslama verilerini, llmfit'ten ise terminal ergonomisini alıyor; ancak yaklaşık 500 ham modelden oluşan düz bir liste yerine özenle seçilmiş bir kadro sunuyor.

Tarayıcının rapor ettikleri

Başlangıçta CLI, NVML'yi (nvidia-smi'nin arkasındaki kütüphane) sorguluyor, AVX-512 veya AVX2 CPU vektör uzantılarını kontrol ediyor, çift kanallı DDR4 veya DDR5 bellek topolojisini haritalıyor, iGPU birleşik bellek rezervasyonlarını tespit ediyor ve yazarın sessizce 1,5 GB veya daha fazla GPU belleği kaplayabileceğini söylediği arka plan süreçlerinin tam listesini çıkarıyor.

Teşhis çıktısı, yedi özenle hazırlanmış bölümde düzenlenmiş 28 son teknoloji açık kaynak modeli kapsıyor. Her kart, bellek ayak izini ağırlıklar, KV-cache ve tampon olarak bölen segmentli bir VRAM çubuğu, bağlam 4K'dan 32K token'a büyüdükçe bellek talebinin nasıl arttığını ve modeli başlatmak için gereken tam ollama run veya llama-cli bayraklarını gösteriyor.

Sıralamalar sizin PC'nizle kesişiyor

Gönderiye göre araç ayrıca modelleri ufak (4B parametreye kadar)dan büyük (150B üzeri)ye katmanlarda sıralayan Artificial Analysis Progress Index'i fiziksel GPU'nuz ve bellek bant genişliğinizle karşılaştırıyor. Yazarın verdiği kadro; Nanbeige 4.3-33B, Qwen 3.6 27B, K2 Horizon MoVA 36B-A4B, Gemma 4 31B, Kimi K3.1 Pro ve DeepSeek V4.1 Flash gibi modeller içeriyor. Bu isimler ve sıralamalar yazarın kendi gönderisinden geliyor ve bağımsız olarak doğrulanmadı.

Sayıları hissetmek için bir laboratuvar

Etkileşimli bir laboratuvar, iki modeli öngörülen fiziksel hızlarında yan yana akıtarak karşılaştırmanıza olanak tanıyor; böylece yazarın saniyede 59,6 token olarak ölçtüğü tamamen GPU'da yerleşik bir kurulum ile DDR5'e taşan 24,6 hızındaki hibrit bir yapılandırma arasındaki farkı, 20 GB'lık bir indirmeye girişmeden önce deneyimleyebiliyorsunuz. Bir kıyaslama modu ayrıca Ollama veya LM Studio aracılığıyla yerel olarak kurulu modelleri gerçek zamanlı olarak ölçebiliyor.

Bir güvenlik özelliği olarak sıfır bağımlılık

Güvenlik tasarımı duyurunun öne çıkan bir noktası. Araç yalnızca yerel Node.js modüllerini kullandığı için, yazara göre npm tedarik zinciri saldırılarına bağışık. Gönderi ayrıca shell çalıştırması devre dışı bırakılmış execFileSync'ın sıkı kullanımı sayesinde komut enjeksiyonuna bağışıklık olduğunu, dış istekleri engelleyen yalnızca loopback ağ politikasını ve dışa aktarılan teşhis raporundan işletim sistemi kullanıcı adları ile ana dizin yollarının otomatik olarak sansürlendiğini iddia ediyor.

Kurulum geleneksel yolu izliyor: GitHub'dan depoyu klonlayın, npm link çalıştırın ve herhangi bir dizinden llm-surgeon komutunu çağırın.

Neden önemli

Yerel model kullanıcıları düzenli olarak bant genişliğini, disk alanını ve akşam saatlerini, donanımlarında kabul edilebilir şekilde çalışamayacak ağırlıklara harcıyor ve MoE mimarileri, quantization seçenekleri ve daha uzun bağlamlar darboğazı model ağırlıkları ile KV-cache arasında kaydırdıkça bu hesap sadece zorlaştı. İndirme öncesi bir teşhis bu kumarı hızlı bir kontrole dönüştürüyor ve bunu tarayıcı tabanlı tahminler yerine donanım telemetrisiyle yapmak gerçek bir boşluğu dolduruyor. Sıfır bağımlılık duruşu ayrıca npm araçlarında tedarik zinciri riskine dair büyüyen endişeyi yansıtıyor. Uyarılar da en az ölumlar kadar gerçek: bu tek yazarlı bir yan proje, performans rakamları ve model kadrosu tek bir kişinin seçimini yansıtıyor ve satın alma ya da indirme kararları için ona güvenen herkes öngörüleri garanti değil tahmin olarak ele almalı.