deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

GPUPartner rehberi, Unsloth Desktop ve Qwen ile ücretsiz yerel LLM'leri evde çalıştırmayı anlatıyor

GPUPartner rehberi, Unsloth Desktop ve kuantalanmış Qwen veya Inkling modelleriyle Windows bilgisayarda özel, ücretsiz bir yerel yapay zekâ kurmayı anlatıyor; abonelik ya da terminal komutu gerektirmiyor.

GPUPartner rehberi, Unsloth Desktop ve Qwen ile ücretsiz yerel LLM'leri evde çalıştırmayı anlatıyor

GPUPartner tarafından 22 Kasım'da yayımlanan ve Hacker News'in ana sayfasına ulaşan bir rehber, yeni başlayanlara, ücretsiz Unsloth Desktop uygulaması ve Qwen ile Inkling gibi açık ağırlıklı modeller kullanarak bir Windows bilgisayarda özel bir ev içi yapay zekâ asistanı kurmayı adım adım anlatıyor. Yazar, donanım hazırlandıktan sonra yapılandırmanın indirme süreleri hariç yaklaşık 10 ila 15 dakika sürdüğünü belirtiyor.

Belirtilen motivasyon, barındırılan yapay zekâ hizmetlerinden duyulan memnuniyetsizlik. Yazar, token yoğun araştırma, veri toplama ve kodlama işlerini kullanım limitlerini gün boyu izlemeden devretmek istiyordu ve OpenAI ile Anthropic'in en yeni amiral gemisi modellerinde kalite gerilemeleri yaşatırken bu modellerin neler yapabileceği üzerindeki kontrolü sıkılaştırdığını savunuyor. Bu, kriterlere dayalı bir bulgudan çok yazarın değerlendirmesi; ama ortaya konan pratik gerekçeyi çerçeveliyor: maliyet, gizlilik ve hız limitleri yazarı kendi sunucusunda barındırmaya itti.

Üç adımlı kurulum

Rehber bilinçli olarak her şeyi basit tutuyor ve Windows'u hedefliyor, çünkü bu yazarın ilk denemesiydi. İlk adım, yerleşik bir sohbet arayüzü üzerinden model sunan ücretsiz bir uygulama olan Unsloth Desktop'ı kurmak. İkinci adım, açılır menüden kuantalanmış bir model indirmek. Üçüncü adım ise bir context boyutu belirlemek ya da otomatikte bırakmak ve evdeki herkesin asistana erişebilmesi için LAN erişimini etkinleştirmek. Terminal komutu, Python ortamı veya abonelik gerekmiyor.

Yazar alternatif olarak LM Studio'yu da değerlendirdi ve Unsloth Desktop'ı kısmen sitesinin abonelik dayatmaması (kaçmaya çalıştığı şeyin ta kendisi), kısmen de topluluktaki olumlu algı nedeniyle seçti.

GPU'nuza uygun bir model seçmek

Bir ekran kartının ne kadar video belleği olduğu, ne çalıştırabileceğini belirliyor. Kaba bir ölçüt olarak yazar, 8 ila 12 GB'ın daha küçük 9B-12B modelleri idare ettiğini, 32 GB'ın ise 27B-35B modelleri uzun konuşmalara yer kalacak şekilde rahatça çalıştırdığını söylüyor. Tam boyutlu Qwen modeli yaklaşık 56 GB'da duruyor ve tam bu noktada kuantalama devreye giriyor: ağırlıkları daha düşük hassasiyete sıkıştırmak, modeli bir tüketici kartına sığacak ve daha hızlı çalışacak kadar küçültüyor; buna karşılık doğrulukta bir miktar kayıp yaşanıyor. Bu takasın değip değmeyeceği iş yüküne bağlı; çünkü bazı görevler benzer çıktılar verirken diğerleri neredeyse kullanılamaz hale gelebilir.

RTX 5090 ve 32 GB VRAM'e sahip bir test makinesinde rehber, Qwen3.8-27B'yi Unsloth'un 4-bit UD-Q4_K_XL derlemesiyle kullanıyor ve sığan en büyük modeli tıkmak yerine bilinçli olarak 128K'lık bir context penceresi seçiyor. Yazar, 5090 gibi pahalı bir kartın bile kurumsal GPU'ların yanında görece ekonomik kaldığını esprili biçimde belirtiyor. Daha küçük kartlar için rehber, 8-12 GB'da Qwen3.5-9B veya Gemma 4 12B'yi, 16 GB'da Qwen3-14B veya gpt-oss-20b'yi, 24 GB'da Qwen3-Coder-30B, Gemma 4 26B/31B, Qwen3.8-27B veya Inkling 2 Mini'yi öneriyor; 32 GB ve üzeri kartlar 64K ile 128K+ context'lere destek veriyor. GPUPartner ayrıca tahminler için bir VRAM hesaplayıcısı yayımlıyor.

Birleşik bellek sayesinde Mac'ler de iş görüyor; ancak rehbere göre performans ayrık GPU'ların gerisinde kalıyor ve kullanıcılar Apple Silicon için hazırlanmış MLX derlemelerini edinmeli. MSI PRO MAX EDGE AI+ 11M ve NVIDIA'nın DGX Spark gibi birleşik bellekli bilgisayarlar da aynı kategoride yer alıyor.

Inkling 2 Mini listeye katılıyor

Rehber, Thinking Machines Lab'ın 17 Kasım 2026'da yayımladığı Inkling 2 Mini'yi öne çıkarıyor: 26,4 milyar parametre, Apache 2.0 lisansı, görü desteği ve 1 milyon token'lık context. Önerilen 4-bit dosyası 17,6 GB ve rehberde kullanılan Qwen3.8-27B dosyasının yalnızca 0,1 GB yanında; dolayısıyla 32 GB'lık bir kartı aynı şekilde dolduruyor ve context için yaklaşık 14 GB boş yer bırakıyor. Unsloth'un rakamlarına göre 4-bit model 24 GB'lık bir karta sığıyor; kayıpsız 8-bit derleme ise yaklaşık 24 GB ve 32 GB'lık bir kart gerektiriyor; context buna ek olarak geliyor.

Inkling 2 Small ise bambaşka bir hikâye. 594 milyar parametreyle yayımlanan en küçük dosyası 171,7 GB ve bu, bir ekran kartından çok 256 GB'lık bir Mac Studio ya da DGX Station gibi birleşik bellek bölgesi.

Neden önemli

Rehber, açık ağırlıklı modellerin ne kadar yol kat ettiğinin bir fotoğrafı: tek bir tüketici GPU'su artık ölçüm, abonelik ya da modelin ne söyleyip yapabileceğine bir satıcının karar vermesi olmadan rutin işleri başarabilen özel bir asistan barındırabiliyor. Yazarın çerçevesinde, bulut LLM sağlayıcıları günlük görevler için sıradan bir altyapı gibi görünmeye başlıyor. Sınırlar hâlâ gerçek; çünkü kuantalama bazı iş yüklerini bozuyor ve ön ölçekli ağırlıklar hâlâ veri merkezi sınıfı donanım gerektiriyor. Ama günlerin çoğunu dolduran araştırma, özetleme ve kodlama işleri için avantaj, GPU'yu elinde tutan tarafın lehine kayıyor.

  • #local-llm
  • #unsloth
  • #qwen
  • #quantization
  • #open-weights