Off Grid AI Desktop, tek bir Windows GPU'lu bilgisayarı paylaşımlı yerel yapay zeka sunucusuna dönüştürüyor

Tek bilgisayar, ekip yapay zeka sunucusu oluyor

dev.to'da yayımlanan bir eğitim yazısı, NVIDIA ekran kartlı tek bir Windows makinesinin, hiçbir bulut hizmetine başvurmadan tüm bir ekibin yapay zeka iş yükünü nasıl karşılayabileceğini ayrıntılarıyla ele alıyor. Ücretsiz Off Grid AI Desktop uygulamasının 0.0.55 ve sonraki sürümleri, bir gateway ile birlikte bir Team modu getiriyor; bu mod sayesinde birkaç kişi aynı anda, her biri kendi kişisel API anahtarıyla tek bir bilgisayara istek gönderebiliyor. Rehber, aracı, yazılımları zaten OpenAI API ile konuşan ekipler için Ollama'ya bir alternatif olarak konumlandırıyor.

dev.to'daki yazıya göre gereksinimler mütevazı: x64 işlemcili Windows 10 veya 11 (ARM sürümü yok), uygulamanın kendisi, Qwen 3.5 9B gibi indirilmiş bir sohbet modeli ve aynı ofis ağındaki diğer bilgisayarlar. Gateway ve Team modu ücretsiz uygulamanın parçası olduğundan hesap ya da ödeme gerekmiyor.

Eşzamanlılık VRAM ile ölçekleniyor

Kritik mühendislik detayı, tek bir GPU'nun kaç eşzamanlı isteği kaldırabileceği. CUDA üzerinde Auto modunda gateway, 24 GB altı VRAM'li kartlarda en fazla 4 eşzamanlı istek, RTX 3090 veya 4090 gibi 24 GB kartlarda 8, 48 GB'da 16 ve 96 GB'da 32 istek hizmeti veriyor. CUDA olmadan, Vulkan veya CPU üzerinde çalışırken üst sınır 4. Model yüklendikten sonra kalan bellek gerçek sınırı belirliyor; rehber istek başına kabaca 8.000 token bütçeliyor.

Sınırın ötesindeki istekler, geldikleri sıraya göre kuyrukta bekliyor. Kuyruğun kendisi dolduğunda gateway, HTTP 429 ve bir Retry-After başlığıyla yanıt veriyor; böylece istemciler askıda kalmak yerine geri çekilip yeniden deniyor.

Kurulum, anahtarlar ve görünürlük

Team modu, tek seferde tek isteği tam hızla işleyen varsayılan tek kullanıcılı ayarın yerini alıyor. Kurulum şöyle: Gateway panelini açmak, varsayılan base URL'in (7878 portunda 127.0.0.1) yalnızca sunucu bilgisayarda çalıştığını hatırlamak ve diğer herkes için bunun yerine makinenin LAN IPv4 adresini — PowerShell'deki ipconfig ile bulunur — koymak gerekiyor. Gateway her ağ arayüzünde 7878 portunu dinliyor; eğitim yazısı, Windows Defender Firewall'da yalnızca Özel ağlarda izin verilmesini öneriyor, böylece uygulama otel veya kafe Wi-Fi'larında kapalı kalıyor.

API anahtarları varsayılan olarak kapalı; rehber, adresi paylaşmadan önce mutlaka açılması gerektiği konusunda açık konuşuyor, çünkü aksi halde ağdaki herkes modelleri kullanabiliyor. Anahtarlar 7 günden süresizliğe kadar geçerlilik sürelerini destekliyor, düz metin bir ayar dosyası yerine Windows kullanıcı hesabına bağlı şifreli bir secret store'da saklanıyor ve tek tek iptal edilebiliyor; böylece kaybolan bir dizüstü bilgisayar herkesin kimlik bilgilerini yeniden oluşturmak anlamına gelmiyor. Bir ayar ekranı her isteği modeli, zamanlaması ve anahtar adıyla günlüklüyor; bir gateway durum endpoint'i de kaç isteğin çalıştığını, beklediğini veya reddedildiğini bildiriyor.

Penceresiz çalışma

Uygulama, masaüstü penceresi olmadan da çalışabiliyor; PowerShell'den yalnızca sunucu moduna geçen bir flag ve Team modu ile istemci sayısı seçenekleriyle ya da eşdeğer ortam değişkenleriyle başlatılıyor. Team modunda, yanıtlar akarken bilgisayar uyanık tutuluyor ve Windows, son istek bittikten bir dakika sonra uyuyabiliyor. Sohbetin ötesinde sunucu; görüntü anlama, metinden görüntüye, konuşmadan metne, metinden konuşmaya, embeddings ve model listesi sunuyor — hepsine aynı OpenAI tarzı istemcilerle erişilebiliyor.

Yapamadığı şeyler

Eğitim yazısı sınırlar konusunda açık sözlü: tek GPU'nun paylaşılması, aynı anda birkaç kişi kullandığında her yanıtın daha yavaş akması anlamına geliyor; görüntü üretimi Team modunda bile aynı anda tek resim işliyor; ayrıca relay veya bulut tüneli olmadığından uzaktaki çalışanların ofis ağına VPN bağlantısı kurması gerekiyor. Uygulama ayrıca kapak kapatma veya güç düğmesi davranışını da geçersiz kılmıyor; bu yüzden paylaşımlı bir sunucu için masaüstü bilgisayar daha güvenli bir tercih.

Neden önemli

Hassas kod veya belgelerle çalışan küçük ekipler için bu, kişi başı bulut faturaları olmadan veya veri binadan çıkmadan yerel yapay zeka için uygulanabilir bir model. OpenAI uyumlu bir endpoint, mevcut editörlerin, betiklerin ve agent'ların yalnızca bir LAN adresini göstermesini sağlarken, kişiye özel anahtarlar ve istek günlüğü, yalın tek kullanıcılı kurulumların eksik olduğu bir yönetişim katmanı ekliyor. Dikkat edilmesi gereken bir nokta: bu, dev.to'da tek bir satıcının eğitimi ve eşzamanlılık rakamları bağımsız kıyaslamalardan değil, geliştiricinin kendi materyalinden geliyor.