WebGPU stabilitesi, tarayıcıların Llama 3.2 gibi quantize LLM'leri tamamen client tarafında çalıştırmasını sağlıyor

Bir dil modelini tamamen tarayıcı sekmesi içinde çalıştırmak, deney düzeyinden pratik bir seçeneğe dönüştü; dev.to'da yayımlanan bir tutorial bunu ele alıyor. Yazı, Transformers.js'i ONNX Runtime Web ve WebGPU hızlandırmasıyla birlikte kullanarak, çıkarım (inference) aşamasına hiçbir sunucunun dahil olmadığı, Llama 3.2 1B gibi quantize açık ağırlıklı modelleri client tarafında çalıştırmayı adım adım anlatıyor.

WebGPU denklemi nasıl değiştiriyor

dev.to yazısı bu değişimi yakın geçmişe kıyaslayarak çerçeveliyor: makine öğrenmesi çıkarımı genellikle üst düzey GPU'larla donatılmış bulut sunucularına dayanıyordu. WebGL, JavaScript'ten GPU'ya erişmenin bir yolunu sunuyordu ama yalnızca dolambaçlı çözümlerle. WebGPU compute shader'ları doğrudan ortaya çıkararak bu sürtünmeyi ortadan kaldırıyor; yazıya göre ONNX Runtime Web ve Transformers.js'teki son optimizasyonlarla birleştiğinde tarayıcılar artık Qwen 2.5, Phi-3.5 ve Llama 3.2 dahil 4-bit ve 8-bit quantize modelleri client sandbox'ı içinde çalıştırabiliyor.

Yazı ayrıca WebGPU desteğinin Chrome, Edge ve Firefox genelinde stabilize olduğunu, bunun da yaklaşımı bir demo olarak değil, üzerine inşa yapılacak kadar güvenilir kıldığını belirtiyor.

Kod nasıl görünüyor

Tutorial'ın örneği, @huggingface/transformers paketinden bir pipeline yardımcı fonksiyonu içe aktarıyor ve onnx-community/Llama-3.2-1B-Instruct ağırlıklarına karşı bir metin üretim (text-generation) pipeline'ı başlatıyor; 4-bit quantizasyonla (q4 dtype) webgpu cihazını talep ediyor. Üretim, ardından yeni token limiti ve temperature gibi olağan parametrelerle sürüyor ve elde edilen metin doğrudan sayfaya döndürülüyor. Döngünün hiçbir yerinde uzak bir çıkarım endpoint'ine istek yapılmıyor.

Bellek ayak izi ve yükleme süresi dengeleri

dev.to yazarı, uygulanabilirliğe somut sayılar bağlıyor: 4 bit'e quantize edilmiş 1 milyar parametreli bir model yaklaşık 700MB VRAM kaplıyor; yazıya göre bu, orta seviye dizüstü bilgisayarların ve iş istasyonlarının erişim范围内. Asıl kısıtlar başka yerde. Geliştiriciler context window derinliğini tarayıcı bellek limitleriyle dengelemek, ilk model yüklemesi sırasındaki shader derleme gecikmesine hazırlanmak ve ağırlıkların her ziyarette değil yalnızca bir kez indirilmesi için tarayıcının Cache Storage API'sini kullanmak zorunda.

Gizlilik argümanı

Yazıya göre yerel çalıştırmanın en güçlü gerekçesi veri egemenliği. Girdi şirket içi log'lar, tescilli formüller veya gizli belgeler içerdiğinde, çıkarımı client tarafında tutmak, prompt içeriğinin bir HTTP bağlantısı üzerinden hiçbir yere gitmemesi anlamına geliyor. Bu, man-in-the-middle riskini kapatıyor ve etkileşimin sunucu tarafında hiçbir kopyasının oluşmaması sayesinde bulut sağlayıcılarının veri saklama politikalarını konu dışı bırakıyor.

Neden önemli

Stabil WebGPU desteği, tarayıcıyı yalnızca bir render yüzeyi olmaktan çıkarıp meşru bir çıkarım hedefine dönüştürüyor. Geliştiriciler için pratik sonuç dağıtımla ilgili: gizlilik duyarlı bir yapay zekâ özelliği, her kullanıcının prompt'unu gören GPU destekli bir çıkarım servisi gerektirmek yerine, model ağırlıkları bir CDN'den çekilip önbelleğe alınarak sıradan bir web sayfası olarak teslim edilebilir.

Manşet gizlilik faydası. Metni üçüncü taraf bir API'ye göndermenin uyum ya da gizlilik sorunu oluşturduğu alanlarda, yerel çalıştırma sorunu tümüyle ortadan kaldırıyor.

Sınırlar da en az faydalar kadar gerçek. Client VRAM'i ve tarayıcı bellek sınırları bu yaklaşımı küçük ve agresif biçimde quantize edilmiş modellere mahsus kılıyor — yazıda geçen 700MB ayak izi 1 milyar parametreli bir modele ait — ve ağırlık indirme ile shader derlemesinden kaynaklanan ilk yükleme maliyetleri hâlâ mühendislik ilgisi gerektiriyor. Bu nedenle client tarafı çıkarımı, daha büyük ve sunucuda barındırılan modellerin tamamlayıcısıdır, alternatifi değil. Ayrıca buradaki iddiaların tek bir tutorial yazısından geldiğini belirtmekte fayda var; gerçek performans donanıma ve tarayıcı sürümüne göre değişecektir.