SlimWise, MoE expertlerini yalnızca decode sırasında budayarak çıkarım verimliliğini 1,81 kata kadar artırıyor

Mixture-of-Experts (MoE) mimarileri, token başına yalnızca model parametrelerinin bir bölümünü etkinleştirerek ucuz çıkarım vaat ediyor; ancak gerçek serving hatları, toplu (batched) çözme sırasında hâlâ expert trafiğinde tıkanıyor. Yeni bir araştırmayı özetleyen bir dev.to gönderisine göre SlimWise adlı sistem bu sorunu, budama işlemini yalnızca decode aşamasında uygulayıp prefill'i tam modelde bırakarak ele alıyor ve minimal kalite kaybıyla 1,81 kata varan decode verimliliği kazanımı bildiriyor.

Prefill ile decode'un ayrıştırılması

dev.to yazısı, önceki serving optimizasyonlarının iki gruba ayrıldığını açıklıyor: maliyetli prefill adımı dahil modelin tamamını budamak ya da üretim kalitesinden ödün vererek hızlanmayı kabul etmek. İkisi de aynı duvara çarpıyordu, çünkü prefill modelin dayandığı bağlamsal durumu inşa ediyor. Her iki aşamaya tek bir budama oranı uygulamak, perplexity ve çıktı uzunluğunda belirgin düşüşlere yol açtı.

SlimWise farklı bir yol izliyor. Prefill'e dokunmuyor, üretim sırasında yalnızca expertlerin yarısını etkinleştiriyor ve çözücüye, budanmamış modelin prefill sırasında hesapladığı KV cache'ini veriyor. Budanmış model tam modelin dikkat bağlamını devraldığı için, gönderiye göre normalde budamayla kaybedilen doğruluğun önemli bölümü, ek eğitim olmadan, değerlendirilen birçok ortamda geri kazanılıyor.

Tasarım yaygın bir gizli maliyeti de ortadan kaldırıyor. Expert budama dikkat mimarisini ve KV cache düzenini değiştirmediğinden herhangi bir cache dönüştürmesine gerek yok; runtime yalnızca aşamalar arasında bir weight maskesi takas ediyor. Bu, aksi halde budamanın sağladığı gecikme tasarrufunu silecek veri yeniden şekillendirme ve bellek kopyalamalarını eliyor.

Bildirilen sayılar

dev.to özetine göre SlimWise, Qwen3.6-35B-A3B üzerinde %50 expert budama oranında minimal doğruluk kaybıyla decode verimliliğini 1,81 kata kadar artırdı. Token düzeyindeki gecikme azalmaları, tipik istek desenleri altında uçtan uca yaklaşık %78'lik bir hızlanmaya denk geldi. Sonuçlar iki MoE omurgası ve hangi expertlerin çıkarılacağını seçen üç farklı kriterle gösterildi.

Sınırlamalar ve açık sorular

Gönderi sınırlar hakkında açık sözlü: daha büyük modellerde veya daha agresif budama oranlarındaki performans hâlâ test edilmedi ve düşük maliyetli bir damıtma aşaması yararlı olsa da, dağıtımdan önce ılımlı bir ek eğitim adımı ekliyor. Açık sorulardan biri, dinamik ve token düzeyinde expert seçiminin statik bir budama eşiğinin izin verdiğinden daha fazla gecikme-kalite dengesini iyileştirip iyileştiremeyeceği.

Üretim yığınları için yazıdaki öneri somut: serving'i ayrı prefill ve decode yollarına bölün ve tam modelin KV cache'ini doğrudan budanmış bir çözücüye besleyin; böylece runtime cache yeniden yazımına gerek kalmaz. Yazı ayrıca, mevcut uçtan uca sayıların ek bir hız payı gizleyebileceği gerekçesiyle, bu ayrıştırılmış kurulum altında gecikme kıyaslamalarını yeniden çalıştırmayı öneriyor.

Neden önemli

Decode, büyük dil modellerinin sunumunda maliyetin ve gecikmenin büyük kısmını oluşturuyor ve MoE artık alandaki standart bir mimari. Yeniden eğitim ve cache formatı dönüştürmesi gerektirmeyen temel mekanizmaya sahip, serving katmanındaki bir değişikliğin decode verimliliğini doğruluğu budanmamış temel çizgisine yakın tutarak neredeyse ikiye katlaması, doğrudan token başına daha düşük maliyete ve GPU başına daha fazla sunulan istege karşılık geliyor. Bu yaklaşım, yazının üretim için kendisinin önerdiği prefill-decode ayrımına da uyuyor; yani ayrıştırılmış serving çalıştıran ekipler bunu kademeli olarak benimseyebilir. Daha büyük modeller, daha derin budama oranları ve dinamik expert seçimini kapsayan yanıtsız sorular, takip çalışmalarının bu kazanımların kıyaslanan ortamların ötesinde geçerli olup olmadığına karar vereceği yeri tanımlıyor.