Cerebras, 3 trilyon parametreli modelleri 59 wafer-scale çip üzerinde nasıl sunduğunu anlattı

Trilyon parametre, seferinde 44 GB

Cerebras, trilyon parametreli modelleri her biri yalnızca 44 GB çip içi SRAM taşıyan wafer-scale çipler üzerinde nasıl devreye aldığına dair mühendislik odaklı bir yazı yayımladı. Hacker News ana sayfasına kadar yükselen yazı, açık kaynak Kimi K3 modelini — kabaca 3 trilyon parametre — örnek vaka olarak kullanıyor ve çoklu trilyon parametreli modellerin şirketin donanımında saniyede 1.000–2.000+ token hızla çalıştığını belirtiyor.

Bellek aritmetiği

Tek bir WSE-3T wafer 44 GB çip içi bellek tutarken, trilyon parametreli sınır modelleri yalnızca ağırlıkları için terabaytlar gerektiriyor. Cerebras bu açığı modeli birçok wafer arasında bölerek kapatıyor.

Kimi K3, 69 linear-attention katmanı ve 24 dense katmanı — toplam 93 katman — içeriyor. 256k token'lık ortalama istek boyutu, 4-bit ağırlık niceleme (Hugging Face uygulamasındaki gibi) ve 8-bit KV cache varsayıldığında, 4 bit olan 3 trilyon parametre yaklaşık 1,5 TB ham ağırlığa karşılık geliyor. 93 katmana bölündüğünde bu, katman başına kabaca 16 GB demek.

Katman türü yerleşimi belirliyor. Dense, tam dikkat (full-attention) katmanları her aktif isteğin her token'ı için key ve value saklamak zorunda, bu yüzden Cerebras her wafer'a bir dense katman yerleştiriyor ve geri kalan SRAM'i KV cache olarak ayırıyor. Linear-attention katmanları ise bağlam uzunluğundan bağımsız olarak istek başına yalnızca küçük, sabit boyutlu bir durum tutuyor, dolayısıyla ikisi birden — 32 GB — tek bir wafer'a sığıyor. 69 linear katman böylece 35 wafer'ı, 24 dense katman 24 wafer'ı daha kaplıyor ve modelin tamamı 59 wafer'a sığıyor.

Ağırlıklar yerinde kalıyor, aktivasyonlar hareket ediyor

Wafarlar bir pipeline'a zincirleniyor. Cerebras derleyicisi model katmanlarını wafarların bölgelerine eşliyor, runtime ise token'ların aralarındaki yolunu çiziyor. 16 GB'lık bir katman 44 GB'lık bir wafer içine sığdığından ağırlıklar tipik olarak hiç hareket etmiyor ve katmanlar çipler arasında bölünmüyor — yalnızca aktivasyonlar, Ethernet üzerinde RDMA ile, hop başına kabaca iki mikrosaniyede yol alıyor.

Şirket bu düzeni bir montaj hattına benzetiyor: birinci wafer 1–2. katmanları hesaplayıp aktivasyonlarını ikinci wafer'a devrediyor, o da 3–4. katmanları ele alıyor ve son wafer bir sonraki token'ı üretene dek böyle sürüyor.

Pipeline'ı doldurmak

Doğal bir itiraz, ardışık bir pipeline'ın çoğu wafer'ı sırasını beklerken boş bırakacağı — fiilen batch boyutu bir demek — olurdu. Cerebras bunun yerine pipeline'ı farklı isteklerle dolu tutuyor: üçüncü aşama A isteği için bir token hesaplarken, ikinci aşama B isteğiyle, birinci aşama C isteğiyle çalışıyor. Üretim sistemleri, katman başına bir aşama örneğinden çok daha fazla ve daha ince taneli aşamalar kullanıyor ve her aşama tek bir istek yerine isteklerden oluşan bir micro-batch işliyor. Uçuştaki istek sayısı kabaca aşama sayısının micro-batch boyutuyla çarpımıdır; daha küçük micro-batch'ler istek başına gecikmeyi düşürürken, daha büyük olanlar toplam verimi yükseltiyor.

Eşzamanlılık nihayetinde bellekle sınırlı. Uçuştaki her istek, her dense-katman wafer'ında kendi KV cache'ine ihtiyaç duyuyor; dolayısıyla artan kapasite — 44 GB eksi 16 GB'lık katman, dense wafer başına yaklaşık 28 GB — tavanı belirliyor. Cerebras bu alanı 256k token'lık bir isteğin cache ayak izine bölerek desteklenen eşzamanlılığı buluyor, though yayımlanan yazı kesin rakamı açıklamıyor.

Şirket ayrıca eşzamanlılık veya batch boyutunun tek başına üzerine fazla anlam yüklenmemesi konusunda uyarıyor. Cerebras'a göre daha anlamlı verimlilik ölçütü, birim güç başına toplam token verimi — megawatt başına saniyedeki token — ve aynı çıktı üretim hızında ölçülüyor.

Aynı reçete 3 trilyon parametrenin ötesine de ölçekleniyor: ağırlıklar ve istek başına durum için gereken belleği topla, katmanları wafarlar arasında dağıt ve wafarları bir pipeline'a zincirle. Her ek wafer kendi hesaplama gücünü ve çip içi belleğini katıyor.

Neden önemli

GPU kümelerinde çıkarım (inference) büyük ölçüde bir bellek bant genişliği sorunu: ağırlıklar HBM'den onları tüketen hesaplama birimlerine akıtılıyor. Cerebras'ın açıklaması tersine bir bahse ışık tutuyor — her ağırlığı SRAM'e yerleştir, orada tut ve çipler arasında yalnızca görece ufak aktivasyonları taşı. Katman başına 16 GB'dan 59 wafer'a ve iki mikrosaniyelik hop'lara kadar somut rakamlar, dışarıdan bakanlara bu mimarinin sınır ölçeğinde bir açık model için nasıl sonuç verdiğine dair ilk gerçek bakışı sunuyor.

Yazı ayrıca model mimarisinin sunum maliyetlerini nasıl şekillendirdiğini gösteriyor. Kimi K3'ün linear ve dense dikkat karışımı burada doğrudan fark yaratıyor: linear katmanlar token başına KV durumu taşımadığından wafer başına sığan katman sayısı ikiye katlanıyor ve cache ayak izi küçülüyor. Sınır modelleri hibrit dikkat tasarımlarına doğru eğilirken, bellek davranışı — yalnızca parametre sayısı değil — bunların ne kadar ucuza sunulabileceğini belirlemeye yardımcı olacak. Ve çıkarım harcaması yapay zeka ekonomisinde giderek baskın hale geldikçe, Cerebras'ın tercih ettiği ölçüt olan megawatt başına saniyedeki token, karşılaştırmanın standart temeli olmaya aday.