· kaynak Hacker News – Front Page (native)
Cerebras, GPU'ları Wafer Scale Engine'leriyle eşleştirerek megawatt başına beş kat daha fazla token üretiyor
Cerebras, dağıtık (disaggregated) çıkarım mimarisinin artık bulut ortamında yayında olduğunu ve prefill aşamasını AMD Instinct GPU'lara, decode aşamasını CS-3 sistemlerine yaptırarak yalnızca CS-3 kullanan bir kurulumun megawatt başına beş katı işleme hızına ulaştığını açıkladı.

Cerebras çıkarımı GPU'lar ile kendi çipleri arasında bölüyor
Cerebras, dağıtık (disaggregated) çıkarım mimarisini çıkarım bulutunda üretime taşıdı ve her büyük dil modeli isteğini iki tür donanım arasında paylaştırıyor. Hacker News ana sayfasında öne çıkan bir şirket blog yazısına göre, prompt işleme yani prefill aşamasını GPU'lar üstlenirken, token üretimi yani decode aşamasını Cerebras Wafer Scale Engine sistemleri üstleniyor. Şirket, hibrit kurulumun yalnızca CS-3 sistemleriyle çalışan bir konfigürasyona kıyasla megawatt başına beş kat daha fazla token ürettiğini ve üretim hızında yavaşlama yaşanmadığını bildiriyor.
Prefill ile decode neden ayrılır
Her çıkarım çağrısı iki aşamada çalışır. Prefill, kullanıcının prompt'unu okuyarak model durumunun ara bir temsilini oluşturur; decode ise cevabı her seferinde bir token olmak üzere üretir ve her yeni token'ı geri besleyerek bir sonrakini meydana getirir. Decode, her tekil token için modelin ağırlıklarını yeniden ziyaret ettiğinden, bu ağırlıkların hesaplama birimlerine ulaşma hızı sınırlayıcı faktör haline gelir. Cerebras'a göre bu durum, ağırlıkların hesaplama birimlerinin yanında bulunduğu on-chip SRAM merkezli çipleri, ağırlıkları harici HBM bellekten akıtan GPU'lara göre avantajlı kılıyor.
Şirketin wafer ölçekli çipleri için öne sürdüğü temel özellikler, onlarca gigabayt on-chip SRAM ve saniyede onlarca petabayt bellek bant genişliği; şirket bunun tipik bir GB300 sınıfı GPU'ya kıyasla 350 kat SRAM kapasitesi ve 5.400 kat bellek bant genişliği anlamına geldiğini söylüyor. Prefill ise yoğun hesaplama gerektiren bir toplu iş (batch) problemi olduğundan geleneksel hızlandırıcılar tarafından zaten iyi yönetiliyor ve bu da iş bölümünü cazip kılıyor.
Üretim ortamındaki sayılar ne gösteriyor
Ölçülen dağıtım Cerebras Inference Cloud üzerinde çalıştı; prompt'ları AMD Instinct GPU'lar işlerken yanıtları CS-3 sistemleri üretti. Yazıya göre, paylaşımlı bir GPT-OSS-120B uç noktasındaki megawatt başına işleme hızı, dağıtımın açılmasından önce ve sonra 14 Kasım'da ölçüldü ve tek sistemli bir taban çizgisine göre normalize edildi; bölmenin etkinleştirilmesi işleme hızını taban çizgisinin beş katına çıkardı. Cerebras, mimariyi 2027 sonuna kadar kendi bulutunda ve ortak veri merkezlerinde yüzlerce megawatt kapasiteye yaymayı planlıyor.
Şirket bu adımı bir kapasite darlığına yanıt olarak konumlandırıyor ve Goldman Sachs Research'in, yapay zekâ çıkarım talebinin 2030'a kadar yaklaşık 24 kat büyüyeceği, buna karşılık veri merkezi kapasitesinin yalnızca yaklaşık 2,2 kat artacağı tahminlerine atıfta bulunuyor. Güç kısıtlı bir pazarda megawatt başına token sayısı, bir sağlayıcının gerçekten karşılayabileceği talebi belirleyen metrik haline geliyor. Cerebras, bu talebi sürükleyen iş yükleri olarak Copilot ve Codex gibi etkileşimli agentic uygulamalara işaret ediyor.
Yalnızca bir bulut özelliği değil, bir ortaklık programı
Cerebras mimariyi altyapı işletmecilerine de sunuyor. Ortaklar, Cerebras referans tasarımını izleyerek seçtikleri prefill hızlandırıcıyı Cerebras sistemleriyle tek bir küme içinde bir arada konumlandırabiliyor ve iki yoldan biriyle entegre olabiliyor. Uçtan uca yazılım yığını; prefill ve decode havuzlarını yöneten bir yönlendirme çerçevesi, vLLM veya SGLang gibi açık kaynak projeleri üzerine kurulu bir prefill motoru, bir Cerebras decode motoru ve iki havuz arasında key-value cache'leri RDMA üzerinden taşıyan KV Portal adlı yazılımı içeriyor. Daha fazla kontrol isteyen ortaklar ise bunun yerine yalnızca decode'a odaklanan bir SDK kullanarak kendi çıkarım çerçevelerini ve prefill motorlarını getirebiliyor; geliştirme yardımcıları olarak bir sahte Cerebras kopyası ve bir referans entegrasyon sağlanıyor. Yazıda adı geçen erken erişim ortakları arasında Amazon Web Services, Fireworks AI, Gimlet Labs ve General Compute yer alıyor. Bu duyuru, yakın zamanda tanıtılan CS-4 sistemi, genişletilen üretim ve planlanan 700 megawatt veri merkezi kapasitesiyle aynı dönemde geliyor.
Neden önemli
Sektörün sunabileceği çıkarım miktarını giderek daha fazla sınırlayan şey çip arzı değil, güç oluyor ve megawatt başına token'da iddia edilen beş katlık kazanç, Cerebras'ın kendi ortamı dışında da geçerliyse önemli. Tasarım ayrıca Cerebras'ı GPU filolarının yerine geçen değil, onları tamamlayan bir oyuncu olarak yeniden konumlandırıyor: işletmeciler GPU'larını prefill için tutuyor ve wafer ölçekli sistemleri yalnızca karşılığını verdiği yerde, yani decode'da ekliyor. Bu da şimdiye kadar niş bir satın alma olan bu donanımın benimsenme engelini düşürüyor. Gecikmeye duyarlı agentic uygulamalar doğrudan yarar görüyor, çünkü algılanan hızlı yanıtlılık decode hızına bağlı. Her zamanki uyarı geçerli: beş kat rakamı sağlayıcının kendi bulutunda yaptığı bir ölçüm ve bağımsız kıyaslama testleri henüz ortaya çıkmış değil.
- #cerebras
- #inference
- #ai-hardware
- #datacenters
- #llm
İlgili yazılar
- Geliştirici, yerel GPU modellerini bulut kodlama agent'larıyla birleştiren GitSeed'i Apache 2.0 lisansıyla open source etti
- Nvidia 115,8 milyar dolarlık çeyrek açıkladı: Yönetim kurulu Huang'ın dönüşünü reddetti, girişim payları 65,5 milyar dolara ulaştı
- Microsoft, MAI Cyber 2 Flash'ın güvenlik görevlerinde GPT-6 Astra'yı maliyetin yüzde 2'sinin altında yendiğini iddia ediyor