Microsoft'un Maia 300 derinlemesine incelemesi: chiplet'ler, HBM4 ve 12.288 çipli Ethernet superpod'lar

Çıkarım ekonomisine göre ayarlanmış üçüncü nesil bir çip

Microsoft, kendi geliştirdiği yapay zeka hızlandırıcısının üçüncü nesli olan Maia 300 üzerine mimari bir derinlemesine inceleme yayınladı. Hacker News'in ön sayfasında öne çıkan Azure blog yazısına göre çip, şirketin "watt başına daha faydalı token, dolar başına daha faydalı token" diye özetlediği bir tasarım felsefesinin en dolgun ifadesi. Microsoft, hızlandırıcıyı bağımsız bir parça olarak ele almak yerine; yazılım, silikon, rack altyapısı, ağ ve veri merkezi tesisleri boyunca birlikte tasarlanmış eksiksiz bir platformu anlatıyor. Hedef, bulut ölçeğinde ajan tabanlı (agentic) çıkarım: çok adımlı yürütme, uzun bağlam çözümleme (decoding) ve model servis alaka yoğunluğunu değiştiren araç kullanımından oluşan iş yükleri.

Yazılım sadece matematiği değil, veriyi yönetiyor

Tasarımın merkezinde, Maia 200 ile tanıtılan SDLA, yani Software Defined Locally Accessed Dataflow Architecture var. Microsoft'un argümanı, veriyi depolamanın, taşımanın ve dönüştürmenin üzerinde hesap yapmak kadar maliyetli hale gelmiş olması. SDLA bu nedenle kontrol yolu programlamasını veri yolu yürütmesinden ayırıyor; yazılıma yerel bellekler, DMA motorları, hesaplama motorları ve ağ genelinde veri yerleşimi, hareketi, dönüştürme ve eşzamanlama üzerinde açık kontrol veriyor. Maia 300, mimariyi üç şekilde çözümleme ağırlıklı, uzun bağlamlı işlere uyarlıyor: bellek, düzgün (UMA) yapılanmadan chiplet'ler arası yerellik duyarlı düzgün olmayan (NUMA) yapılanmaya geçiyor; yeni dar hassasiyet formatları donanım hızlandırmalı tip dönüşümü kazanıyor; ve scale-up alanı ciddi biçimde büyüyor.

Chiplet'ler ve bant genişliği ağırlıklı bir bellek hiyerarşisi

Maia 300 çoklu chiplet'li bir paket. Hesaplama birimi, Microsoft'a göre watt başına en iyi performansı sunan TSMC'nin N2P düğümünde; bellek denetleyicisi ve I/O işlevleri ise bant genişliği, bağlanabilirlik ve maliyet için seçilmiş ayrı die'lara taşınıyor. Microsoft, Maia 200 ile karşılaştırıldığında bu ayrışmanın yüzde 36 daha fazla hesaplama FLOP'u, 2,5 kat HBM bant genişliği ve yüzde 14 daha fazla scale-up bant genişliği sağladığını iddia ediyor. Her hızlandırıcı, yazılımla yönetilen on-die SRAM'i sekiz HBM4 yığınıyla eşleştiriyor — çip başına 288 GB kapasite ve 18 TB/s bant genişliği — bu da önceki nesle kıyasla yüzde 33 daha fazla kapasite ve watt başına kabaca iki kat HBM bant genişliği demek. Hassasiyet tarafında Maia 300, geliştirilmiş MXFP4 ve 3 bit altı depolama formatlarını getiriyor; ayak izini küçülterek daha büyük modellerin, daha uzun bağlamların ve daha fazla eşzamanlı oturumun aynı güç bütçesi içine sığmasını sağlıyor. Vektör motoru da softmax ve düşük hassasiyetli veri dönüştürme gibi çıkarım çekirdekleri için ISA düzeyinde iyileştirmeler kazanıyor.

Tray'den superpod'a tek Ethernet yapısı

Rack, 96 hızlandırıcıya iki katına çıkıyor ve 128 rack, Ethernet üzerinde kurulmuş özel bir yapay zeka taşıma protokolü çalıştıran iki katmanlı bir ağ ile 12.288'e kadar hızlandırıcılı bir superpod oluşturuyor. Rack içinde, yarı anahtarlamalı (half-switched) bir topoloji bir tray içindeki hızlandırıcı çiftlerini doğrudan bağlarken elektrikli anahtarlamalı bir yapı rack'in tamamını bir pod'a bağlıyor; ikinci bir optik anahtar katmanı rack'ler arası erişim sağlıyor. Microsoft, yazılıma tek bir iletişim modeli sunuyor: herhangi bir hızlandırıcı, host CPU'ya veya ayrı bir scale-out NIC'e gerek duymadan, aynı semantiklerle superpod'daki herhangi bir hızlandırıcıya aktarım başlatabiliyor.

Yapı üç gecikme alanı tanımlıyor — doğrudan bağlı çiftler, bir pod içinde tek anahtar sekmesi (hop) ve pod'lar arası üç sekme — böylece gecikmeye duyarlı tensor-paralel trafiği en düşük gecikmeli alanlarda kalabiliyor. Özellikle, rack içi ve rack'ler arası bant genişliği ayrımı tasarım zamanında sabitlenmiyor; iş yerleşimiyle (job packing) belirlenen bir runtime parametresine dönüşüyor. Microsoft, yalnızca bir çip alt kümesi rack'ler arası geçtiğinde bir hızlandırıcının herhangi bir eşe 750 GB/s'e kadar bant genişliği sunabildiğini söylüyor. İşler rack sınırlarını da aşabiliyor — 64 hızlandırıcılı bir iş, dört rack'e yayılmış dört 16 hızlandırıcılı parça (shard) halinde çalışabiliyor — bu da atıl kapasiteyi azaltıyor. Prefill ve decode işçi süreçleri bağımsız boyutlandırılıp yerleştirilebiliyor; KV durumu, host aracılı bir yol yerine doğrudan scale-up yapısı üzerinden aktarılıyor.

Neden önemli

Maia 300, hyperscaler'ların artık özel silikonu eğitim değil çıkarım etrafında tasarladığının ve bağlayıcı kısıtların ham FLOP değil; bellek bant genişliği, veri hareketi ve güç olduğunun bir kanıtı daha. Chiplet'ler arası NUMA düzeni, yazılımla yönetilen veri akışı ve 3 bit altı formatlar, bir veri merkezinin sabit güç ve soğutma bütçesi içinde titiz veri yerleşiminin kaba kuvvet hesaplamayı yendiğine dair bir iddia. Birleşik Ethernet tabanlı yapı aynı zamanda tescilli bağlantı ara birimlerine karşı rekabetçi bir mesaj; standart ağın scale-up bölgesine kadar genişletildiğini gösteriyor. Operatörler ve Copilot, GitHub Copilot ile Microsoft Foundry'nin — Microsoft'un tasarımı şekillendirdiğini söylediği iş yüklerinin — ardındaki ekonomiyi izleyen herkes için bu yazı, bulut yapay zeka kapasitesinin gerçekte nasıl mühendislikle inşa edildiğine dair nadir, nicelleştirilmiş bir bakış sunuyor.