Samsung'ın LPDDR5X-PIM'i, Hot Chips 2026'da DRAM bankalarına AI hesaplaması gömüyor

Samsung ne sundu

Hot Chips 2026'da Samsung, MAC (çarpma-toplama) birimlerini doğrudan LPDDR5X DRAM çiplerinin içine gömen bir tasarım olan processing-in-memory (PIM) alanındaki çalışmalarını sürdürdü. Chips and Cheese'nin aktardığına göre bu yaklaşım, aynı anda iki köklü darboğaza saldırıyor: Bir bellek yongasının içine yerleştirilen hesaplama birimi, çok daha yüksek iç bant genişliğinden yararlanabiliyor ve bellek ile geleneksel çekirdekler arasındaki yavaş gidiş-dönüşü de devre dışı bırakıyor.

Bant genişliği gerekçesi

Normal bir DRAM erişimi, çipin harici arayüzüyle sınırlıdır. Bir memory controller tüm bankları aynı anda aktive etse bile, hepsinde mevcut bant genişliğini tüketemez. Samsung'un LPDDR5X-PIM'i özünde 16 bankalı standart bir LPDDR5X-9600 parçasıdır; ancak her banka, harici veri yolunu kullanmadan veri okuyan kendi PIM bloğuna sahiptir. Chips and Cheese'nin aktardığı rakamlara göre bloklar toplu olarak 614 GB/s iç bant genişliğini kullanabilirken, en fazla iki bankaya paralel olarak dokunan normal DRAM erişimleri 76,8 GB/s ile sınırlı kalıyor.

Bir PIM bloğunun içinde

Her PIM bloğu, register file'lar ve kontrol mantığıyla çevrili bir MAC ağacıdır. 1024 bitlik bir komut register file'ı en fazla 64 adet 16 bitlik komut tutar; 4 kbitlik bir kaynak register file'ı ise aktivasyon vektörlerini saklayarak MAC dizisine bir operand sağlar. İkinci operand, yazılımın model ağırlıklarını DRAM'a yüklediği varsayımını yansıtan bağlı DRAM bankasından gelir. 2 bitlik değil, 2 kbitlik bir scale register'ı, hesaplamadan önce ağırlıkları ölçeklemek için çarpanları sağlar.

MAC dizisi düşük hassasiyetli AI formatlarını hedefliyor. Samsung'un sunumundaki rakamlar, blok başına veri saatinde dört INT8 veya FP8 MAC olduğunu, 4 bitlik girdi ağırlıklarında verimin iki katına çıktığını ve paket geneli toplamın 2,4 TOPS olduğunu gösteriyor. Bu tek başına mütevazı bir rakam; ancak Chips and Cheese, sekiz çipin 128 GB bellek bedeliyle 9,6 INT8 TOPS'a ulaşabileceğine — kabaca Intel'in Meteor Lake'indeki NPU ile aynı seviyeye — dikkat çekiyor.

Ayrılmış satırlarla uyumluluk

Tasarımın en ilginç özelliği, bellek standardının hiç tanımlamadığı davranışlar eklerken çipi standart LPDDR5X protokolünün içinde tutması. Samsung, MMIO adreslerine benzer şekilde çalışan özel satır adresleri ayırıyor. Kanal başına önceden tanımlanmış bir satır çifti, çipi normal işleyiş olan tek banka modu ile komutları 16 bankanın tümüne yayan çoklu banka modu arasında geçiştiriyor. Banka başına ek satırlar ise okuma ve yazma komutlarının DRAM içeriği yerine PIM register'larını hedeflemesini sağlıyor.

Hedeflenen iş akışı şöyle: Ağırlıklar tek banka modunda DRAM'a yüklenir, PIM register'ları etkinleştirilerek çoklu banka moduna geçilir, ardından aktivasyon değerleri, ölçek çarpanları ve komutlar yazılır — her yazma işlemi aynı anda 16 bankanın tümüne yayılır. Bu yayın önemli, çünkü bir DRAM paketi yalnızca 256 bittir; dolayısıyla bir kaynak register'ı doldurmak 16 yazma komutu gerektirir ve bunu 16 banka için banka banka yapmak, ana taraftaki register yazımlarını darboğaza çevirirdi. Sonraki okuma komutları hesaplamayı tetikler ve sonuçları PIM vektör register file'larında biriktirir; yazma komutları ise sonuçları DRAM'a geri yazar. Bir Address Align Mode, her komutun kaynak register indeksini sütun adresinden çıkarmasını sağladığı için memory controller erişimleri yeniden sıraladığında hesaplama yine de çalışır. Sonuçlar, tek banka moduna geri dönülerek alınır. Samsung, standart LPDDR5X'e kıyasla önemli iç performans kazançları bildirdi.

Yazılım sorunu

Aynı mekanizma, mimarinin en dik engelini de yaratıyor. PIM modları DRAM komutlarının anlamını yeniden tanımladığı için bir sistem PIM hesaplamasını ve sıradan bellek trafiğini aynı anda çalıştıramaz — memory controller'lar ve DRAM çipleri bir erişimin hangi thread'e ait olduğunu bilmediğinden, thread'ler arasında bile çalıştıramaz. PIM dışı bir thread'den gelecek plansız bir okuma, istenmeyen hesaplama tetikleyip sonuçları bozabilir; plansız bir yazma, vektör register verisini yanlış adrese gönderebilir.

Samsung'un yanıtı, bellekte bir PIM bölgesini yalıtmak; ancak Chips and Cheese bunu yapmanın ucuz bir yolunu görmüyor: Kanalların tamamını yalnızca-PIM olarak ayırmak, adres interleave'ını bozar, normal uygulamalar için bant genişliğini düşürürken PIM kodu da kalan kanalların hesaplama gücünü kaybeder. Üstüne ayrıca kilitleme ve işletim sistemi düzeyinde koordinasyon sorunları kalacaktır.

Neden önemli

Bellek duvarı, AI çıkarımını sınırlayan belirleyici kısıt ve Samsung, hesaplamayı standart arayüzlerden vazgeçmeden doğrudan bellek çipinin içine taşıyabileceğini gösteriyor — ticari benimsenme yolunu kısaltabilecek gerçek bir mühendislik başarısı. Paket başına ham hesaplama gücü mütevazı ve programlama modeli çok görevli sistemlere düşmanca; dolayısıyla PIM'ın NPU'ları veya GPU'ları yakın zamanda yerinden etmesi muhtemel değil. Ama konvansiyonel mimarilerin DRAM içinde çıkmaza soktuğu bant genişliğini geri kazanmanın bir yolu olarak LPDDR5X-PIM, şimdiye kadarki daha inandırıcı girişimlerden biri; Samsung'un yazılım engellerini nasıl çözeceği, bellek içi hesaplamanın laboratuvardan çıkıp çıkmayacağını belirleyecek.