DeepX, DX-M2'yi Samsung PIM ile tape-out etti: 5 W altında 100 milyar parametreli çıkarım iddiası

DeepX ne duyurdu

Güney Kore merkezli girişim DeepX, ikinci nesil yapay zeka hızlandırıcısı DX-M2'yi tape-out etti ve çipin, 5 W'dan az güç çekerken 100 milyar parametreye kadar modellerde çıkarım çalıştırabileceğini söylüyor. Kurucu ve CEO Lokwon Kim ile görüşen EE Times'a göre, tasarım DeepX'e Samsung'un özel processor-in-memory (PIM) teknolojisine erişim sağlıyor. Hedef, termal ve batarya kısıtlamaları sıkı olan robotlar, dronlar ve diğer donanımlarda üretken yapay zeka.

Şirketin ilk çipi olan DX-M1 görü iş yüklerine odaklanıyor ve halihazırda seri üretimde; DeepX, dron, robotik, akıllı fabrika, gözetim, sağlık ve IoT alanlarındaki müşterilerden 100'den fazla satın alma siparişi alındığını bildiriyor.

DX-M2'nin içi

EE Times'ın haberine göre DX-M2, 20 milyar ile 100 milyar parametre arası modellere — kabaca 3 milyar ile 20 milyar aktif parametre — model bazında saniyede 10 ila 30 token hızla hizmet vermek üzere tasarlandı; tüm bunlar M1 ile aynı 5 W güç bütçesi içinde.

Kim, EE Times'a verdiği demeçte en büyük değişikliğin bellek bant genişliği olduğunu söyledi; bant genişliği 50 GB/s'den 150 GB/s'ye, yani üçe katlandı. DeepX ayrıca tasarım iyileştirmelerinin NPU'nun güç verimliliğini ikiye katladığını, 2 nm süreç düğümüne geçilmesinin bunu tekrar ikiye katlayarak çipi 80 TOPS'a taşıdığını belirtiyor. M2, büyük mixture-of-experts modellerinin yanı sıra speculative decoding ve TurboQuant gibi yeni teknikleri de destekliyor.

Processor-in-memory boyutu

LLM çıkarımının büyük bölümü, ağırlıkların bellek ile işlemci arasında taşınmasında darboğaza giriyor — özellikle rastgele bellek erişimine bağlı olan genel matris-vektör çarpımında (GEMV). PIM, bu bellek bağımlı işlemleri bellek çipinin içinde çalıştırarak soruna saldırıyor; etkin bant genişliğini artırıp erişim gecikmesini azaltıyor. PIM'in LPDDR6 ile JEDEC standardı olması bekleniyor; ancak DeepX, DX-M2'yi Samsung'un LPDDR5x-PIM'iyle entegre etmek için Samsung Memory ile bir buçuk yıl çalıştığını ve şirket içi testler için numuneleri çoktan aldığını söylüyor.

DeepX'in simülasyonları, GEMV'nin PIM belleğine taşınmasının, DX-M2'nin tek başına çalışmasına kıyasla Llama 3.1-8B'de saniye başına token sayısını 6,7 kat artırdığını gösteriyor. Kim bu kombinasyonu "optimuma yakın" olarak tanımladı ve halefi DX-M3'ün resmi LPDDR6 PIM standardını benimseyeceğini, bu标准nda şirketin teorik olarak 5 ila 8 kat kazanım beklediğini söyledi.

Compiler çalışması ve ödünleşimler

Kazanımlar bedava gelmiyor. Kim, 6,7 katlık hızlanmanın genel güç tüketimini 2,7 kat artırdığına dikkat çekti; yine de DeepX, aynı güç bütçesinde PIM kullanmayan çalışmaya kıyasla 2 kat kazanç sağlayabileceğine inanıyor. Bu modun desteklenmesi, Kim'in "önemli ölçüde elle çaba" diye nitelendirdiği compiler işi gerektiriyor: bir prototip compiler şu anda PIM etkin belleğin simülasyonuna karşı çalışıyor ve araç zincirinin fiziksel donanımda doğrulanabilmesi için donanım modülleri inşa ediliyor.

Ekosistem ve müşteriler

DeepX'in stratejik pazarlama direktörü Tim Park, EE Times'a şu anda Nvidia'nın Thor platformunda prototip geliştiren robotik firmalarının daha düşük güçle daha fazla cihaz içi işlem gücü istediğini, otomotiv müşterilerinin ise araç içi ajanları çalıştırmak için düşük güçlü bir çip aradığını söyledi. Nvidia'nın Isaac robotik yığınından geçişi kolaylaştırmak için DeepX kendi eşdeğerini sunuyor: Newton. Müşteriler API çağrılarını Isaac'ten Newton'a değiştirip aynı pipeline'ı çalıştırıyor; 17 uyumlu kütüphane mevcut. Kim, bir geçişin bir saniyenin altında sürebileceğini ve müşterilerin Nvidia donanımından ayrıldıktan sonra kabaca 20 kat daha uzun batarya ömrü elde ettiğini iddia ediyor.

DeepX ayrıca Tayvanlı OEM'lerle yapay zeka PC'leri, Samsung ile yeni nesil bir akıllı hub üzerinde çalışıyor ve Greengrass üzerinden uzaktan model güncellemelerini desteklemek için AWS IoT ekosistemine katıldı. Diğer iş birlikleri arasında DeepX SDK ile Intel'in OpenVINO'sunun entegrasyonu, Kria referans kartına dayalı bir robotik platform hakkında AMD ile görüşmeler ve Raspberry Pi ile Baidu PaddlePaddle ekosistemlerine katılım yer alıyor. Hyundai Motor Group'un robotik laboratuvarı halihazırda DX-M1 kullanıyor; Kim, Japonya humanoid robotlarda önemli bir pazar olarak öne çıkarken 10'dan fazla önde gelen Japon şirketinin çipleri değerlendirdiğini söyledi.

Neden önemli

5 W'ın altında 100 milyar parametreli bir modeli çalıştırmak, uç yapay zeka için önemli bir sıçrama olurdu: bugün bu sınıftaki modeller genellikle veri merkezi sınıfı donanım gerektirirken, uç cihazlar çok daha küçük ağları yönetiyor. DeepX'in rakamları fiziksel silikon üzerinde tutarsa — 6,7 katlık PIM kazancı dahil birçoğu simülasyondan geliyor — robotlar, dronlar ve araçlar büyük modelleri yerel olarak, anında sensör erişimiyle ve bağlantıya bağımlı olmadan çalıştırabilir. Samsung ortaklığı daha geniş bir değişime de işaret ediyor: PIM LPDDR6'da JEDEC standartlaşmasına doğru ilerlerken, bellek içinde hesaplama bir satıcıya özgü bir numaradan ana akım bir yapı taşına dönüşebilir. Ve Nvidia'nın Isaac yığınından düşük sürtünmeli bir çıkış yolu sunarak DeepX, doğrudan mevcut oyuncunun fiziksel yapay zekadaki kilitlenmesine nişan alıyor.