· kaynak dev.to (home feed)
SiMa.ai Palette 3.0 ile Modalix edge çipleri aynı anda birden fazla AI modeli ve container çalıştırabiliyor
SiMa.ai'nin Palette 3.0 yazılım güncellemesi, tek bir Modalix edge AI çipinin aynı anda birkaç model ve Docker container çalıştırmasını sağlıyor; şirketin verilerine göre token üretiminde 3,5 kata kadar hızlanma sağlanıyor.
SiMa.ai, Modalix edge AI işlemcileri için Palette 3.0 adlı yazılım güncellemesini yayımladı; bu güncelleme, tek bir çipin tek amaçlı bir hızlandırıcı olmak yerine aynı anda birkaç AI iş yükünü yürütebilmesini hedefliyor. dev.to'nun aktardığı şirket duyurusuna göre sürüm, GPT-OSS-20B dahil olmak üzere dil, görüntü ve görüntü-dil modellerini eşzamanlı çalıştırıyor ve robotlar, dronlar, endüstriyel kameralar ile otonom araçlar gibi sistemleri hedefliyor.
Tek hızlandırıcı, çok sayıda iş yükü
Palette 3.0, birden fazla modelin ve Docker container'ının aynı Modalix hızlandırıcı kaynaklarını kullanmasına izin veriyor; uygulamalar farklı öncelik seviyelerine atanabiliyor ve ayrı donanım motorları paralel çalışıyor. SiMa.ai, bir dil modelinin üç görüntü-dil modeliyle birlikte çalıştığını, ayrıca nesne tespiti ve 3D poz tahmini gibi işleri yürüten altı Docker container'ın bulunduğu bir gösterim yaptı. Şirket ayrıca tek bir Modalix çipinin, toplamda saniyede 600 kare hızla 60 eşzamanlı 720p nesne tespiti akışını sürdürebildiğini bildirdi — onlarca kameranın kesintisiz çalıştığı ve ek sunucuların maliyet, alan ve güç tüketimini artıracağı yerlerde önemli bir yoğunluk bu.
Sistem tasarımcıları için pratik değişiklik, birleştirme. Her AI işlevine ayrı bir işlemci tahsis etmek yerine tek bir çip, koşullar değiştikçe öncelikleri ayarlanarak birkaç servise bölünebiliyor. SiMa.ai'nin topluluk duyurusuna göre mevcut Modalix müşterileri uygulamalarını yeniden derleyerek güncellemeyi benimseyebiliyor; bu da sahada bulunan donanımın fiziksel olarak değiştirilmeden yeni işlevler kazanabileceği anlamına geliyor — geniş tesislere dağılmış robot veya kamera filoları için önemli bir nokta.
Benchmark rakamları birtakım uyarılarla geliyor
En dikkat çekici rakam olan 3,5 kata kadar daha hızlı token üretimi, küçük bir modelin taslak token'lar üretip daha büyük bir modelin bunları doğruladığı bir teknik olan spekülatif kod çözme (speculative decoding) sonucu. SiMa.ai'nin Modalix donanımında EAGLE3, DFlash ve Gemma 4 MTP yaklaşımlarını inceleyen teknik raporu, geleneksel kod çözmeye kıyasla 2,21 ile 3,49 kat arasında token üretim kazancı, ayrıca 2,06 kata kadar daha hızlı eyleme dönüştürülebilir yanıt ve istek başına %51 daha düşük işlem enerjisi bildirdi.
dev.to'nun belirttiği gibi, en üst uçtaki sonuç, olumlu koşullar altında tek bir modelde şirketin kendi testlerini yansıtıyor. Daha ürüne benzer bir değerlendirme olan 900 isteklik otomotiv asistanı iş yükü ise daha dar bir aralık olan 1,35 ile 2,06 kat daha hızlı yanıt süreleri ortaya koydu. The Next Web'den Darius Popa da aynı ayrımı yaptı ve bağımsız bir benchmark ya da üçüncü taraf değerlendirme henüz yayımlanmış değil. Enerji rakamları da yalnızca çip hesaplamasını kapsıyor; motorlar, sensörler, soğutma ve ağ bağlantısı fiziksel bir makinenin toplam güç bütçesüne hâkim olabilir, yine de daha düşük hızlandırıcı enerjisi pil ömrünü uzatabilir veya termal pay açabilir.
Araçlar ve maliyet
Sürüm ayrıca Model Browser'ı yükselterek throughput, gecikme, güç, bellek ve tek tek model katmanlarına ilişkin ölçümleri görünür kılıyor. Fiziksel AI sistemleri kuran mühendisler sürekli olarak yanıt süresini güç tüketimi ve akış sayısıyla dengelediğinden — ki bu hedefler çoğu zaman çelişir — bu görünürlük ham hız kadar değerli olabilir. Örneğin bir geliştirici, engel tespiti için küçük ve hızlı bir modeli daha ağır bir dil asistanıyla eşleştirebilir ve bu dengelemeleri gösteren araçlar tahmin yürütmeyi azaltır. Ticari tarafta VentureBeat, ABD ve Avrupa'da 1.499 dolarlık bir geliştirici kiti bulunduğunu, üretim fiyatlarının ise açıklanmadığını bildirdi.
Neden önemli
Edge sistemleri dar bellek, enerji ve termal kısıtlar altında yaşar ve öngörülebilir zamanlamaya ihtiyaç duyar — bir veri merkezinde iyi performans gösteren bir model, bir dronun içinde veya hareketli makinelerin yanında fazla güç tüketen ya da çok yavaş olabilir. Orkestrasyon yazılımı gerçekten tek bir çipin algılama, akıl yürütme ve konuşmayı aynı anda yürütebilmesini sağlarsa şirketler donanım sayısını azaltabilir, kurulu ekipmanın ömrünü uzatabilir ve bulut bağlantısına bağımlı kalmadan daha fazla zekâyı yerel olarak çalıştırabilir. Açık sorular tanıtımsal değil operasyonel: her iş yükü meşgulken performansın nasıl dayandığı, düşük öncelikli isteklerin ne kadar hızlı karşılandığı ve zamana duyarlı bir kontrol döngüsünün sohbet yanıtıyla aynı gecikmeye katlanıp katlanamayacağı. Bu yanıtlar laboratuvar gösterimlerinden değil, uzun süreli dağıtımlardan gelecek.
- #edge-ai
- #ai-chips
- #docker
- #embedded-systems
- #robotics
İlgili yazılar
- Jetson üzerinde NVIDIA Cosmos 3 Edge: action chunk'lar, cihaz içi robot kontrolü ve yüzde 22,9'luk bir benchmark uyarısı
- Nvidia Çin'de H200 çiplerini satmayı bırakıyor, ABD ihracat yasağındaki boşluk kapanıyor
- Nvidia 115,8 milyar dolarlık rekor çeyrek açıkladı; yönetim kurulu SEC soruşturması sürerken Huang'ın dönüşünü reddetti