Apple'ın MLX'i, 816 milyar parametreli Muse Spark Open modelini Mac Studio kümelerinde saniyede 36+ token hızla çalıştırıyor

Apple ne yayınladı

Apple'ın makine öğrenmesi araştırma ekibi, yeni yayınlanan 816 milyar parametreli Muse Spark Open modelinin, şirketin Apple silicon için açık kaynaklı dizi (array) framework'ü olan MLX'in en yeni sürümü kullanılarak tamamen masaüstü donanımda nasıl çalıştırılacağını anlattı. Paylaşıma göre, dört Mac Studio'dan oluşan bir küme, modeli 8.192 token'lık bağlam (context) boyutuyla saniyede 36'dan fazla token üretiyor — bu hız çoğu insanın okuma hızından daha yüksek.

Önerilen şey gizlilik ve sahiplik: MLX, Apple silicon'ın unified memory mimarisinden yararlanarak araştırmacıların ve geliştiricilerin yeni inference ve fine-tuning tekniklerini, verilerini bir hosted API'ye göndermek yerine kendi kontrolündeki donanımda test edebilmesini sağlıyor.

Tek bir makineye ne sığıyor

Tek bir Mac Studio, 512GB'a kadar unified memory ile yapılandırılabiliyor. Apple, iki yoğun açık ağırlıklı modeli — Qwen 3.8 (27B, BF16) ve Mistral Medium 3.5 (128B, FP8) — kıyasladı ve bu modellerin 65.536 token'lık bağlamla çalışırken sırasıyla 68GB ve 158GB yer kapladığını, yani tek bir makineye rahatça sığdığını bildiriyor.

Muse Spark Open ise farklı bir vaka. Toplam 816 milyar parametreli ama inference sırasında yalnızca 42B parametresi aktif olan bir mixture-of-experts modeli. Doğal BF16 hassasiyetinde yalnızca ağırlıklar 1,6TB'dan fazla bellek gerektiriyor; 4-bit NVFP4'e quantize edildiğinde ayak izi yaklaşık 493GB'a düşüyor, ancak bu bile tek bir makinede inference için gereken ek belleğe yer bırakmıyor.

Thunderbolt üzerinden RDMA ile ölçekleme

Tek makine sınırını aşmak için yeni MLX sürümü (v0.30.1 ve sonrası), macOS 26.2 ile gelen düşük gecikmeli RDMA sürücüsü üzerine kurulu, Thunderbolt 5 üzerinden çalışan dağıtık destek ekliyor. Apple'ın kurulumu bağlantı bant genişliğini ikiye katlamak için makineleri iki Thunderbolt kablosuyla bağlıyor; framework ayrıca "jackal" diye okunan jaccl adlı yeni bir communication collectives kümesinin yanı sıra, işleri bir host listesi üzerinde başlatan mlx.launch yardımcı aracını da içeriyor.

İki paralelleştirme şeması destekleniyor. Pipeline parallelism modeli derinliğe göre bölüyor: bir Mac katmanların ilk yarısını işleyip çıktısını bir sonrakine aktarıyor — Apple bu yaklaşımın yalnızca minimal kod değişikliği gerektirdiğini söylüyor. Tensor parallelism ise modeli genişliğe göre bölüyor. Öne çıkan throughput rakamı, dört Mac Studio arasında tensor parallelism'den geliyor; yazıdaki grafiklerde pipeline ve iki makineli tensor sonuçları da yer alıyor.

M5 Ultra ve M3 Ultra karşılaştırması

Yazıda en yeni M5 Ultra Mac Studio, önceki M3 Ultra nesliyle karşılaştırılıyor. İlk token süresi compute-bound olduğundan, M5 Ultra'nın GPU Neural Accelerator'ları — özel matris çarpım donanımı — ilk token sürelerinde 4,6 kata kadar hız sunuyor. Üretim hızı ise bellek bant genişliğine bağlı: M5 Ultra, M3 Ultra'daki 819 GB/s'ye karşılık 1,2 TB/s unified memory bant genişliği sunuyor ve bu, 1,6 kat daha hızlı decoding anlamına geliyor.

Apple'ın ölçümlerine göre güç tüketimi makul kalıyor: M3 Ultra makinede yaklaşık 200W, M5 Ultra'da ise 300W tepe tüketim — şirketin sıradan bir ev tuştosuyla karşılaştırdığı rakamlar. Apple'a göre bu güç aralığı, donanımı evlerde ve ofislerdeki günlük yapay zeka çalışmaları için pratik kılıyor.

Ekip ayrıca, sık sık çok büyük bağlamlara ihtiyaç duyan agentic coding uygulamalarının popüler bir yerel iş yükü olduğunu, sonuçların bu yüzden hem 8.192 hem de 65.536 token'lık bağlam boyutlarında raporlandığını belirtiyor. Tüm ölçümler, MLX LM paketindeki mlx_lm.benchmark aracıyla üretildi.

Neden önemli

Ölçeğin sınırındaki bir modeli çalıştırmak çoğunlukla veri merkezi GPU'ları kiralamak ve prompt'ları başkasının sunucularına göndermek anlamına geliyordu. Apple'ın yazısı, bir mixture-of-experts mimarisi, 4-bit quantization ve Thunderbolt 5 gibi ekonomik bir bağlantı ile neredeyse bir trilyon parametreli bir modelin tamamen açık kaynaklı bir yığın altında masaüstü donanımda çalıştırılabildiğinin çalışan bir kanıtı. Geliştiriciler için bu, agentic ve büyük bağlamlı iş yüklerinin tamamen özel kalabileceği ve düğüm başına birkaç yüz watt'lık öngörülebilir bir güç maliyetiyle çalışacağı anlamına geliyor. Aynı zamanda stratejik bir sinyal: Apple, Apple silicon'ı yalnızca cloud API'ler için bir istemci rather than ciddi bir yerel yapay zeka deney platformu konumuna getirmek için çevresindeki yazılıma — OS düzeyinde RDMA sürücüleri, küme iletişim kütüphaneleri ve çok düğümlü başlatma araçlarına — yatırım yapıyor.