Apple'ın Minions sistemi, boşta duran Apple Silicon Mac'leri dağıtık bir GPU inference bulutuna dönüştürüyor

Apple'ın makine öğrenmesi araştırma ekibi, Minions adlı bir sistemi tanımlayan bir makale yayımladı; bu sistem, başka türlü boşta duran Apple Silicon Mac'lerin GPU'larını, büyük ölçekli makine öğrenmesi inference işlemleri için dinamik, dağıtık bir sanal GPU bulutunda birleştiriyor. Jianhua Li, Yun Xing, Girisha De Silva, Ryan Flint, Kai Yuan ve Sean Suchter tarafından yazılan makale, Apple'ın makine öğrenmesi araştırma sitesinde yayınlanmasının ardından Hacker News'in ana sayfasına ulaşıp geniş ilgi gördü.

Masaüstü Mac'lerden oluşturulan bir bulut

Makaleye göre Minions, macOS cihazlarına yerleşik GPU'ları birleştiriyor ve bunları büyük ölçekte inference iş yüklerini çalıştırmak için paylaşılan bir kaynak olarak ele alıyor. Yazarlar tasarımın merkezinde üç özelliği tanımlıyor: inference görevlerinin esnek yürütülmesi, hata toleransı ve toplanan donanımın verimli kullanımı.

Temeldeki varsayım basit. Modern Apple Silicon Mac'ler güçlü GPU'lara sahip, ancak bu GPU'lar normal günlük kullanım sırasında büyük ölçüde boşta duruyor. Bu hesaplama gücünün boşa gitmesine izin vermek yerine Minions, bir ekibin zaten sahip olduğu cihazları ek GPU satın alımı gerektirmeden bir inference platformuna dönüştürüyor.

Hata toleransı burada bir lüks değil bir gereklilik: düğümleri bireysel Mac'lerden oluşan bir bulut, makinelerin her an çevrimdışı kalmasıyla başa çıkmak zorunda ve makale, sistemin bu koşullar altında bile pratik kalmasını sağladığını ortaya koyuyor.

Neden sadece daha fazla veri merkezi GPU'su satın almıyorsunuz

Makalede belirtilen motivasyon, merkezi GPU altyapısındaki baskı; yazarlar bunu pahalı, elastik ölçeklenmesi zor ve talep arzı aştığında uzun bekleme sürelerine yatkın olarak nitelendiriyor. Deneyimlerine göre boşta duran macOS cihazlarının, tam da merkezi kaynakların yetersiz kaldığı ortamlarda işler bir dağıtık inference platformu olarak hizmet edebildiğini bildiriyorlar — Minions'ı veri merkezinin toptan bir ikamesi değil, GPU kıtlığına karşı bir sigorta olarak konumlandırıyorlar.

Apple'ın inference çabasının bir ipliği

Araştırma sayfası Minions'ı ilgili Apple girişimleriyle birlikte konumlandırıyor. Bunlardan biri, geliştiricilerin ve araştırmacıların büyük dil modellerini kendi donanımlarında yerel olarak ve gizlilikle çalıştırıp deneyelerini sağlayan, Apple'ın Apple Silicon için makine öğrenmesi çerçevesi olan MLX. Bir başka çalışma hattı ise üretim dağıtımlarında baskın olan NVIDIA GPU'larında daha hızlı inference hedefliyor; bu GPU'larda otoregresif token üretimi, LLM servis sunumunu hesaplama açısından pahalı hale getiriyor. Minions bu yörüngeyi tekil cihazları hızlandırmaktan, aynı anda pek çoğunu koordine etmeye doğru uzatıyor.

Neden önemli

Bugün büyük ölçekli yapay zeka inference işlemlerinin neredeyse tamamı veri merkezi GPU'larından oluşan merkezi kümelerde çalışıyor ve bu donanım için rekabet kapasiteyi sıkı tutuyor. Apple'ın makalesi bir alternatif çiziyor: bir kurumun mevcut masaüstü filosunu gizil bir altyapı olarak ele almak ve onu orkestre etmek.

Sonucu dikkat çekici kılan iki şey var. Birincisi, bu, yeterli sayıda makinede birleştirilen tüketici sınıfı Apple Silicon'ın ciddi makine öğrenmesi iş yüklerini üstlenebileceğinin işler bir kanıtı — ve Apple'ın kendi iç ML altyapısında kendi silikonuna yaslanmaya istekli olduğuna dair bir sinyal. İkincisi, inference'ı eğitim değil, toplanmış dağıtık kapasiteye en uygun iş yükü olarak çerçeveliyor; çünkü model servis sunumu, makinelerin gelip gitmesinin yarattığı titreşime uzun bir eğitim koşusunun katlanamayacağı bir şekilde katlanabiliyor. Yazarların çerçevesi bilinçli olarak mütevazı, ama boşta Mac'lerle dolu herhangi bir kurum için mesaj şu: anlamlı bir hesaplama gücü belki de hâlihazırda insanların masalarında duruyor.