Apple'ın Harbor adında, kümelenmiş yerel yapay zeka çıkarımı için bir Mac uygulaması geliştirdiği iddia ediliyor

Sızıntı, yerel yapay zeka için yeni bir Apple aracına işaret ediyor

9to5Mac'de yer alan habere göre Apple, Harbor adlı bir Mac uygulaması üzerinde çalışıyor; bu uygulama açık ağırlıklı yapay zeka modellerini doğrudan Apple silicon üzerinde çalıştıracak. Habere dayanak oluşturan sızıntıcı Aaron Perris, yazılımı bir Mac'i özel bir inference sunucusuna dönüştürmenin bir yolu olarak tanımlıyor; bu sunucuda prompt'lar ve veriler makinede kalıyor, hiçbir şey buluta gönderilmiyor.

Harbor'ın reportedly ne yaptığı

9to5Mac aracılığıyla aktarılan Perris'in tanımı üç temel yeteneği ortaya koyuyor:

• Basit kurulum: Harbor, Thunderbolt 5 destekli diğer Mac'leri otomatik olarak tespit edip bir küme halinde birleştirecek; manuel yapılandırma, komut satırı çalışması veya altyapı uzmanlığı gerektirmeyecek.

• Yerleşik model yönetimi: kullanıcılar, model dosyalarıyla harici araçlar uğraşmak yerine uygulama içinde açık ağırlıklı modellere göz atabilecek, indirebilecek ve yükleyebilecek.

• Ölçek için kümeleme: iki veya daha fazla Mac bağlandığında Harbor, bunların birleşik belleklerini tek bir inference kaynağında birleştirerek kümenin tek bir makinenin barındıramayacağı kadar büyük modelleri çalıştırmasını veya aynı anda daha fazla isteğe hizmet etmesini sağlayacak.

Thunderbolt 5 detayı sızıntının en çarpıcı kısmı. Tarif edildiği gibi çalışırsa, iki Mac mini ya da bir Mac Studio rafı, tipik ayrık GPU'lara kıyasla oldukça geniş birleşik bellek havuzlarına dayanarak tek bir daha büyük inference makinesi gibi davranabilir.

Nereden geliyor

Harbor şu anda özel bir önizlemede ve ana Apple adı yerine Apple'ın Claris markası altında geliştiriliyor, diye bildiriyor 9to5Mac. Yayın, önümüzdeki haftalarda veya aylarda halka açık bir sürüm bekliyor; ancak ne Apple ne de Claris herhangi bir duyuru yapmadı ve detaylar tek bir sızıntıcının anlatımına dayanıyor.

Daha geniş Mac tablosu

9to5Mac, uygulamayı Mac'in daha popüler hale geldiği bir yılın bağlamına oturtuyor; bu büyüme kısmen daha uygun fiyatlı makinelerden, kısmen de Mac Studio ve Mac mini gibi donanımlarda yapay zeka modellerini yerel olarak çalıştırma talebinden kaynaklandı. Harbor, bu kullanım senaryosunu birinci taraf bir araçla resmileştirecek ve kullanıcıları topluluk projelerine ile komut satırı araçlarına mahkum bırakmayacak.

Neden önemli

Yerel inference büyük ölçüde açık kaynak araçların alanı oldu; Apple temel çerçeveler ve API'ler sağladı ama keyfi açık ağırlıklı modelleri çalıştırmak için tüketiciye yönelik yazılım pek sunmadı. Yerel bir uygulama, Apple'ın yerel yapay zeka servisini donanımı için ana akım bir kullanım olarak gördüğüne işaret edecek, niş bir hobi uğraşı olarak değil.

Gizlilik vaadi de anlatıldığı şekliyle tasarımın merkezinde görünüyor. Inference donanım dışına hiç çıkmıyorsa, uygulama hassas materyalleri bir bulut sağlayıcısına göndermeden yapay zeka yetenekleri isteyen kurumlara uygun olacak; bu konumlanma Apple'ın daha geniş gizlilik mesajıyla da net biçimde örtüşüyor.

Bellek havuzlama fikri belki de en önemli parça. Bu türdeki çok makinelik kümeleme başka yerlerde gerçekten taklit edilmesi zor bir şey ve Apple bunu piyasaya sürerse yazılım, kendi silikonunun mimari güçlerine doğrudan bağlanacak ve alıcılara bir GPU sunucusuna uzanmak yerine Mac'leri üst üste yığmak için bir neden verecek.

Bunların hiçbiri doğrulanmış değil ve özellikler, markalaşma veya zamanlama lansmandan önce değişebilir. Ancak sızıntı, Apple'ın kendi donanımının etrafında büyüyen yerel model araçları ekosistemiyle doğrudan rekabet etmeye hazırlandığını gösteriyor.