LemonSeed Studio, değiştirilmemiş Linux amdgpu sürücüsünü LLM çıkarımı için bir iPad üzerinde çalıştırıyor

Linux GPU sürücüsü gömen bir iPad uygulaması

LemonSeed Studio adlı açık kaynaklı proje, Hacker News'in ana sayfasına çıktıktan sonra dikkat çekti. Projenin GitHub deposuna göre bu, upstream Linux amdgpu ve amdkfd sürücülerini — değiştirilmemiş haliyle — bir PCIDriverKit extension olarak paketleyen tek bir iPad uygulaması. Sürücü, iPad'e bağlı bir Thunderbolt kasasında duran AMD ekran kartını yönetiyor ve uygulama bu GPU'yu yerelde büyük dil modeli çıkarımı çalıştırmak için kullanıyor.\nProje kendini, harici AMD GPU üzerinde cihaz içi LLM çıkarımı sunan bir iPad editörü ve IDE olarak tanımlıyor — Linux çekirdek sürücü kodu için alışılmadık bir varış noktası.

Uygulama neler paketliyor

Depo, her biri bir git submodule olarak içine çekilen üç bileşen etrafında düzenlenmiş:

• mac_linuxgpu, GPU sürücüsü: upstream Linux amdgpu ve amdkfd sürücüsü, uygulamaya bir PCIDriverKit extension olarak gömülü.
• LemonSeed Engine (LSE), çıkarım motoru; GPU üzerinde projenin HSA runtime'ı ve HRX/Loom adını verdiği yapı üzerinden çalışıyor.
• amdgpu_mtopg, canlı telemetri sunan bir GPU izleyici.

Linux dünyasında amdgpu, modern AMD ekran donanımı için çekirdek modu sürücüsüdür; amdkfd ise hesaplama tarafını, AMD'nin hesaplama yığınının üzerine inşa edildiği Heterogeneous System Architecture (HSA) arayüzü üzerinden açığa çıkarır. İkisini birden taşımak, uygulamanın yalnızca kartı ateşlemekle kalmadığı — üzerinde çıkarım iş yüklerini çalıştırmak için gereken hesaplama yolunu da elde ettiği anlamına geliyor.

Sürücü oraya nasıl ulaşıyor

Apple, iPadOS'ta üçüncü taraf çekirdek uzantılarına izin vermiyor. Harici donanım için desteklenen yol, Apple'ın userspace sürücü çerçevesi olan DriverKit; PCIDriverKit ise Thunderbolt gibi veriyolları üzerinden bağlanan PCI cihazlarını kapsıyor. Bu projenin kullandığı mekanizma tam olarak bu: Linux sürücü kaynak kodu bir çekirdeğe yüklenmek yerine bir uygulama uzantısının içinde barındırılıyor.

Depo, çekirdeğe bakan Linux kodunun DriverKit API'lerine nasıl uyarlandığını derinlemesine açıklamıyor; bu iş mac_linuxgpu submodule'ünde yaşıyor. Ancak derleme düzenini net biçimde belirtiyor: sürücü kendi sabitlenmiş Linux kaynaklarını ilk derlemede sparse olarak çekiyor, böylece iç içe geçmiş çekirdek submodule'ünün özyinelemeli olarak klonlanması gerekmiyor. Üç üst düzey bileşeni indirmek için standart bir git clone --recurse-submodules yeterli.

Lisanslama

Projenin özgün kodu çift lisanslı ve kullanıcının seçimine göre MIT veya GPL-2.0-only altında mevcut. Paketlenen ve submodule bileşenleri kendi lisanslarını koruyor; ayrıntılar deponun THIRD_PARTY.md dosyasında toplanmış — amdgpu'nun kendisi GPL-2.0 Linux çekirdek kodu olduğu göz önüne alınırsa makul bir düzenleme.

Neden önemli

GPU ve iPad geliştiricileri için bu, kayda değer bir konsept kanıtı. Ciddi büyüklükte gerçek bir Linux sürücüsünün — eksiksiz upstream AMD grafik ve hesaplama yığınının — Apple'ın yerel API'lerine karşı yeniden yazılmak yerine Apple'ın userspace sürücü çerçevesi üzerinden iPadOS'ta barındırılabileceğini gösteriyor. Bu, elinde yeniden kullanılacak Linux sürücü kodu olan herkes için, iPad aksesuarı geliştiren herkes için önemli.

Yerel yapay zeka açısı da kendine özgü. Modelleri iPad'in kendi GPU'sunda Metal üzerinden çalıştırmak yerine LemonSeed Studio, çıkarımı Thunderbolt üzerinden masaüstü sınıfı bir AMD kartına taşıyor ve Apple'ın sunduğu herhangi bir şey yerine AMD'nin hesaplama yığınını kullanıyor. Depo hiçbir performans iddiasında bulunmuyor ve desteklenen GPU modellerini ya da iPad gereksinimlerini belirtmiyor; bu yüzden bir üründen çok deneysel bir proje gibi okunuyor — ama iPadOS'un sürücü modelinin ne kadar esneyebildiğinin bir gösterimi olarak çarpıcı bir örnek.