PS5LM, jailbreak'li bir PS5'i llama.cpp ile ağ üzerinden yerel model sunucusuna dönüştürüyor

Hacker News'in ön sayfasına çıkan PS5LM adlı homebrew uygulaması, llama.cpp'yi doğrudan jailbreak'li bir PlayStation 5 üzerinde çalıştırıyor ve konsolu, ağdaki diğer tüm cihazlar için yerel bir dil modeli sunucusuna dönüştürüyor. GitHub'daki projenin README'sine göre uygulama, bir GGUF modelini konsolun RDNA 2 GPU'suna yüklüyor ve ayrı bir PC, bulut servisi ya da hesap gerektirmeden modeli dizüstü bilgisayarlara, telefonlara ve kodlama araçlarına sunuyor.

Konsol ne sunuyor

Uygulama 8081 portunu dinliyor ve OpenAI'nin /v1/chat/completions rotasının yanı sıra Anthropic'in /v1/messages rotasını da açıyor; bu da mevcut istemcilerin ve kodlama asistanlarının konsola yönlendirilip değiştirilmeden çalışabileceği anlamına geliyor — README özellikle Claude Code'un buna karşı çalıştığını belirtiyor. İstek hangi model adını taşırsa taşıyan, yüklü olan model yanıtlıyor ve hızlı test için tarayıcı tabanlı bir sohbet sayfası dahil.

PS5LM ayrıca "karar modelleri" (decision models) dediği bir özelliği destekliyor; bu fikir, README'nin karar modelleri için Ollama'nın dil modelleri için yaptığını yaptığını dediği Ollaya adlı araçtan geliyor. Bu modeller metin üretmek yerine, yazılı soruları — seçimler, puanlar ve metin ile görsellerle ilgili evet/hayır kararları — tek bir forward pass ile, Ollaya'nın bir PC'de sunduğu /v1/systemone endpoint'i üzerinden yanıtlıyor. Önerilen seçenekler arasında d1 Omni 600M, d1 3B ve Clef Flash var. Gemma 4, MiniCPM-V ve d1 gibi image projector ile birlikte gelen görüntü destekli modeller, hem sohbet hem de karar isteklerinde resim kabul ediyor.

TV arayüzü koltukta oturmak için tasarlanmış: gelen istekler ekranda akarak hangi cihazın sorduğunu, ne sorduğunu ve yazıldıkça yanıtı gösteriyor; kontrolcü tuşları bir demo istek tetikliyor veya klavye açıyor. Bir Console sayfası, son iki dakikanın veya son saatin sıcaklık, güç tüketimi ile GPU ve CPU yükünü grafiklendiriyor. Bir planlayıcı her GGUF dosyasını okuyup boş belleğe sığan en uzun bağlamı ve en iyi cache'i yapılandırıyor; uygulama ayrıca modelleri Hugging Face'ten kendi başına dahili depoya, bir M.2 sürücüye veya USB sürücüye indirebiliyor.

PS5 Slim üzerinde ölçülen hızlar

README, konsolun paylaşımlı belleğinin 11.4 GB'ının ağırlıklar ve bağlam için kullanılabildiği bir PS5 Slim'de aktarım hızları raporluyor:

• Q4_K_M quantization ile Qwen 3.5 0.8B (0.5 GB): saniyede 207 token
• Q4_K_M ile Qwen 3.5 9B (5.3 GB): saniyede 55 token
• UD-Q2_K_XL ile Qwen 3.8 27B (9.2 GB): 64k bağlamla saniyede yaklaşık 20 token
• d1 Omni 600M (1.1 GB): üç soru 0.3 saniyede yanıtlanıyor, 720p bir görüntü artı yedi soru 2.9 saniyede

llama.cpp kullandığı için proje, yalnızca önerilen listedekiler değil, llama.cpp'nin anladığı her model mimarisi ve quantization'ın yüklenebileceğini söylüyor.

Gereksinimler ve kurulum

Kurulum, jailbreak yapılmış, 7.00 ile 13.60 arası firmware'de çalışan bir PS5'i hedefliyor ve üç zorunlu payload'un yüklenmesini gerektiriyor: homebrew'ün çalışmasını sağlayan kernel yamaları için kstuff-lite, homebrew desteği için etaHEN ve PS5LM'yi /data/homebrew'dan ana ekrana yerleştiren ShadowMountPlus. İki payload daha öneriliyor: ps5-exporter aracılığıyla sıcaklık, güç ve gerçek boş alan okumaları sağlayan elfldr ile uygulamayı kurmak ve modelleri bir PC'den kopyalamak için ftpsrv. Kurulum, bir release'i açıp klasörünü FTP üzerinden konsola kopyalamaktan ibaret; dokümantasyon opencode, Codex ve Claude Code dahil kodlama araçlarından kullanımı da kapsıyor.

Kaputun altında

Uygulama, ps5-homebrew-ui üzerine C++ ile yazılmış; llama.cpp'nin ggml-vulkan backend'i, Linux üzerinde derlenen PS5_Vulkan projesinden RADV sürücüsünde çalışıyor. README, abhi245y'nin önceki yerel GPU uygulaması PS5LM Plus'ı temel olarak gösteriyor; ayrıca PS5_Vulkan ve RADV için Mihawk-99'a, UI ve düşük seviyeli kütüphaneler için BlackBearReloaded'a, SDK için John Törnblom'a ve ps5-exporter için Marice'e teşekkür ediyor. Kod GPL-3.0-or-later lisanslı; llama.cpp MIT lisansını koruyor. Depo, Sony SDK dosyaları, anahtarları, firmware'i veya model ağırlıklarını içermediğini ve projenin Sony Interactive Entertainment ile hiçbir bağının olmadığını belirtiyor.

Neden önemli

Bunun için az sayıda kişi konsolunu jailbreak'ler, ama bir gösterim olarak proje birçok açıdan dikkat çekici. llama.cpp'nin Vulkan backend'inin ne kadar uzağa gittiğini gösteriyor: topluluk tarafından geliştirilen bir Mesa/RADV yığınıyla eşleşince, kitlesel pazar bir oyun konsolu işleyebilir bir çıkarım makinesine dönüşüyor ve agresif şekilde quantize edilmiş 27 milyar parametrelik bir modelde bile saniyede kabaca 20 token yönetiyor. Uyumlu API'lerin neden önemli olduğunu da gösteriyor — konsol OpenAI ve Anthropic protokollerini konuştuğu için, geniş bir istemci ve kodlama aracı ekosistemi 8081 portuna yönlendirildikleri an çalışıyor. Ve yetenekli yerel çıkarım donanımının şimdiden oturma odalarında olduğunu hatırlatıyor: hızlı paylaşımlı belleğe sahip, iyi soğutulmuş bir makine, bulut ve hesap olmadan tüm bir haneye özel olarak hizmet verebilir. Catch, yaklaşımın doğasında var — proje bir jailbreak'e, dar bir firmware aralığına ve Sony'nin desteklemediği ya da onaylamadığı payload'lara bağlı, bu da onu sınırlarını hobbyist alanında tutuyor.