Llmspeed, alıcıların GPU'lar, Mac'ler ve bulut donanımındaki yerel LLM hızlarını önceden görmesini sağlıyor

Araç ne yapıyor

Yerel yapay zeka çıkarımı için donanım satın almak her zaman bir miktar tahmin yürütmeyi gerektirmiştir: incelemeler yalnızca birkaç konfigürasyonu kapsar ve bir teknik özellik tablosu, belirli bir modelin günlük kullanımda nasıl davranacağı hakkında pek bir şey söylemez. 17 Ekim'de Hacker News'te bir "Show HN" gönderisi olarak tanıtılan açık kaynak proje Llmspeed, bu boşluğu kapatmayı hedefliyor. Site, ziyaretçilerin bir donanım platformu ve bir dil modeli seçmesini, ardından bu ikilinin metni ne kadar hızlı üreteceği konusunda bir fikir edinmesini sağlıyor; böylece satın alma kararı çıplak bir benchmark tablosuna değil, gerçek deneyime dayanabiliyor.

Donanım ve model matrisi

Projenin sitesine göre kapsam her iki eksende de geniş. GPU tarafında RTX 3060 12GB ve RTX 5060 Ti 16GB gibi uygun fiyatlı seçeneklerden RTX 3090, RTX 4090 ve amiral gemisi RTX 5090'e, ayrıca workstation sınıfı RTX PRO 6000 96GB ve DGX Spark 128GB'ye uzanıyor. AMD tarafını RX 7900 XT, RX 7900 XTX, RX 9070 XT ve Radeon AI PRO R9700 temsil ederken, Intel Arc Pro B70 32GB ile yer alıyor.

Apple Silicon kapsamlı biçimde temsil ediliyor: MacBook M2 Pro 16GB ve M3 Max 48GB'den MacBook Pro M5 Max 128GB, Mac mini M4 Pro 64GB ve hem M3 Ultra hem M5 Ultra varyantlarında 512GB birleşik belleğe sahip Mac Studio makinelerine kadar. Ayrıca bir AMD Ryzen AI Max+ 395 (Strix Halo) 128GB girdisi, 96GB DDR5'li Ryzen 9 9950X tabanlı yalnızca CPU'lu bir konfigürasyon ve karşılaştırma için H100, A100 ve H200 instance'ları biçiminde bulut GPU'ları da var.

Model tarafında liste, Llama 3.1 8B, Qwen 3.5 9B ve 14B boyutundaki DeepSeek R1 distill gibi küçük iş atlasları ile çeşitli orta boy yoğun ve mixture-of-experts modellerini harmanlıyor ve GPT-OSS 120B, Gemma 4 31B, DeepSeek V4 Flash, GLM-5.3 Flash ile 27B ve 35B boyutlarındaki Qwen varyantlarını içeren daha büyük seçeneklere uzanıyor.

Sayılar nereden geliyor

Proje metodolojisi hakkında açık sözlü. Gerçek çalışmalara dayanan rakamlar r/LocalLLaMA ve localscore.ai gibi topluluk benchmark kaynaklarından geliyor, kalanlar ise benzer konfigürasyonlardan çıkarımlanıyor veya donanım özelliklerinden dışlanıyor. Her rakam tek bir cihazda işlenen kısa bir prompt varsayıyor; dolayısıyla daha uzun bağlamlar ve çoklu GPU kurulumları farklı sonuçlar verecek. Kod açık kaynak ve GitHub'da barındırılıyor.

Bu harmanı araç kullanırken akılda tutmakta fayda var. Topluluk ölçümlerine dayanan girdiler projeksiyonların yanında yer alıyor ve site sonuçlarını tahmin olarak sunduğundan, alıcılar rakamları garanti değil kaba bir rehber olarak görmeli.

Neden önemli

Yerel çıkarım bir merak konusundan pratik bir seçeneğe dönüştü, ancak zor olan kısım modeli makineyle eşleştirmek. Bellek kapasitesi neyin sığacağını belirlerken, bellek bant genişliği büyük ölçüde ne kadar hızlı çalışacağını belirliyor ve ikisi arasındaki etkileşimi yalnızca teknik özellik tablolarından akıl yürüterek kavramak zor. 24GB RTX 4090, 128GB Strix Halo sistem ve 512GB Mac Studio arasında seçim yapan bir alıcı, aslında hangi modelleri hiç çalıştırabileceğini ve cevapları ne kadar sabırla bekleyeceğini seçiyor.

Bu dengeyi para hesaptan çıkmadan önce somut hale getirerek ve satıcı pazarlaması yerine topluluk benchmark verilerine yaslanarak Llmspeed, dağınık saatler süren forum araştırmasını tek bir karşılaştırmaya indiriyor. Temel sınırlaması ise aynı veriden miras kalıyor: daha az yaygın konfigürasyonlara ait rakamlar projeksiyon ve gerçek dünya sonuçları quantisation seçimlerine, bağlam uzunluğuna ve kullanılan yazılım yığınına göre değişecektir.