Açık kaynaklı Lightreason, tek bir RTX 4090'da Qwen çıkarımında 6-11x hızlanma iddiasında bulunuyor

Lightreason adlı açık kaynaklı bir proje, 13 Kasım 2026'da Hacker News'in ana sayfasına çarpıcı bir iddiayla çıktı: Qwen dil modellerinin tek bir tüketici GPU'su olan RTX 4090 üzerinde token'ları altı ila on bir kat daha hızlı üretmesi. GitHub hesabı me-farza altında yayımlanan depo, kendisini yan yana kıyaslama yapılabilen etkileşimli bir Studio içeren yerel bir çıkarım (inference) çalışma tezgâhı olarak tanıtıyor; kaynak kodu, sabitlenmiş indirme manifestoları ve kıyaslama kanıtları sunuyor — ancak model ağırlıkları yok.

Ölçümler, koşucu koşucu

Depoya göre deneylerde iki model için özgün BF16 ağırlıkları kullanılıyor: 3,09 milyar parametreli Qwen2.5-3B-Instruct ve 34,66 milyar parametreli Qwen3.6-35B-A3B'nin metin modeli.

3B model için ana Lightreason Exact koşucusu, altı prompt boyunca üretim hızını saniyede 63,0 tokenden 139,6 tokene çıkardı. Yazar, karşılaştırma için kullanılan 30 Hugging Face zamanlama çalışmasının tümüyle eşleştiğini ve dokuz yeni test çiftinin dokuzunda da aynı Python, JavaScript ve SQL yanıtlarını ürettiğini bildiriyor.

6-11x aralığının üst uçı, AMD'nin PARD2'si üzerine kurulu ayrı bir draft destekli koşucudan geliyor; bu koşucu eşleşen bir hava durumu yanıtında saniyede 58,3 tokenden 525,2 tokene, en iyi eşleşen 128 token'lık Fibonacci diliminde ise saniyede 63,6'dan 724,4 token'a ulaştı. Bir pürüz var: depo bu ölçümleri arşivlenmiş araştırma ölçümleri olarak etiketliyor ve bunları yeniden üretmek, herkese açık sürümde bulunmayan bir laboratuvar adaptörü gerektiriyor. Buna karşılık yalnızca hedef model içeren 3B sonuçları için sadece herkese açık Qwen indirmesi yeterli.

35B model daha zorlu vaka. Sınırlandırılmış bir Python prompt'unda saniyede 7,93 tokenden 51,08 tokene ulaştı; oturumlar arasında aynı girişle yapılan 6,44x'lik bir karşılaştırma koşusu. Bu ölçekte çıktılar her zaman birebir aynı değil: koşu önce baseline Scheduled koşucusundan 116. token'da ayrıldı ve paketlenmiş yapılandırma, düz baseline yerine sabit sekiz konumlu bir kontrolle 20 test çiftinin tümüyle eşleşti. Draft destekli bir 3B koşucusu, 36 ayrılmış karşılaştırmanın yalnızca 12'sinde Hugging Face çıktılarıyla eşleşti; ancak çıktıyı değiştirmeden önceki draft destekli sürümden 1,062x daha hızlı çalıştı.

Hızlanmalar nasıl elde ediliyor

3B model GPU belleğine sığıyor, dolayısıyla oradaki kazançlar sistem çalışmalarından geliyor: hazırlanmış GPU işini bir kez yakalayıp yeniden oynatmak (NVIDIA'nın CUDA Graphs uygulaması), daha sıkı bir attention cache, birleştirilmiş BF16 projeksiyonları ve kelime dağarcığı adaylarının ön filtrelenmesi; hayatta kalanlar modelin özgün çıktı kafası tarafından yeniden puanlanıyor. Nihai token kararlarını her seferinde yine özgün BF16 hedef modeli veriyor; çıktıların aynı kalabilmesinin nedeni de bu.

35B modelin metin ağırlıkları 64,56 GiB yer kaplıyor; tek bir tüketici kartı için çok fazla. Bu yüzden koşucu expert ağırlıklarının çoğunu sistem RAM'inde tutuyor ve yalnızca modelin gerçekten yönlendirdiği expert'leri GPU'ya taşıyor. Bu hibrit CPU/GPU yürütücüsü ve paralel draft, FlashML'in FreeToken'ından ve Inco AI'nin DFlash2'sinden geliyor. Lightreason bunlara yalnızca seçili satırları çeken prefill, expert yolları tekrarlandığında AVX2 yeniden kullanımı, yerel CUDA paket açma, 34 katman boyunca paketlenmiş host bankları ve expert hesaplamasından önce özgün BF16 değerlerini tam olarak geri koyan kayıpsız bir GPU kopya katmanı ekliyor. Bir draft birden fazla token önerdiğinde, hedef model bunları birlikte doğruluyor ve bu kontrollerde ağırlıkları yeniden kullanıyor.

Proje bunların yeni araştırma değil, bir araya getirilmiş teknikler olduğu konusunda açık; CUDA Graphs, PARD2, DFlash2 ve FreeToken'a atıfta bulunuyor ve deney geçmişi hangi denemelerin işleri yavaşlattığını ya da çıktıyı değiştirdiğini kaydediyor.

Kendiniz çalıştırmak

Hızlı başlangıç; CUDA 12.8 uyumlu sürücüsü olan bir RTX 4090 üzerinde Linux'u, Python 3.12, PyTorch 2.9.1 ve Transformers 4.57.1'yi hedefliyor. 3B indirmesi yaklaşık 6,2 GB; işlem sırasında 2 GiB daha boş alan gerekiyor. 35B kurulumu, çok daha fazla sistem RAM'i olan ayrı bir ortam istiyor. Bir sparse-checkout komutu yalnızca 3B Studio'yu ve sonuçlarını indiriyor. Studio, seçilen bir prompt'u önce standart motorla ardından aynı GPU'da Lightreason Exact ile çalıştıran, her iki yanıtı da akıtarak zamanlamaları ve token dizilerinin eşleşip eşleşmediğini raporlayan yerel bir web sayfası sunuyor. Headless CLI çalışmaları hazırlama süresi, üretim süresi, token kimlikleri ve durma nedenini içeren JSON çıktısı veriyor. Bir taşıma kılavuzu, yaklaşımin diğer donanımlara uyarlanmasını ele alıyor; kodlama ajanlarının kullanabileceği bir beceri dosyası da içeriyor. Depo ayrıca kullanıcılarına modelleri indirmeden önce Qwen lisansını okumalarını hatırlatıyor.

Neden önemli

35B sınıfı bir mixture-of-experts modelin tek bir tüketici GPU'sunda saniyede kabaca 50 token üretmesi ve 3B bir modelin iddia edilen çıktı eşliğiyle saniyede 140 token civarına ulaşması, yerel LLM araçları için gerçekten pratik bir sonuç. Bu, büyük kazançların hâlâ mühendislikten gelebileceğini — graph yakalama, cache düzeni, expert boşaltımı, paketlenmiş draft doğrulama — mevcut açık bileşenler üzerine yığılarak ve özgün BF16 ağırlıklarını nicemleyerek feda etmeden elde edilebileceğini gösteriyor. Şeffaflık da kendi kendine yayımlanmış bir hızlanma iddiası için alışılmadık ölçüde yüksek: sabitlenmiş sürümler, yayımlanmış kıyaslama kanıtları ve başarısız deneylerin günlüğü sonuçların denetlenebilir olmasını sağlıyor. Uyarılar da en az bunlar kadar önemli. Her rakam yazarın kendi tek makinedeki ölçümü; en hızlı sayılar herkese açık olmayan bir adaptöre bağlı ve bazı hızlı yollar tam çıktı eşliğini hız uğruna takas ediyor. Lightreason'un yerel çıkarım için bir şablona mı dönüşeceği yoksa iyi belgelenmiş bir kerelik olarak mı kalacağı, diğer donanımlardaki bağımsız doğrulamalar belirleyecek.