deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Kodlama ajanları, FPGA deneyimi olmayan bir geliştiriciyi saniyede 213 token üreten LLM çıkarımına taşıdı

Verilog veya FPGA deneyimi olmayan bir geliştirici, kodlama ajanları kullanarak üçlü ağırlıklı bir LLM'i AWS FPGA instance'larında çalıştırdı ve yaklaşık 10.000 dolarlık token karşılığında hızını 33 kat artırarak saniyede 213 token seviyesine çıkardı.

Kodlama ajanları, FPGA deneyimi olmayan bir geliştiriciyi saniyede 213 token üreten LLM çıkarımına taşıdı

Ne oldu

FPGA deneyimi olmayan bir geliştirici, yapay zeka kodlama ajanları yardımıyla büyük bir dil modelini yeniden programlanabilir donanımda çalıştırmayı başardı ve modeli saniyede 213 token hızına ulaştırdı — bu, ilk çalışan sürümün hızının yaklaşık 33 katı. Yazar, projeyi 20 Kasım 2026'da Hacker News'in ana sayfasına çıkan ankitg.me adresindeki bir blog yazısında anlatıyor.\n Yazıya göre yazar, FPGA'lerde devreleri tanımlamak için kullanılan Verilog dilini hiç yazmamış ve yaklaşık on yıldır ciddi bir C++ kodu yazmamıştı. Düşük seviyeli işi fiilen kodlama ajanları yaptı.

Kurulum

Çalışma, bulutta FPGA donanımı ve görece sınırlı 16 GB FPGA HBM sunan AWS F2 instance'larında yürütüldü. Başlangıç adımı bile devredildi: yazar, instance'ları ayırmak için Codex'e sordu. Model olarak yazar, bellek kısıtlı donanıma çok uygun bir tasarım olan DeepGrove'un üçlü ağırlıklı mimarisini seçti.

Conductor üzerinden yönetilen bir bulut ajanı daha sonra yüzlerce deney boyunca birkaç gün çalıştı. Oturum, deney geçmişinde kabaca 3 milyon satır üretti ve çıktı dosyalarının 30 milyon satırını ayrıştırdı; yazarın verdiği maliyet yaklaşık 10.000 dolarlık Claude ve OpenAI token'ı.

İnsan katkısı herhangi bir ölçüte göre inceydi. Prompt'ların çoğunlukla cesaretlendirme içerdiği bildiriliyor — yazar ajana daha yaratıcı olmasını söylemek gibi örnekler veriyor — ve arada spekülatif kod çözmeyi önermek ya da bir bileşenin hâlâ neden CPU'da çalıştığını sormak gibi makine öğrenmesi yönlendirmeleri yapıyor. Yazıda Astra ve Opus olarak anılan iki model dönüşümlü olarak kullanıldı ve ikisi de birbirinin yerine geçebilecek kadar yetkin olduğunu kanıtladı.

Çalışan durumdan hızlı duruma

İlk tam modelli, bit düzeyinde doğru başlangıç sürümü saniyede 6 token çalışıyordu. Ajan daha sonra ölçümlü bir optimizasyon dizisiyle 213'e tırmandı ve adımlar standart performans mühendisliğini donanıma özgü inceliklerle harmanlıyor. Adımlardan biri, iki bellek bankasını aynı anda okuyan bir head loader — ölçülmüş yüzde 17,3'lük kazanç — bir runtime expert-prefetch politikası ve bir router zamanlama düzeltmesini birleştirdi; ayrıca bir dayanıklılık testi 231,25 MHz'de rastgele hatalar ortaya çıkardığı için saat hızını bir kademe düşürerek 225/425 MHz'e çekti.

En önemli insan katkısı DeepGrove kurucularından geldi. Yazar yaklaşık saniyede 10 token bildirdiğinde, kurucular bunun bu kadar kolay çalışmasına şaşırdı; benzer bir şeyi birkaç ay önce denediklerini ama modellerin bunun için yeterli olmadığını söylediler. Üçlü ağırlıklı, yoğun, Qwen tarzı bir modelin kod çözmeye optimize edilmiş FPGA uygulamasından çıkarılan dersleri özetleyen bir prompt sağladılar. Bu prompt; bir değerin, ters işaretlisinin ve sıfırın arasında seçim yapan 2-bit ağırlık içeren çarpmasız üçlü matematik işlemlerini, bellek aktarımlarını azaltan 2-bit ağırlık paketlemeyi, ağırlıkların HBM'den doğrudan hesaplama hatlarına akmasını, MXINT8 KV cache kullanımını ve tam skor matrisinin hiçbir zaman saklanması gerekmediği için dikkat işleminin online softmax ile parçalar halinde işlenmesini kapsıyordu. Yazar bunu oturuma yapıştırdı ve eklenen tek gerçek önemli rehberlik parçası olarak nitelendirdi.

Neden önemli

Bu bir kıyaslaması değil, tek bir anekdot; ama içinde bulunduğumuz döneme dair somut bir şeyi görünür kılıyor: kodlama ajanları, engeli ham zekâ veya işlem gücü değil de birikmiş uzman bilgisi olan alanları açabilir. FPGA geliştirmesi geleneksel olarak donanım mühendisleri, C++ araç zincirleri ve simülasyon dalga biçimlerinin elle analizini gerektiriyordu. Büyük bir token bütçesine — yazar bunu YC'ye borçlu olduğunu belirtiyor — ve iyi seçilmiş bir probleme sahip bir yazılım geliştiricisi, gerçek zamanlı olarak önemli sayılacak kadar hızlı çalışan bir çıkarım motoru elde etti.

İki ayrıntı bunun salt bir gösteri olmasını engelliyor. Birincisi, DeepGrove kurucularının birkaç ay önceki başarısız girişimi, yetkinlik eşiğinin yakın zamanda ve hızlıca aşıldığına işaret ediyor. İkincisi, uzman prompt'unun önemi vardı: ajanlık kararlılığı modeli çalıştırdı, damıtılmış alan uzmanlığı ise nihayetinde ne kadar hızlı gideceğini şekillendirdi. Buradaki en yararlı desen bu eşleşme olabilir — uzmanlar bilgilerini prompt'lara yazıyor, genelciler ise ajanları eskiden kilitli olan problemlere yönlendiriyor.

  • #coding-agents
  • #fpga
  • #llm-inference
  • #hardware
  • #aws

İlgili yazılar