deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Edge0, ön sıra kodlama skorlarına ulaşan ve bir dizüstü bilgisayarda çalışan 145 milyar parametreli modeli açık kaynak yaptı

Edge0, 145B ve 120B modellerinin yanı sıra inference altyapısını da açık kaynak yaptı; şirkete göre 145B model bir dizüstünde saniyede 80+ token hızla çalışıyor ve benchmark sonuçları ön sıra bulut modellerine yakın.

Edge0, ön sıra kodlama skorlarına ulaşan ve bir dizüstü bilgisayarda çalışan 145 milyar parametreli modeli açık kaynak yaptı

Edge0, Edge0-145B ve Edge0-120B adlı iki büyük dil modelini, bunları çalıştırmak için kullanılan inference altyapısı ve dağıtım araçlarıyla birlikte açık kaynak yaptı. Şirket, daha büyük modeli 145 milyar parametreli ilk açık kaynak cihaz üstü yapay zeka modeli olarak tanımlıyor ve kişisel bir bilgisayarda ön sıra bulut modelleriyle yarışacak kodlama, akıl yürütme ve agent yetenekleri sunduğunu iddia ediyor. Hacker News'in ön sayfasına düşen duyuru, yayınlanmayı yerel yapay zekanın bilindik bir ödünleşimine yanıt olarak konumlandırıyor: yetenekli modeller sunucu sınıfı donanım gerektirirken, küçük cihaz üstü modeller zorlu işlerde zorlanıyor.

Edge0 modelin neler yapabildiğini bildiriyor

Edge0'ya göre Edge0-145B, MacBook Pro gibi uyumlu bir dizüstü bilgisayarda en fazla 29GB bellek ayak iziyle çalışıyor. Şirket, saniyede 1.100 token üzeri prefill hızları, saniyede 80 token üzeri decoding, yaklaşık 120W tipik güç tüketimi ve uzun girdilerde hızını koruyan 128K–256K context penceresi bildiriyor. Telefonlar için Edge0, iPhone 18 Pro Max'te yaklaşık 2,5GB bellek kullanarak saniyede 37+ token hıza ulaştığını söylediği önceki 35B modeline işaret ediyor — ancak iki rakam kümesinin farklı modellerden ve donanımlardan geldiği uyarısını da ekliyor.

Agent tarafında Edge0, modelin bir görevi tamamlanmış bir sonuca kadar taşıyabildiğini söylüyor: planlama, kod yazma ve çalıştırma, hataları ayıklama ve 3D sahneler, oyunlar, donanım programları ve PCB tasarımları gibi projelerde çıktıları görsel olarak denetleme. Yerel inference, token başına API ücretlerini de ortadan kaldırıyor, veriyi makinede tutuyor ve temel yeteneklerin çevrimdışı çalışmasını sağlıyor; yine de donanım ve elektrik para gerektirmeye devam ediyor.

145 milyar parametreli bir model bir dizüstüne nasıl sığıyor

Edge0 bunu dört uyumlu tasarım tercihine bağlıyor:

  • Mimari. 64 uzmanlıklı grup iki büyük matrisi paylaşırken, her uzman yalnızca kendi farklarını yakalayan küçük bir özel parametre kümesi tutuyor. Modelin toplam 145 milyar parametresinin herhangi bir inference adımına yalnızca yaklaşık 10 milyarı katılıyor; bu da depolanması ve taşınması gereken veri miktarını azaltıyor.
  • Eğitim. Model, baştan itibaren cihaz üstü yapılandırmasında eğitiliyor; bulut ölçeğindeki bir modelden sonradan sıkıştırılmıyor veya budanmıyor.
  • Yükleme. Depolama, okumaları hesaplamayla çakışan üç katmana yayılıyor: sık kullanılan "hot expert"ler GPU belleğinde kalıyor, yaklaşık 40GB'lık bir uzman kütüphanesi sistem belleğinde duruyor ve kabaca 48GB'lık sözlük verisi SSD'de tutulup gerektiğinde okunuyor.
  • Zamanlama. GPU önbelleğe alınmış uzmanları hesaplarken CPU kalan işi paralel yürütüyor ve spekülatif decoding aynı anda birden çok aday tokenı doğrulayarak ağırlıkları okuma maliyetini daha fazla çıktıya yayıyor.

Üreticinin bildirdiği benchmark sonuçları

Edge0'ın kendi karşılaştırmaları modeli adı geçen ön sıra bulut modellerine yakın ya da önüne koyuyor:

  • DeepSWE 1.1, kodlama: 64,6; 58,7 ile Qwen3.8-Flash-Next ve 54,4 ile DeepSeek-V4-Flash-0731'nin önünde.
  • GPQA-Diamond, akıl yürütme ve bilgi: 90,4; 90,8 ile DeepSeek-V4-Flash-0731 ve 91,3 ile Claude-Opus-4.6 (Max)'a yakın.
  • IFBench, talimat izleme: 80,6; 79,2 ile DeepSeek-V4-Flash-0731 ve 62,5 ile Claude-Opus-4.6 (Max)'ın önünde.
  • Terminal-Bench 2.1: 86,52; buna karşılık Qwen3.8-Flash-Next 83,3, DeepSeek-V4-Flash-0731 82,7 ve Claude 78,2.
  • AA-LCR: 79,3; buna karşılık Claude 78,0.

Bu rakamlar Edge0'ın duyurusundan geliyor; bağımsız doğrulama henüz yayınlanmadı.

Cihaz üstü modeller neden küçük kaldı

Edge0, yayını kısıtlı yerel modellerin tarihine karşı konumlandırıyor. Şirkete göre bellek sınırları, Eylül 2026'dan önce çoğu cihaz üstü modeli 10 milyar parametrenin altında tuttu: Apple Intelligence'ın cihaz üstü temel modeli kabaca 3 milyar parametreye sahip, Google'ın Gemini Nano'su 1,8 milyar ve 3,25 milyar parametreli sürümler halinde geliyor ve 7 milyar parametreli bir model bile yaklaşık 4GB bellek tüketebiliyor. Daha büyük modeller bir bellek duvarına çarpıyordu; çünkü ağırlıklar, kapasite ve bant genişliği için işletim sistemi ve diğer uygulamalarla yarışıyor. Edge0 ayrıca Apple'ın, cihaz üstü modelinin geniş dünya bilgisi gerektiren agent uygulamaları için tasarlanmadığını kabul ettiğini belirtiyor.

Neden önemli

Edge0'ın rakamları bağımsız testler altında doğrulanırsa, bu yayın köklü bir varsayımı sarsar: ön sıra seviyesinde kodlama ve agent işinin bulut GPU'ları ile API faturalandırması gerektirdiği varsayımı. Tüm yığını — ağırlıklar, inference altyapısı ve dağıtım araçları — yayınlamak, geliştiricilerin sonuçları yeniden üretmesini, modelleri değerlendirmesini veya ince ayar yapmasını ve kendi ürünlerine gömmesini sağlıyor; bu da kapalı bir yerel uygulamadan farklı bir önerme. Pratik uyarılar gerçek: 29GB azami bellek ve diskte onlarca gigabayt bunu üst dünya makinelerle sınırlıyor ve şimdiye kadarki her performans iddiası üreticiden geliyor. Ama bir dizüstü bilgisayarda okuma hızında metin üreten ve planlayan, çalıştıran ve doğrulayan agent iş akışlarını yerel olarak yürüten 145 milyar parametreli bir model, anlamlı yapay zeka işini tamamen buluttan uzaklaştırırdı.

  • #open-source
  • #on-device-ai
  • #llm
  • #local-inference
  • #edge-ai

İlgili yazılar