Fireworks, Ember-1 akıl yürütme modelini Vercel AI Gateway üzerinde başlattı: Kimi K3'e kıyasla ~%40 daha az token iddiası

Fireworks, kodlama ve ajan tabanlı iş yüklerini hedefleyen Ember-1 akıl yürütme modelini Vercel'in AI Gateway hizmetine ekledi. 28 Eylül'de yayımlanan bir Vercel changelog gönderisine göre model, Kimi K3 üzerine kurulu bir araştırma önizlemesi ve Fireworks'un kendi değerlendirmeleri, kaliteyi sabit tutarken taban modele göre yaklaşık %40 daha az token ürettiğini gösteriyor.

Tasarımdan gelen daha kısa akıl yürütme izi

Temel vaat, ajan döngülerindeki verimlilik. Bir kodlama ajanı genellikle bir görevi tamamlamak için modelini birçok kez çağırır ve her çağrı, ödenmesi gereken — ve çoğu zaman sonraki adımlarda bağlam olarak yeniden okunan — akıl yürütme metni üretir. Vercel'in de belirttiği gibi, bu ara izleri kısaltmak çıktı maliyetlerini düşürebilir ve ajanın ileriye taşıdığı bağlamı azaltabilir; bu da hem harcamaya hem de context window içinde kalmaya yardımcı olur.

%40 rakamı bir satıcı verisi: Fireworks bunu kendi değerlendirmeleri ölçtü ve sonuçlar bağımsız olarak doğrulanmadı. Bu rakam, kesinleşmiş bir sonuç olarak değil, kendi benchmark'larınızla test edilmesi gereken bir iddia olarak değerlendirilmeli.

Model neleri destekliyor

Duyuruya göre Ember-1 şu özelliklerle geliyor:

• 1M token'lık bir context window
• Metin ve görüntü girişi
• Tool calling
• Örtük prompt önbellekleme
• Fireworks uç noktasında Zero Data Retention ve No Prompt Training

Son iki madde, katı veri politikaları olan ekiplerin ilk olarak bakacağı maddeler; çünkü prompt'ların sağlayıcı tarafında nasıl işlendiğini açıklıyorlar.

Başlarken

Model, gateway'in API'leri ve kodlama ajanları arasında fireworks/ember-1 adıyla sunuluyor. Vercel'in önerdiği kurulum yolu iki komuttan oluşuyor: CLI'yi güncellemek için npm i -g vercel@latest, ardından vercel ai-gateway setup. Kurulum komutu makinede zaten yüklü kodlama ajanlarını tarar, bir gateway API anahtarı oluşturur ya da mevcut olanı kullanır ve algılanan her ajanı gateway üzerinden yönlendirecek şekilde yapılandırır; kullanıcılar daha sonra ajanlarının model yapılandırmasında Ember-1'i seçer. Mevcut bir kuruluma dokunmadan denemek için bir model playground da mevcut.

AI Gateway'in kendisi, birçok modelin önünde tek bir arayüz sunan; kullanım ve maliyet takibi, anahtar başına bütçeler ve yönlendirme kuralları içeren bir hizmet. Pratik etkisi şu: fireworks/ember-1 modelini bir ajana eklemek ya da çıkarmak bir entegrasyon projesi değil, bir yapılandırma değişikliği.

Süreli bir önizleme

Ember-1 bir araştırma önizlemesi olarak sunuluyor ve ilk dönem iki haftayla sınırlı. Bu, kullanılabilirliği açıkça kısıtlı kılıyor ve model henüz kararlı bir üretim bağımlılığı olarak görülmemeli. Onu kendi kodlama görevlerinde değerlendirmek isteyen ekiplerin bunun için dar bir zaman penceresi var.

Neden önemli

Akıl yürütme modelleri ajanların ekonomisini değiştirdi: daha iyi yanıtlar, token faturalarını şişiren ve context window'ları dolduran uzun düşünce zincirleri karşılığında elde ediliyor. Kaliteyi korurken daha az token üreten türetilmiş bir model bu maliyete doğrudan saldırıyor — ve ajan döngüleri bileşik etki gösterdiğinden, erken üretilen token'lar sonraki adımlara taşındığından, çıktıda %40'lık bir kesinti uzun süren görevlerde büyük tasarruflara dönüşebilir.

Ember-1 ayrıca model katmanının nereye gittiğinin bir sinyali: belirli bir iş yüküne — kodlama ajanları gibi — göre ayarlanmış ve Vercel'in gateway'i gibi platformlar üzerinden dağıtılan, frontier modellerin uzmanlaşmış varyantları. Mühendislik ekipleri için bu önizleme ucuz bir deney — model adını değiştirin, eval'lerinizi çalıştırın ve token tasarrufunun kendi iş yüklerinizde geçerli olup olmadığını görün; üzerine bütçe planları kurmadan önce.