deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Inception'ın Mercury 3'ü, saniyede 1.000+ token üretimiyle diffusion LLM'lerin ölçeklenebildiğini iddia ediyor

Inception'a göre Mercury 3, öncülünden 40 kattan fazla büyük, diffusion tabanlı bir LLM olarak saniyede 1.000'den fazla token üretirken benchmark'larda GPT-6 Luna ve Claude Haiku 5.5'i geride bırakıyor.

Inception'ın Mercury 3'ü, saniyede 1.000+ token üretimiyle diffusion LLM'lerin ölçeklenebildiğini iddia ediyor

Inception, Mercury 3'ü hız odaklı bir sunumla yayınladı

Inception, bugüne kadar yayımlanan en yetenekli diffusion tabanlı dil modeli olarak tanımladığı Mercury 3'ü piyasaya sürdü. Şirkete göre model, hız için optimize edilmiş GPT-6 Luna ve Claude Haiku 5.5 gibi frontier modellerle çeşitli benchmark'larda eşit ya da daha iyi sonuçlar verirken, bu rakiplerinden dört ila sekiz kat daha hızlı çalışıyor ve saniyede 1.000'den fazla token üretiyor. Inception, NVIDIA GPU'larda saniyede 1.068 token ölçtü.

Model ayrıca Mercury 2.5'teki 260.000'den yukarıya çıkarak bir milyonluk token bağlam penceresiyle geliyor. Liste fiyatı milyon giriş başına 0,20 dolar, milyon çıktı token'ı başına 0,70 dolar; %50'lik lansman indirimiyle bu rakamlar 0,10 ve 0,35 dolara iniyor. Cache'lenmiş token'lar giriş fiyatının %90 indirimlisiyle faturalandırılıyor. Inception, geliştiricilerin API'yi denemesi için 100 milyon ücretsiz token sunuyor.

Inception'ın temel tezi: diffusion ölçekleniyor

Diffusion dil modelleri, piyasaya hâkim olan autoregressive modellerden farklı çalışıyor. Birbirini takip eden tek tek token'lar üretmek yerine metni paralel geçişlerde rafine ederek oluşturuyorlar; Vercel'in changelog'u bu verimlilik rakamlarını da bu yaklaşıma bağlıyor.

Duyurudaki daha derin iddia ölçekle ilgili. Inception Mercury 1'i yayınladığında alandaki açık soru, diffusion modellerin karmaşık görevlerde autoregressive sistemlerle rekabet edebilecek şekilde büyüyüp büyüyemeyeceğiydi. Inception'a göre Mercury 3 bu soruyu kapatıyor: model toplam parametre sayısında Mercury 1'den 40 kattan fazla büyük, Mercury 1 mini'den Mercury 3'e benchmark performansı üçe katlanmış ve üretim hızı sabit kalmış. Şirketin vardığı sonuç, autoregressive modellerdeki ilerlemeyi sağlayan ölçekleme dinamiklerinin diffusion için de geçerli olduğu.

Erken iş ortakları ne bildiriyor

Inception, erken erişim ortaklarının Mercury 3'ü zaten gecikmeye duyarlı ürünlerde çalıştırdığını söylüyor: tarayıcı otomasyon agent'ları, etkileşimli eğitim, gerçek zamanlı arama ve müşteri desteği.

Şirket somut bir sonuç da yayımladı: üretimdeki web-agent harness'i içinde, 50 canlı Mind2Web gezinme görevinde Mercury 3 bunların %50'sini tamamladı; Inception bunu GPT-6.1-Sol'dan önemli ölçüde daha iyi olarak nitelendirirken, model frontier bir modelle aynı token hacmini ve agent adım sayısını, token başına maliyetin çok küçük bir bölümü karşılığında kullandı.

Duyuruda alıntılanan müşteri ifadeleri de gecikme hikâyesini destekliyor. RevisionDojo'nun sahibi General Learning'in kurucu ortağı ve CTO'su Michael Tong, ipuçlarının, işaretli cevapların ve tanımların artık yaklaşık bir saniyede döndüğünü söylüyor. Octen AI kurucusu ve CEO'su Kuan Zou, şirketinin akıllı gözlük arama testlerinde medyan üretim süresinin 0,9 saniye, uçtan uca sürenin 2,2 saniye olduğunu bildiriyor. Lorikeet'ten Michael Gribben, Mercury 3'ün değerlendirmelerde ve üretimde daha yüksek puan almanın yanı sıra gecikmede de diğer modelleri geçtiğini söylüyor.

Portföy ve kullanılabilirlik

Mercury 3 daha geniş bir ürün ailesinin amiral gemisi. Mercury Voice ses uygulamaları için ayarlanmış ve ilk cevap token'ına kadar geçen süreyi en aza indiriyor; Inception'a göre Auvidi AI, Altur ve OpenCall'daki agent'ları zaten çalıştırıyor. Yüksek hacimli sınıflandırmaya yönelik bir karar modeli olan Mercury Decide'in, JevBench ve LegalBench dahil benchmark'larda Jev'i geride bıraktığı iddia ediliyor.

Ana model Inception API Platform'unun yanı sıra OpenRouter, Baseten ve Vercel üzerinden erişilebilir ve OpenAI API ile uyumlu olduğu için mevcut stack'lerde yeniden yazım gerektirmiyor. Kurumsal dağıtımlar ayrıca dedicated kapasite, autoscaling, uyum kontrolleri ve yapılandırılabilir veri saklama sunuyor.

Vercel'in changelog'u, modelin indirimli lansman fiyatıyla AI Gateway üzerinden inception/mercury-3 model adıyla erişilebilir olduğunu doğruluyor; Vercel CLI'da gateway kurulumunu çalıştırdıktan sonra Claude Code, Codex ve Cursor gibi araçlardan ulaşmak mümkün. Vercel, sağlayıcı fiyatlandırmasını hiçbir kâr marjı eklemeden ve inference için platform ücreti almadan, kendi anahtarını getir (bring-your-own-key) istekleri dahil geçiyor.

Neden önemli

Yaygın olarak kullanılan neredeyse tüm LLM'ler autoregressive ve diffusion tabanlı metin üretimi çoğunlukla araştırma laboratuvarlarında kaldı. Inception'ın rakamları kendi benchmark'ları dışında da tutarsa, Mercury 3 diffusion modellerin aynı ölçekleme eğrilerini izlediğine ve token token gecikme darboğazını ortadan kaldırdığına dair ilk ticari ölçekte kanıt olur. Bu kombinasyon gerçek bir boşluğa nişan alıyor: agent'lar, ses arayüzleri ve eğitmenlik gibi alanlar her adımda küçük gecikmeleri üst üste yığıyor ve frontier kalitesine yakın düşünen ama bir saniyenin altında cevap veren bir model, bu ürünlerin hissiyatını değiştiriyor. Öte yandan uyarılar bir lansman duyurusunda alışıldık olanlar: karşılaştırmalar satıcıdan geliyor ve bağımsız değerlendirmeler henüz söz söylemedi; ancak ücretsiz token denemesi ve çoklu platform kullanılabilirliği, geliştiricilerin bu iddiaları doğrudan test etmesini ucuz kılıyor.

  • #diffusion-models
  • #large-language-models
  • #inference
  • #inception
  • #vercel

İlgili yazılar