Tencent'in 1M token bağlam pencereli, açık kaynak 770B parametreli MoE modeli Vercel AI Gateway'de

Tencent'in Hy4 Preview modeli Vercel AI Gateway'de

Vercel, Tencent'in açık kaynak modeli Hy4 Preview'ın artık AI Gateway hizmeti üzerinden erişilebilir olduğunu duyurdu. Vercel'in changelog gönderisine göre model, toplam 770 milyar parametreli bir Mixture-of-Experts (MoE) mimarisi kullanıyor; her token için 49 milyarı aktif ve model bir milyon tokenlık bir bağlam penceresini kabul ediyor.

Model ne için tasarlandı

Vercel, Hy4 Preview'ı hem ölçek hem de uzun bağlam gerektiren iş yüklerine konumlandırıyor. Şirket, hedeflenen kullanım senaryoları olarak sürekli kodlama oturumlarını, uzun belgeler üzerinden çalışmayı, oyun geliştirmeyi ve bilimsel akıl yürütmeyi sayıyor. Seyrek tasarım — çok büyük bir toplam parametre sayısıyla her token için yalnızca küçük bir bölümün devreye girmesi — servis maliyetlerini ve gecikmeyi düşürürken çok daha yoğun bir modelin kapasitesini korumanın yaygın bir yoludur. Duyuruda herhangi bir benchmark verisi yer almıyor; bu yüzden geliştiricilerin preview modelini diğer modellerle kendilerinin karşılaştırması gerekecek.

Geliştiriciler modeli nasıl çağırabilir

Model, AI SDK üzerinden tencent/hy4-preview tanımlayıcısıyla sunuluyor. Vercel'in örneği basit bir streaming çağrısı gösteriyor: model dizesini ayarlayın, bir prompt verin — örnek, modelden bir API endpoint'ine sayfalama eklemesini istiyor — ve akışı tüketin.

SDK'yı doğrudan çağıramayan araçlar için de bir yol var. Vercel'in coding agents rehberine göre vercel ai-gateway coding-agents setup komutunu çalıştırmak, Claude Code, Codex, OpenCode, Cursor ve Pi gibi araçları gateway'e bağlıyor; ardından Hy4 Preview agent içinden seçilebiliyor. Vercel ayrıca, modeli bir uygulamaya bağlamadan önce denemek için bir model playground'u sunuyor.

AI Gateway ne katıyor

AI Gateway, Vercel'in dil modelleri için yönlendirme katmanı: birçok sağlayıcının önünde tek bir API yüzeyi, ayrıca kullanım ve maliyet takibi, yeniden deneme ve failover, ve Vercel'e göre herhangi tek bir sağlayıcının çalışma süresini aşmayı hedefleyen performans optimizasyonları. Hizmet ayrıca anahtar başına bütçeler, yönlendirme kuralları, özel raporlama ve katı veri işleme gereksinimleri olan ekipler için Zero Data Retention desteği sunuyor.

Fiyatlandırma konusunda Vercel, gateway'in sağlayıcı oranlarını komisyon eklemeden geçirdiğini ve BYOK seçeneği kapsamında müşteriler kendi sağlayıcı anahtarlarını getirse dahil çıkarım üzerinde platform ücreti alınmadığını söylüyor.

Neden önemli

Bu yayını dikkat çekici yapan iki şey var. Birincisi, bu ölçekte bir açık kaynak modelin — 770B parametrenin bir milyonluk token bağlam penceresiyle birleşmesi — ana akım bir dağıtım platformu üzerinden kullanıma açılması, büyük model kapasitesi isteyen ancak bir model sağlayıcısıyla doğrudan ilişki kurmak ya da kendi servis altyapısını kurmak istemeyen ekipler için engeli düşürüyor.

İkincisi, coding agent entegrasyonu bu tek modelin ötesinde önemli. Claude Code ve Cursor gibi araçlar başlangıçta belirli satıcılar etrafında tasarlanmıştı; gateway tabanlı erişim, onları gateway'in sunduğu her şey için genel istemcilere dönüştürüyor ve yeni yayımlanan bir model ilk gününden itibaren hazır bir dağıtım kanalına kavuşuyor. Adının da işaret ettiği gibi Hy4 Preview hâlâ bir preview; bu nedenle onu benimseyen ekipler davranışını ve kullanılabilirliğini değişken kabul etmelidir.