NVIDIA'nın 30B parametreli hibrit MoE modeli Nemotron 3.5 Lightning, Vercel AI Gateway üzerinde ücretsiz erişime açıldı

Vercel, NVIDIA'nın Nemotron 3.5 Lightning modelini AI Gateway kataloğuna ekledi ve nvidia/nemotron-3.5-lightning-free model dizesiyle, NVIDIA tarafından sunulan bu modele ücretsiz erişim sağlıyor. Vercel'in changelog kaydına göre model, uzun süre çalışan agent'lar, sub-agent pipeline'ları, chatbot'lar ve retrieval-augmented generation (RAG) sistemleri geliştirenleri hedefliyor.

Agent iş yükleri için seyrek bir hibrit mimari

Nemotron 3.5 Lightning, toplam 30 milyar parametreli ancak token başına yalnızca 3 milyar aktif parametreye sahip, açık ağırlıklı bir reasoning ve chat modeli. Bu seyreklik, Vercel'in tanımladığı şekilde Mamba-2 katmanlarını MoE katmanlarıyla birleştiren ve yalnızca az sayıda attention katmanı bulunduran hibrit bir Mixture-of-Experts tasarımından geliyor. Token başına daha az aktif parametre genellikle daha ucuz ve daha hızlı inference anlamına gelir; bu da çok sayıda sıralı model çağrısı yapan ya da çok büyük çalışma bağlamları taşıyan agent'lar için önemli.

Model, 1 milyon tokenlık bağlam penceresinin yanı sıra tool calling ve yapılandırılmış çıktı (structured outputs) desteğiyle geliyor; agent framework'lerinin çoğu fonksiyon çağırma ve deterministik JSON yanıtlarını ayrıştırmak için tam olarak bu iki yeteneğe güvenir.

Vercel bir gizlilik uyarısına dikkat çekiyor: sağlayıcı, model iyileştirmesi amacıyla ücretsiz endpoint'e gönderilen prompt'ları saklayabiliyor; bu yüzden hassas verilerle çalışan ekipler, üretim trafiğini bu uç noktadan geçirmeden önce bunu göz önünde bulundurmalı.

Nasıl erişilir

Geliştiriciler modele AI SDK üzerinden ya da Chat Completions, Responses ve Messages API'leri üzerinden erişebiliyor; bu da mevcut istemci kütüphanelerinin çoğunu kapsıyor. AI Gateway'e bağlı kodlama agent'ları da modeli kullanabiliyor; Vercel örnek olarak Claude Code, Codex ve Cursor'ı gösteriyor. Kurulum için en güncel Vercel CLI'yı yüklemek, npx vercel ai-gateway setup komutunu çalıştırmak ve ardından agent içinde ücretsiz Nemotron modelini seçmek gerekiyor.

AI Gateway'in katkısı

AI Gateway, geniş bir model kataloğunun önünde duran Vercel'in birleşik API'si. İstekleri yönlendirmenin ötesinde kullanım ve maliyet takibi, yeniden denemeler, sağlayıcı failover'ı ve Vercel'in doğrudan bir sağlayıcıya gitmeye kıyasla daha iyi çalışma süresi sunduğunu iddia ettiği performans ayarı sunuyor. Ayrıca anahtar başına bütçeler, yönlendirme kuralları ve özel raporlama içeriyor.

Fiyatlandırma konusunda Vercel, gateway'in sağlayıcı fiyatlarını不加 markup olmadan yansıttığını ve BYOK (bring-your-own-key) istekleri dahil inference üzerinde platform ücreti almadığını belirtiyor. Buradaki temel sağlayıcı fiyatı sıfır olduğundan, bu endpoint üzerinden yapılan inference'un gateway maliyeti de yok.

Neden önemli

Bir milyon tokenlık bağlam penceresi, tool calling ve yapılandırılmış çıktılara sahip bir modele ücretsiz erişim, LLM geliştirmenin en hızlı büyüyen alanlarından biri olan agent ve RAG için gerçek bir maliyet engelini ortadan kaldırıyor. Bir agent döngüsü prototiplemek ya da uzun belge retrieval'ını değerlendirmek çok fazla token yakar; düşük aktif parametreli ve maliyetsiz bir model bu denemeleri ucuzlatıyor.

Mimari de dikkat çekici. Mamba-2 üzerine kurulu hibrit tasarımlar, yaygın olarak sunulan modeller arasında hâlâ nadir; bunun ana akım bir gateway üzerinden sunulması, geliştiricilere kendi iş yüklerinde transformer tabanlı alternatiflerle karşılaştırma yapma imkanı kolaylaştırıyor.

Ödünleşme ise veri uyarısı: model iyileştirmesi için prompt saklanması, bunu tescilli verilerden çok deneyler ve hassas olmayan işler için uygun hale getiriyor. Bir dağıtım hamlesi olarak bu durum, Vercel'inki gibi gateway'lerin inference marjları yerine katalog genişliği ve ücretsiz katmanlarda rekabet ettiğinin de bir işareti.