Baseten'in Mammoth-1 ve Elephant-1 karar modelleri 27 Ekim'e kadar Vercel AI Gateway'de ücretsiz

Vercel, Baseten'in iki karar modeli olan Mammoth-1 ve Elephant-1'a AI Gateway üzerinden ücretsiz erişim açtı. Vercel bloguna göre kampanya bir hafta sürecek ve ücretsiz kullanım 27 Ekim'de sona erecek.

Karar modelleri ne yapar

İki model de uçsuz bucaksız sohbet yerine yapılandırılmış yargı kararları için tasarlandı. Vercel'in tanımıyla modeller metinleri sınıflandırıyor, gelen istekleri yönlendiriyor ve içeriği geliştiricinin belirlediği ölçütlere göre puanlıyor. Mammoth-1 çiftin büyüğü olup 27 milyar parametreye sahip; Elephant-1 ise daha hafif iş yüklerine uygun 9 milyar parametreli bir seçenek.

Vercel, Mammoth-1'in şu anda Jev Decision Index'te birinci sırada yer aldığını, Elephant-1'in ise Artificial Analysis Decision Index'te birinciliği paylaştığını bildiriyor. Her iki model de 16.000 token'lık bir bağlam penceresi kabul ediyor ve çıktı olarak seçenekler, olasılıklar ve puanlar döndürüyor.

İstek başına birden fazla soru

Tek bir çağrı, aynı girdiye ilişkin birden fazla soru taşıyabiliyor; bu da bir metinden birden fazla sinyale ihtiyaç duyan hatlar için tur sayısını azaltıyor. Vercel'in örnekleri şunlar:

• Bir destek ekibinin bilet hangi ekibin ele alacağını seçen bir Choice sorusu,
• Bir mesajın iade talebi içerip içermediğini belirleyen bir Boolean sorusu ve
• Bir öğenin ne kadar acil olduğunu derecelendiren bir Score sorusu.

Eşik mantığı uygulamada kalıyor: Geliştiriciler, sistemin hangi olasılıkta otomatik hareket edeceğine ve bir sonucun ne zaman insan incelemesine gönderileceğine kendileri karar veriyor.

AI Gateway üzerinden erişim

Modellere AI Gateway'in birleşik API'si üzerinden baseten/mammoth-1 ve baseten/elephant-1 adlarıyla erişilebiliyor. Gateway, geliştiricilere zaten birçok modeli çağırmak ve kullanımı ile harcamayı izlemek için tek bir arayüz sunuyor; Vercel, karar çağrılarının da aynı loglarda göründüğünü ve diğer herhangi bir model isteği gibi aynı bütçelere sayıldığını belirtiyor. Vercel, tam soru türleri seti ve ek kullanım ayrıntıları için geliştiricileri karar modelleri dokümantasyonuna yönlendiriyor.

Neden önemli

Yönlendirme, sınıflandırma ve puanlama, ekiplerin dil modellerine emanet ettiği en yaygın işler arasında; ancak bunlar genellikle genel amaçlı bir sohbet modeline prompt verilerek ve düz metin çıktısı ayrıştırılarak yapılıyor. Özel karar modelleri seçenekleri, olasılıkları ve puanları doğrudan döndürüyor; bu da ayrıştırma adımını ortadan kaldırıyor ve eşikleri açık hale getiriyor — hem tam otomasyon hem de bir vakaya insanın bakması gerektiği anın belirlenmesi için faydalı.

Ücretsiz hafta, iki boyutu mevcut bir yönlendirme kurulumuna göre karşılaştırmak için, özellikle de 27B ve 9B varyantların gerçek iş yükleri üzerindeki farkını ölçmek için düşük riskli bir pencere sunuyor. Çağrılar AI Gateway üzerinden aktığı için ekipler, bunları yeni bir sağlayıcı için ayrı faturalandırma ve gözlemlenebilirlik kurmak yerine, diğer modeller için halihazırda kullandıkları loglama, bütçeleme ve kullanım takibi altında değerlendirebiliyor.

Teklif 27 Ekim'e kadar geçerli; Vercel'in duyurusu, kampanya sona erdiğinde hangi fiyatlandırmanın uygulanacağını belirtmiyor.