Vercel AI Gateway, API key'ler ve app token'lar genelinde kullanıcı başına dolar bütçesi ekledi

Vercel, AI Gateway'sine kullanıcı başına harcama limitleri ekledi ve böylece ekiplere her üyenin model kullanımında ne kadar harcayabileceğini doğrudan sınırlama imkânı verdi. Şirketin changelog kaydına göre bir kullanıcı bütçesi, o kişiye ait tüm API key'lerin yanı sıra app token'larını da kapsıyor; limit dolduğunda gateway, bütçe sıfırlanana ya da biri limiti yükseltene kadar yeni istekleri reddediyor.

Bütçeler nasıl yapılandırılır

Kontroller Budgets sayfasındaki Users görünümünde yer alıyor ve iki tür var. Varsayılan bütçe, özel limiti olmayan her üyeye ayrı ayrı uygulanıyor; daha sonra ekibe katılanlar dahil. Böylece her birey, ortak bir havuzdan çekmek yerine kendi ayrı ödeneğini alıyor. Özel bütçe ise tek bir kişi için varsayılanı geçersiz kılıyor ve kaldırıldığında kişi varsayılana geri dönüyor.

Yenileme dönemleri varsayılan olarak aylık, ancak Vercel bunların günlük veya haftalık olarak değiştirilebileceğini ya da hiçbir zaman sıfırlanmayacak şekilde ayarlanabileceğini belirtiyor. E-posta uyarıları da destekleniyor; kullanıcılar tahsisatlarının %50, %75 veya %100'üne ulaştıklarında haberdar ediliyor.

Mevcut limitlerin üzerine katmanlanıyor

Kullanıcı bütçeleri, Vercel'in zaten sunduğu API key, proje ve ekip bütçelerinin yerine geçmiyor. Bir isteğin, kendisine uygulanan her bütçenin içinde kalması gerekiyor ve bu limitlerden herhangi birinin aşılması isteği engelliyor. Dolayısıyla kullanıcı başına limit, daha kaba kontrollerin yerine geçen bir mekanizma değil, onların üzerine eklenen bir kısıt niteliğinde.

Burada atıf önemli. API key'ler varsayılan olarak onları oluşturan kullanıcıya hesaplanıyor. Bu yüzden Vercel, üretim uygulamalarına ya da diğer paylaşılan iş yüklerine ait key'leri API Keys sayfasından ekibe yeniden atayıp harcamalarının oluşturan kişinin bütçesinin dışında tutulmasını öneriyor. Bu özellik yayına girmeden önce oluşturulan key'ler geriye dönük uyumluluk için ekibe atfedildi; yani mevcut kullanımı kullanıcı düzeyinde izlemek isteyen ekiplerin yeni key'lere geçmesi gerekecek.

Bir istisna daha: Bring Your Own Key (BYOK) kimlik bilgileriyle yapılan harcama kullanıcı bütçelerine dahil edilmiyor.

CLI ve izinler

En yeni Vercel CLI aynı kontrolleri sunuyor. vercel upgrade komutunu çalıştırdıktan sonra, varsayılan kullanıcı bütçesi vercel ai-gateway budgets defaults set user --limit 50 --refresh-period monthly ile, üye bazlı bir özel bütçe ise vercel ai-gateway budgets set user [email protected] --limit 100 --refresh-period monthly ile ayarlanabiliyor. Üyeler e-posta adresi, kullanıcı adı veya kullanıcı kimliğiyle tanımlanabiliyor.

Kullanıcı bütçelerini varsayılan olarak ekip sahipleri yönetiyor ve bu yetkiyi, ekip üyesi ayarlarından diğer üyelere AI Gateway Budget Manager izni vererek devredebiliyorlar.

Neden önemli

Vercel bu özelliği, otonom kodlama ajanları ve insan gözetimi olmadan para harcayan diğer iş yükleri için bir güvence mekanizması olarak konumlandırıyor; zira kontrolsüz tek bir oturum bile ekibin paylaşılan tahsisatını tüketeabilir. Kullanıcı başına limitler, harcama kontrolünü, bir organizasyonda hesap verebilirliğin genellikle bulunduğu düzey olan bireylerin seviyesine indirirken, katmanlı zorunluluk key-, proje- ve ekip düzeyindeki limitleri koruyor. İki noktaya dikkat çekmek gerekir: eski key'ler yenilenene kadar sistemin dışında kalıyor ve BYOK trafiği bu sisteme görünmüyor; dolayısıyla ikisine de bel bağlayan ekiplerin tamamlayıcı bir izleme yöntemine ihtiyacı olacak.