Vercel, AI Gateway loglarına oturum bazlı maliyet ve yönlendirme detayı gösteren oturum görünümü ekledi

AI trafiğinin oturum bazlı görünümü

Vercel, bir changelog yazısında duyurduğu gibi AI Gateway loglarına Sessions görünümü ekledi. Yeni görünüm trafiği tek tek istemler halinde sunmak yerine, istekleri sohbetlere göre grupluyor ve her birinin session affinity altında nasıl yönlendirildiğini görünür kılıyor.

Her satır, oturumu çalıştıran istemciyi tanımlıyor — Vercel örnek olarak Claude Code, Codex ve Cursor gibi kodlama ajanlarını veriyor — ve bunun yanında oturumun maliyetini,涉及的 model ve sağlayıcıları ile tüm sohbet boyunca girdinin ne kadarının cache'ten geldiğini gösteriyor.

Bir oturum açıldığında cache isabet oranı, süresi ve tur tur bir yol görüntüleniyor. Yol, her turu modeli ve zamanlamasıyla listeliyor; oturumu o anda hizmet veren sağlayıcıyı ve öncekileri de adlandırıyor, böylece bir sohbetin oturum ortasında sağlayıcılar arasında geçip geçmediği görülebiliyor.

Session affinity nasıl çalışır

Session affinity, bir sohbetin her turunu, bir önceki turu işleyen sağlayıcıya gönderir. O sağlayıcı önceki turları zaten işlediği için prompt'un büyük bölümü tipik olarak zaten cache'inde durur; böylece tek bir sağlayıcıda kalan bir sohbet, her prompt'u yeniden işlemek yerine daha büyük bir kısmını cache'ten çekebilir.

Vercel'e göre session affinity, metin ve sohbet isteklerinde varsayılan olarak çalışıyor. Oturumları kendileri tanımlamak isteyen ekipler, bir sohbetteki her istekte providerOptions.gateway içinde aynı sessionId'yi ya da aynı x-session-id başlığını gönderebilir.

Bu iki tanımlayıcıyı da taşımayan istekler, sohbetin nasıl başladığından türetilen bir parmak izine göre gruplanır ve loglarda parmak izli oturumlar olarak görünür.

Oturum listesini filtreleme

Görünüm; tur sayısı, istemci, model, sağlayıcı, kimlik doğrulama ve maliyet için filtreleri destekliyor. Tek turlu oturumlar varsayılan olarak gizlidir ve yalnızca minimum tur filtresi temizlendiğinde görünür — listeden bir oturum eksik gibi görünüyorsa bunu bilmekte fayda var.

Neden önemli

Claude Code ve Cursor gibi ajan tarzı araçlar LLM trafiğinin biçimini değiştiriyor: tek seferlik çağrılar yerine, her turda büyüyen bir bağlamı yeniden gönderen uzun sohbetler üretiyorlar. Bu rejimde prompt caching — ve cache'in sıcak kalması için bir sohbeti tek bir sağlayıcıya sabitlemek — gecikme ve maliyet üzerinde önemli bir kaldıraç olurken, oturum ortasındaki bir sağlayıcı değişimi bu faydayı sessizce heba edebilir.

İstek bazlı loglar bu etkileri görmeyi zorlaştırıyor. Ekiplerin gerçekte sorduğu sorular — bu ajan oturumu neye mal oldu, hangi modellere dokundu, tek bir sağlayıcıda mı kaldı — aynı anda birçok isteği kapsıyor. Analiz birimini oturum yaparak Vercel, gözlemlenebilirliğini işin gerçekten nasıl yapıldığıyla hizalıyor: oturum bazlı maliyet rakamları içsel chargeback ve bütçe incelemelerine uygunken, oturum yolu affinity'nin tutup tutmadığının doğrudan bir kaydı olarak işlev görüyor.

Vercel, gateway'in oturumları nasıl tanımladığına ilişkin daha fazla detay için okuyucuları session affinity dokümanlarına yönlendiriyor.