· kaynak dev.to (home feed)
AI gateway benchmark'ları neden farklı sonuç veriyor: farklı gecikme aralıklarını ölçüyorlar
dev.to'daki bir analiz, yayımlanan AI gateway benchmark'larının büyüklük mertebeleri kadar farklı sonuçlar vermesinin nedeninin farklı gecikme aralıklarını ölçmeleri olduğunu savunuyor ve gateway karşılaştıran ekipler için yeniden üretilebilir bir k6 yöntemi öneriyor.

Analiz ne savunuyor
Yayımlanan AI gateway benchmark'ları rutin biçimde farklı kazananlar taçlandırıyor ve manşet rakamlar kırk katına varan farklar iddia ediyor. Kasım 2026'da dev.to'da yayımlanan bir analize göre bu uyuşmazlığın yapısal bir nedeni var: çalışmalarda aynı aralık ölçülmüyor. Bazı rakamlar yalnızca gateway süreci içinde geçen süreyi sayıyor, JSON marshalling ve HTTP çağrısını dışarıda bırakıyor. Diğerleri, logging ve harcama takibi kapalıyken istemci tarafında eklenen gecikmeyi raporluyor. Bir kısmı ise production özelliklerini etkinleştiriyor, daha yavaş bir mock sağlayıcıyı hedefliyor ya da birkaç bin istekten oluşan tek bir geçişe dayanıyor. İddiaları Kasım 2026 itibarıyla proje depoları ve dokümantasyonla karşılaştıran yazar, her satıcının yayımladığı çalışmanın o satıcıyı birinci sıraya koyma eğiliminde olduğunu — ve bunun için dürüstsüzlük gerekmediğini, yalnızca ne ölçüleceğine dair bildirilmemiş bir seçim yeterli olduğunu gözlemliyor.
Yayımlanan rakamlar, bağlamlarıyla birlikte
Makale bulabildiği kamuya açık rakamları topluyor ve her birini kimin ürettiğini etiketliyor:
- Bifrost'un yapımcısı Maxim, saniyede 5.000 istekte istek başına kabaca 11 mikrosaniye ek süre raporluyor; ölçüm, JSON marshalling ve upstream çağrısını hariç tutan dahili zamanlamayla yapılmış ve aynı çalışmada yaklaşık 3,3 GB tepe bellek kaydedilmiş.
- LiteLLM'ın Temmuz 2026 çalışmasında, kendi Rust gateway'i için p99 ek gecikme 0,7 ms civarında bulunmuş; Portkey için 2,3 ms, Bifrost için 4,5 ms ve LiteLLM'ın kendi Python gateway'i için 257,7 ms — tek geçişli çalışmalar, yerel bir mock upstream, kapalı logging ve harcama takibi, yazarın önerdiği büyüklük mertebesi okumasıyla.
- Kasım 2026'daki, production özellikleri etkinleştirilmiş bir LiteLLM çalışması, 50 RPS'de medyan ek gecikmeyi 0,9 ms (Rust), 1,2 ms (Bifrost), 2,1 ms (Portkey) ve 79,3 ms (Python) olarak raporlamış; Portkey bu özelliklere sahip olmadığı için listelenen özellikler olmadan çalıştırılmış.
- Maxim ayrıca, eşzamanlılık 64'te Bifrost ile LiteLLM'ın Rust betası arasında yaklaşık 2.720 RPS'lik bir throughput eşitliği bildirmiş, Python ise 180 RPS civarında kalmış — ancak Bifrost SQLite logging açıkken, LiteLLM logging kapalıyken çalışmış ve ikinci bir çalışma p99 sıralamasını tersine çevirmiş.
- Kong, Temmuz 2025'te, plugin'siz yalnızca proxy karşılaştırmasında ve her ikisinin de eski sürümlerine karşı Portkey'den %200'den, LiteLLM'dan %800'den fazla hızlı olduğunu iddia etmiş.
- Rakip bir Go gateway geliştiren Ferro Labs'tan bir mühendis, Kong'u 1.000 sanal kullanıcıda saniyede yaklaşık 15.900 istekte, Portkey'i saniyede 850 istekte platoya ulaştığında, LiteLLM'ı saniyede yaklaşık 175 istekle sınırlı ve Bifrost'u 300 VU üzerinde başarısız olduğunda ölçmüş — tek bir 8 vCPU'lu VM, varsayılan yapılandırmalar ve yazarın açıkça belirttiği çıkar çatışması.
Analiz ayrıca Kaeso'nun yayımlanmış benchmark'larının bulunmadığını ve Gatebench adlı açık bir benchmark girişiminin sürmekte olduğunu ekliyor.
Zaman gerçekten nereye gidiyor
Ürün adı her ne olursa olsun, istek başına yapılan iş benzer: çağıran tarafın anahtarını doğrulamak, isteği çözmek, model takma adlarını somut bir sağlayıcıya çözümlemek, bütçe ve hız limitlerini uygulamak, upstream kimlik bilgisini seçip şifresini çözmek, kodlayıp göndermek, token akışları dahil yanıtı aktarmak ve token, maliyet ve metadata'yı kaydetmek. Dil tercihi esas olarak CPU'ya bağlı adımlarda — akışları ayrıştırma, çevirme ve aktarmada — kendini gösteriyor. Yavaş hissedilen kurulumlar genellikle başka yerlerde yavaşlıyor: kimlik doğrulama, limitler ve logging çoğunlukla bir veritabanına ya da Redis'e dokunuyor ve her istekte Postgres'e eşzamanlı yazan bir gateway, logları eşzamansız kaydeden daha yavaş bir dildeki gateway'in gerisinde kalabilir.
Makale ayrıca orantı için bir sav sunuyor: barındırılan bir chat completion yaygın olarak yüzlerce milisaniye ya da birkaç saniye sürüyor; dolayısıyla 1 ms ile 5 ms arasındaki ek yük farkı kullanıcı tarafından algılanamıyor. Ek yükün önemli olduğu üç yer var — gateway'i otuz kez geçen ve her geçişin kritik yolda olduğu agent döngüleri, CPU'ya bağlı runtime'ların kuyruğa girdiği tepe eşzamanlılıktaki p99 kuyrukları ve replica sayıları; onun yerine bir replica gerektirmek, algılanan gecikmeden bağımsız olarak bir compute, bellek ve nöbet maliyeti.
Ekiplerin yeniden çalıştırabileceği bir yöntem
Önerilen tarif için laboratuvar gerekmiyor: yapılandırılabilir gecikmeli (300 ms'den başlayan) ve SSE parçalarını ayrı bir makineden yayan bir mock sağlayıcı; 50'den 300'e, oradan 1.000 sanal kullanıcıya çıkan bir k6 rampa senaryosu; önce mock'a karşı bir taban çizgisi, ardından her gateway önde olacak şekilde, her eşzamanlılık aşamasında p50, p95 ve p99 için ek gecikmenin — gateway eksi taban çizgisi — raporlanması; anahtar başına kimlik doğrulama, bütçeler, hız limitleri, logging ve bir fallback route dahil, production özellikleri açıkken ikinci bir geçiş. Ayrıca CPU çekirdeklerinin, replica başına tepe belleğin ve sağlayıcıdan önceki her ağ durağının kaydedilmesini, toplam çekirdeğe bölünerek daha adil bir verimlilik rakamı elde edilmesini ve yapılandırmanın yanında yayımlanmasıyla her şeyin üç kez çalıştırılmasını istiyor; zira yapılandırması olmadan gelen rakamlar şüpheyi hak ediyor.
Neden önemli
Gateway altyapısı seçen ekipler, büyük ölçüde sonuçta çıkarı olan taraflarca üretilen ve farklı şeyleri ölçen rakamları karşılaştırıyor. dev.to analizine göre faydalı yeniden çerçeveleme şu soruyu sormak: kullanmayı planladığın özellikler etkinleştirildiğinde, gateway'in beklenen tepe eşzamanlılığında p99'yu kararlı tutmak için ne kadar CPU ve belleğe ihtiyacı var — ve bunu, tekrarlanıp yayımlanacak kadar basit bir ölçümle yanıtlamak.
- #ai
- #benchmarks
- #api-gateways
- #latency
- #infrastructure
- #k6