Experiential, agent trafiğini yönlendirmeyi öğrenen OpenAI uyumlu bir gateway'i open source yaptı

Experiential ne yapıyor

Experiential Labs, model gateway ve router'ını open source olarak yayınladı. GitHub deposuna işaret eden bir Show HN gönderisiyle duyurulan proje, agent iş yükleri için tasarlandı: bir ekibin kullanabileceği her modelin önünde tek bir katman olarak duruyor — hosted sağlayıcılar, kendi anahtarlarınızla erişilen modeller, yerel modeller ve özel modeller.

README'ye göre gateway, bunların tümünü tek bir OpenAI uyumlu API üzerinden sunuyor; yöneticilerin hangi kullanıcı ve agent'ların hangi modelleri hangi kullanım durumları için ve hangi harcama limitleriyle çağırabileceğine karar vermesine izin veriyor ve — öne çıkan özellik — üretim trafiğini kullanarak belirli bir iş yükü için kalite, hız ve maliyet arasında denge kuran özel bir router ya da fine-tune edilmiş bir model uyarlayabiliyor. Hacker News başlığı bu vaadi net bir şekilde ortaya koyuyor: kullanımı daha iyi bir modele dönüştürmeyle ilgili bir gönderi.

Birkaç komutla yerel gateway

Yerel yol bilinçli olarak kısa. pip install experiential çalıştırıp ardından exp ile gateway loopback üzerinde başlatılıyor; ilk çalıştırma sihirbazı sağlayıcı, model ve reasoning-effort seçimini hallediyor, her sağlayıcı bağlantısını hatırlıyor ve tek seferlik bir anahtar yazdırmadan önce herkese açık bir alias, bir kimlik ve 50,00 dolarlık bir komut bütçesi için varsayılanlar öneriyor. İstekler daha sonra herhangi bir OpenAI çağrısı gibi görünüyor — README, opus-5 gibi bir model alias'ı kullanarak yerel /v1/chat/completions endpoint'ine yapılan bir curl örneği gösteriyor.

Python kullanıcıları ham HTTP'yi tamamen atlayabilir: exp.load_router("my-project"), gateway'in derlenmiş native data plane'inden sunulan uyarlanmış bir proje router'ına dayanan, resmi OpenAI SDK gibi davranan bir client döndürüyor.

Hosted seçenek ve agent yönlendirmeli kurulum

Gateway'i kendisi işletmek istemeyen ekipler, README'ye göre aynı OpenAI uyumlu API'yi — artı Anthropic'in Messages formatını — şirketin yönetilen endpoint'inden sunan hosted platformu kullanabilir. Kurulum dokümanı, Claude Code, Cursor veya Codex gibi bir coding agent'a verilmesi amaçlanan kopyala-yapıştır prompt'ları içeriyor; böylece agent kendi yapılandırmasını kendisi yapıyor.

Bring-your-own-key OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks ve OpenRouter'ı kapsıyor; README'ye göre trafik ek ücret olmadan geçiyor. Onboarding akışı ayrıca ekiplerin mevcut LLM izlerini telemetry olarak platforma yüklemesine, geçmiş harcamalarını içe aktarmasına ve ardından Aider ile Conductor gibi araçları — yukarıdaki coding agent'larla birlikte — gateway'e yönlendirmesine izin veriyor.

Optimizasyon döngüsü

Experiential'ı genel bir agregatörden ayıran şey geri bildirim döngüsü. Başlangıç noktası, mevcut agent'ınızdan gelen OpenTelemetry izleri; elinde iz olmayanlar için Experiential, Hugging Face üzerinde herkese açık bir terminal-tasks OTLP veri seti yayınladı. exp build support-agent gibi bir komut daha sonra bu izlerden bir simülasyon oluşturuyor ve router'ı buna karşı optimize ediyor; bu sırada sağlayıcıları, modelleri ve bütçeyi adım adım ele alıyor.

Döngü oradan devam ediyor: router gerçek trafiğe hizmet vermeye ve kendi izlerini üretmeye başladığında, exp optimize model support-agent Tinker kullanarak sahip olduğunuz bir open source modeli fine-tune ediyor. Gateway'in logları eğitim sinyaline dönüşüyor ve sonuç, genel bir model değil, gerçek istek dağılımınız tarafından şekillendirilen bir model oluyor.

Telemetry ve proje hijyeni

Anonim, toplu PostHog ürün telemetry'si varsayılan olarak etkin. README, buna asla prompt'lar, izler, aksiyonlar, gözlemler, yollar, model adları, kimlik bilgileri veya ham müşteri içeriğinin dahil edilmediğini belirtiyor; exp config telemetry disable ile devre dışı bırakılabiliyor ve bu tercih yerel olarak .exp/settings.toml içinde saklanıyor. Depo uv ile geliştiriliyor, ruff ile formatlanıp lint ediliyor, ty ile tip kontrolünden geçiriliyor ve pytest ile test ediliyor.

Neden önemli

Yönlendirme, LLM altyapısının en hareketli köşelerinden biri haline geldi ve çoğu gateway katalog genişliği ya da fiyat üzerinden yarışıyor. Experiential'ın bahsi farklı: yönlendirme katmanının taşıdığı trafikten öğrenmesi gerektiği — kendi izlerinizin hem yönlendirme politikasını hem de nihayetinde fine-tune edilmiş bir modeli üretmesi. Uyarlanmış router'lar gerçek iş yüklerinde statik kurallardan ölçülebilir şekilde daha iyi performans gösterirse, bu gerçek bir hendektir — sizin loglarınıza sahip başkası yok. OpenAI ve Anthropic uyumlu yüzeyler geçiş maliyetini düşük tutuyor ve agent yönlendirmeli onboarding hedef kitleyi netleştiriyor: coding agent'ları bir düzine model arasında bütçe yakıp bu harcamayı gözlemleyip şekillendirebilecekleri tek bir yer arayan ekipler. Her öğrenilmiş sistemde olduğu gibi açık soru değerlendirme — dünkü izlerden kurulan bir simülasyonun yarının trafiğine yetişip yetişemeyeceği.