OpenAI'nin İki WebSocket Modu Açıklandı: Ajanlar için Responses API, Ses için Realtime API

OpenAI'nin API'leri yalnızca istek-yanıt HTTP ile sınırlı değil. Şirket ayrıca iki WebSocket modu sunuyor: biri ajan tarzı iş yükleri için Responses API'ye bağlı, diğeri konuşma için Realtime API'yi oluşturan mod. Aralarındaki seçim iki haneli performans kazanımları değerinde olabilir. dev.to'da yayımlanan uygulamalı bir rehber ikisini de ele alıyor ve yirmi veya daha fazla ardışık tool çağrısı yapan ajan iş akışlarının kalıcı bir socket'e taşındığında uçtan uca yaklaşık %40'a kadar daha hızlı çalıştığını bildiriyor.

HTTP'nin getirdiği ek yük

OpenAI'ye yapılan her düz HTTP çağrısı, tek bir oturum içinde bile tekrarlanan maliyetler taşır: bağlantı açma, kimlik doğrulama ve sunucunun fiilen zaten görmüş olduğu konuşma bağlamını gönderme. dev.to rehberine göre bu sabit maliyet, bir ajanın yaptığı her tool çağrısına ve bir ses oturumunda alınıp verilen her parçaya biner.

Bir WebSocket bağlantısı bunu ortadan kaldırır. İstemci tek bir HTTP upgrade el sıkışması yapar, ardından tek bir uzun ömürlü, çift yönlü bağlantı tutar. Sunucu o bağlantı için oturum durumunu korur ve iki taraf, eşleşen istek-yanıt çiftleri yerine ayrık JSON olayları alışverişinde bulunur.

Responses API modu: tool çağıran ajanlar için

Responses API WebSocket endpoint'i, ardı ardına birçok tool çağrısı zincirleyen ajan iş akışlarını hedefler; kodlama asistanları, orkestrasyon sistemleri ve otonom ajanlar gibi.

Mekanizma, en son yanıtı tutan bağlantıya yerel bir bellek içi önbellektir. Bir turu sürdürmek için istemci yalnızca son yanıta bir referans ve yeni girdi öğelerini — tool sonuçları veya izleyen mesajlar gibi — gönderir; sunucu tüm geçmişi yeniden işlemek yerine önbellekteki durumu yeniden kullanır. İstek başına kurulumun ortadan kalkmasıyla birlikte, rehberde alıntılanan OpenAI rakamları, yirmi veya daha fazla tool çağrısı olan iş akışlarını HTTP karşılıklarından yaklaşık %40'a kadar daha hızlı gösteriyor.

Rehber ayrıca hem Zero Data Retention hem de store=false yapılandırmalarıyla uyumluluğa dikkat çekiyor; bu da modu gizliliğe duyarlı dağıtımlar için geçerli kılıyor.

Realtime API modu: konuşma için

İkinci mod, düşük gecikmeli, konuşmadan konuşmaya uygulamalar için tasarlandı. Ses parçaları kaydedildikçe akar; transkripsiyonlar ve üretilen ses geri akar, metin girdisi ve çıktısı da karma arayüzler için yanında desteklenir.

Doğal konuşma işinin çoğunu iki özellik görür. Kesinti işleme, kullanıcı yeniden konuşmaya başladığında üretimi durdurur; semantik ses etkinliği algılama ise bitmiş bir söyleyişi yalnızca bir duraklamadan ayırt eder. Mod, ses ve metin genelinde GPT-4o'nun yerel çok modlu yeteneklerine doğrudan erişim verir ve 500ms altı gecikmeler için tasarlanmıştır; rehber bunu gerçek zamanlı ses için hedef olarak sunuyor.

HTTP'nin hâlâ kazandığı durumlar

Rehber, kalıcı bir socket'in her zaman daha iyi bir seçenek olmadığını açıkça belirtiyor. Bir iş akışı kabaca on veya daha fazla ardışık tool çağrısına ulaştığında, ya da uygulama gecikmeye duyarlıysa ya da sunucunun polling yapmadan güncelleme göndermesi gerekiyorsa WebSocket kendini amorti ediyor.

Bu eşiğin altında HTTP uygulamak ve hata ayıklamak için daha basit kalır ve load balancer'larla proxy'lerin arkasında iyi davranır. Durumsuz iş yükleri oturum durumundan bir şey kazanmaz; ayrıca serverless fonksiyonlar veya bazı proxy'ler gibi ortamlar uzun ömürlü bağlantılara hiç izin vermeyebilir.

Ödünleşimler WebSocket tarafında da gerçek. Rehberin karşılaştırması bellek ek yükünü Responses modu için orta, Realtime oturumları için orta-yüksek olarak derecelendiriyor; uygulama karmaşıklığı da benzer şekilde orta ile yüksek arasında. Bağlantı kurulumu her iki şekilde de kabaca 100 ila 300ms sürer; ancak HTTP bunu her istekte öderken WebSocket istemcisi bir kez öder — rehber bu rakamları bağımsız benchmark'lardan değil OpenAI'nin dokümantasyonuna ve topluluk testlerine atfediyor.

Neden önemli

Ajan döngüleri ve ses arayüzleri, çağrı başına ek yükün biriktiği iş yüklerinin tam kendisi: düzinelerce tool çağrısı yapan bir ajan ya da yarım saniyenin altında yanıt vermesi gereken bir ses asistanı, her turda bağlantıyı yeniden müzakere edemez. Taşıma seçimini, ajan iş akışlarında yaklaşık %40'lık bildirilen bir üst sınırla ölçülebilir bir performans kolu olarak çerçevelemek, geliştiricilere somut bir karar kuralı verir. Ara sıra yapılan, durumsuz çağrılar HTTP'de kalır; yüksek çağrı hacmi veya akış gecikmesi olan her şey bir socket'e taşınır.

Uyarı kaynağa dair. Öne çıkan rakamlar OpenAI'nin kendi dokümantasyonundan ve tek bir blog yazısında aktarılan topluluk testlerinden geliyor; bu yüzden her iki modu da benimseyecek ekipler, ek uygulama ve altyapı karmaşıklığına girmeden önce kazanımları kendi iş yükleriyle doğrulamalı.