Tymfi Labs kıyaslaması: en iyi yapay zeka ajanı 100 canlı Kubernetes olayının yüzde 79'unu çözdü

Raporı değil, sistemi puanlamak

Tymfi Labs, yapay zeka SRE ajanları için puanın nereden geldiğini merkezi tasarım kararı olarak alan bir kıyaslama yayımladı. dev.to'daki bir şirket yazısına göre her olay, Kubernetes üzerinde çalışan bir microservices dağıtımına enjekte edilen gerçek bir arızayla başlıyor — frontend, sepet, ödeme, kart, Kafka, Postgres ve feature-flag servislerinden oluşan bir mağaza. Ardından ajana yalnızca bir belirti ile sayfa gönderiliyor, örneğin arama isteklerinin yüzde 30'unun zaman aşımına uğradığı bildirimi. Ajan, kubectl ve standart Linux araçları sunan kısıtlı bir terminalden çalışıyor; internet erişimi yok ve her modelle aynı komut bütçesi ile süre sınırı geçerli.

Başarı, ajanın raporuna değil canlı sisteme bakılarak belirleniyor. Denetçi, kullanıcı yolculuğunun uçtan uca çalıştığını, düzeltmenin bir bekleme penceresi boyunca korunduğunu, servisin yeniden başlatmaya dayandığını ve bu sırada başka hiçbir şeyin değişmediğini doğruluyor. Sonrasında her şey ne kadar sağlıklı görünse de bazı kısayollar girişimi doğrudan başarısız kılıyor: namespace'i silmek, bir servisi sıfır replikaya ölçeklemek, izlemeyi devre dışı bırakmak, health check'leri kaldırmak veya denetçinin kendisine müdahale etmek.

Yazı, bu uçurumu bir tuzak senaryosuyla örnekliyor. Bir search dağıtımı, CPU'su yüzde 99'da çalışırken tek replikayla sınırlı bir autoscaler arkasında duruyor. Autoscaler'ı yok sayıp dağıtımı basitçe dört replikaya ölçekleyen ajan, tüm replikaların hazır olduğunu görür, başarı bildirir ve kabaca kırk saniye sonra tekrar aşağı ölçeklenir. Bu girişim başarısız sayılır.

2. baskı sonuçları

Mevcut baskı, sekiz katmana yayılmış 100 olayı kapsıyor ve her model her olaya bir kez girişiyor. Tymfi Labs, doğrulanmış başarı oranlarını ve çözüm başına maliyetleri şöyle açıklıyor:

• Gemini 4 Argon: yüzde 79, çözüm başına 0,35 dolar
• Claude Opus 5.5: yüzde 77, 0,26 dolar
• GPT-6.1 Sol: yüzde 75, 0,11 dolar
• Claude Sonnet 5.5: yüzde 64, 0,11 dolar
• Kimi K3: yüzde 60, 0,44 dolar
• GLM-5.3: yüzde 54, 0,26 dolar
• DeepSeek V4 Pro: yüzde 45, 0,08 dolar

İlk üç model birbirinin dört puan içinde — yazıya göre tek deneme formatı göz önüne alındığında, bu fark o kadar küçük ki skor tablosu her başarı oranının yanına yüzde 95'lik bir aralık da yazıyor. Maliyetler daha belirgin biçimde ayrışıyor: GPT-6.1 Sol bir olayı, Gemini 4 Argon'un harcadığının kabaca üçte birine çözüyor ve dört puan daha düşük skor alıyor. Lider bile yaklaşık her beş olaydan birini kırık bırakıyor.

Çoklu arıza bulgusu

Şirketin en kaygı verici bulduğu sonuç, henüz herkese açık tabloda yer almayan bir pilot çalışmadan geliyor. Aynı checkout yolculuğuna iki bağımsız arıza yerleştirildiğinde Claude Opus 5.5 on olayın üçünü çözdü. Yedi başarısızlığın altısında ajan bir arızayı onardı, hata oranının düştüğünü gördü ve durdu — doğru görünen bir rapor üretirken yolculuğu kırık bıraktı. Tymfi Labs'a göre bu, transkript tabanlı bir puanlayıcının asla yakalamayacağı başarısızlık modunun ta kendisi.

Güvenceler ve belirtilen sınırlar

Canlı arıza senaryolarını dürüst tutmak için şirket, her senaryonun yayımlanmadan önce beş kez kanıtlandığını söylüyor: enjekte edildiğinde kırık, bilinen bir referans çözümle düzelen ve sonrasında tam olarak geri yüklenen. Her skor, çalıştırılan senaryo sürümünün hash'ine dayanıyor; böylece bir senaryo değiştiğinde sonuçlar sessizce kaymıyor ve ortam her denemeden sonra geri yüklenerek bir sonraki deneme aynı durumdan başlıyor.

Belirtilen sınırlar da önemli. Kıyaslama yalnızca Kubernetes'i, tek bir microservices ortamını kapsıyor; başka bir stack'te veya çıplak VM'lerde başarılı olan ajanlar ölçülmüyor. Format pass@1. Ve yalnızca düzeltmeyi sınıyor — SRE pratiğinin geri kalanı, yani sayfa bildirimi görgü kuralları, postmortem'ler ve müşteri iletişimi kapsam dışı. Çoklu arızalı olaylar inşa edilip doğrulandı ama sonraki bir baskıda gelecek.

Ajanı buna karşı çalıştırmak

Kıyaslama bir MCP server olarak geliyor, dolayısıyla herhangi bir MCP istemcisi bağlanabiliyor; yazı Claude Code'dan tek satırlık bir kurulum gösteriyor ve ChatGPT ile Cursor'ın aynı şekilde çalıştığını söylüyor. Bir çalıştırma; kıyaslama seçimi, ortam hazırlığı, sayfayı alma, sandbox içinde shell erişimi, rapor gönderimi ve sonuç alma olmak üzere altı araç kullanıyor. Kullanıcılar alternatif olarak doğrudan bir model anahtarı verebilir; OpenRouter üzerinden erişilebilen her model dahil. İlk üç çalıştırma ücretsiz, sonrasında saniye başına 0,001 dolar.

Neden önemli

Ajan değerlendirmelerinin çoğu modelin söylediğini puanlar ki bu, operasyonlar için zayıf bir göstergedir: üretim ortamı için önemli olan özetin güzel okunması değil, sistemin çalışmasıdır. Canlı sistemde kurtarmayı doğrulayarak — bekleme pencereleri, yeniden başlatmalar ve yıkıcı kısayollara yasak — bu kıyaslama, operatörlerin bir ajana pager teslim etmeden önce gerçekten ihtiyaç duyduğu özelliği ölçüyor. Sayılar kıyarlamanın satıcısı tarafından kendisi bildiriliyor ve tek bir ortamı yansıtıyor, ama örüntü öğretici: en iyi model hâlâ yaklaşık her beş olaydan birini kırık bırakıyor ve katmanlı arızalar performansı onda üçe düşürüyor. Birbirine yakın başarıcılar arasındaki üç kat maliyet farkı da ajan geliştiricileri için güvenilirlik ile verimliliğin ayrı ayarlar olduğunu düşündürüyor. Gelecek planlar arasında aynı olaylar üzerinde pekiştirmeli öğrenme eğitimi var; ödüller canlı sistem tarafından doğrulanacak şekilde.