Coinbase'in Autopilot'ı, yapay zeka destek botu prosedürlerini test edilebilir ve sürümlü yazılım olarak ele alıyor

Prosedürler sürümlü karar ağaçları

Destek botları, veri erişimi, dallanma koşulları ve bitiş durumlarını kapsayan yapılandırılmış karar ağaçlarını izliyor; bunlar kısıtlı bir alan özelinde dil (DSL) ile ifade ediliyor. Prosedürler düz metin değil de koda benzer yapılar olduğu için, yığının herhangi bir yerindeki küçük değişiklikler davranışı değiştirebiliyor: bir prosedürü düzenlemek, farklı bir model takmak ya da bir veri arayüzünü değiştirmek sonuçları sessizce kaydırabiliyor. dev.to'daki anlatıma göre Autopilot'un temel önkabulü, doğruluğun tek seferlik bir lansman testi değil, süregiden bir bakım görevi olduğu.

Keşif ve notlandırma ayrışıyor

Autopilot, sorumlulukları bilinçli olarak iki tür bileşen arasında paylaştırıyor. Yapay zeka ajanları, olağan dışı müşteri davranışlarını inceleme ve kötüye kullanım arama gibi dil yorumlama ile uçsuz bucaksız keşiften yararlanan işleri üstleniyor. Deterministik servisler ise fixture'lar, sürüm kontrolleri ve tutarlı notlandırmayı içeren test altyapısını sağlıyor. Buradaki gerekçe, keşfin ancak sonuçlar yeniden üretilebildiğinde faydalı olduğu; bu yüzden keşif tarafı deterministik bir notlandırma katmanıyla eşleştiriliyor.

Botlar arasında paylaşılan test sözleşmeleri

Prosedürler ve onlara eşlik eden test sözleşmeleri beş öğeyi belirtiyor: müşteri senaryosu, sahte hesap durumu, beklenen davranış, test edilen bot ve değerlendirilen yön. Sözleşme standartlaştırıldığı için tek bir test planı, özdeş girdiler ve özdeş notlandırmayla hem Coinbase'in kendi botuna hem de ortak botlara karşı çalışabiliyor. Bu paylaşılan altyapı, performansı farklı ajanlar arasında anekdota dayalı değil karşılaştırılabilir kılan şey.

Niyet hacmi öncelikleri belirliyor

Coinbase, müşteri niyetini prosedürlerden ve ürün alanlarından ayrı sınıflandırıyor; ardından hangi akışların iyileştirileceğini niyet hacmini çözüm oranları ve müşteri memnuniyeti (CSAT) puanlarıyla birleştirerek sıralıyor. Yoğun kullanılan ama zayıf performans gösteren niyetler önce ilgileniliyor. dev.to yazısının özetlediği Agentic Affairs'taki uzun analizlere göre, niyet sınıflandırması Help Center'ın yanı sıra sohbet ve ses kanallarını da kapsıyor.

İnsanlar karar noktalarında kalıyor

Botlar yargı gerektiren vakaları üst birime aktarıyor ve insanlar prosedür yazma döngüsünde yer almaya devam ediyor. Beyan edilen amaç, manuel bakım çabasını azaltırken önemli noktalarda insan yargısını korumak; insanları destek operasyonlarından tamamen çıkarmak değil.

Anlatımın göstermediği şeyler

d.to yazısı kanıtların sınırları konusunda açık sözlü. Coinbase'in tanımı ayrıntılı bir mimari sunuyor ama dağıtım sonrasına dair nicelleştirilmiş sonuç yok: test süresinde ölçülmüş bir azalma ya da öncesi-sonrası çözüm veya CSAT rakamları yok. Bahsedilen referans noktası, günler sürebilen tek bir kullanıcı kabul testi döngüsü, Autopilot'un kanıtladığı bir iyileşmeden çok ondan önceki dünyayı tarif ediyor.

Neden önemli

Yapay zeka desteği hakkındaki tartışmaların çoğu botun kendisine odaklanıyor; ama kalıcı mühendislik problemi, modeller, veri arayüzleri ve prosedürler değiştikçe botları doğru tutmak. Autopilot, bu bakım döngüsünün üretim ölçeğinde bir örneği: sürümlü davranış, paylaşılan test sözleşmeleri, ajan keşfinin üzerine katmanlanmış deterministik notlandırma ve gerçek kullanım sinyalleriyle belirlenen önceliklendirme. Bu desenler, alanı ne olursa olsun üretimde LLM ajanı çalıştıran her ekibe aktarılabilir. Uyarı da aynı şekilde aktarılabilir — mimari ayrıntı sonuç verisi değildir ve okuyucular tasarımı, yayımlanmış metriklerin yokluğuyla birlikte tartmalı.