Dev.to yazısı, AI workflow kabulünün ortalama skorlar yerine zorunlu kontrollere dayanması gerektiğini savunuyor

Argümanın dayandığı benchmark'lar

harshithvaddiparthy'nin dev.to'daki yazısı, OpenAI'nin 6 Ekim'de yayımladığı Advancing computer use with Ironclad makalesinden yola çıkıyor. Yazıya göre OpenAI'nin araştırmacıları, uygulayıcılarla birlikte çalışarak hukuk, ticari ve satın alma süreçlerini kapsayan, her biri 8 ile 50 değerlendirme kriteri taşıyan 11 görev tanımlamış.

OpenAI, Max reasoning seviyesindeki GPT-6 Astra için ortalama rubrik skoru olarak %55.0, High reasoning seviyesindeki GPT-5.6 Sol için %41.6 bildiriyor. Yazar üç uyarı ekliyor: bu rakamlar, bir agent'ın hatasız tamamladığı workflow'ları saymak yerine karşıladığı kriterlerin ortalamasını alıyor; deneme başına 19.2 ve 37.0 dakikalık süreler, müşterilerle ölçülen tasarruflar değil simüle edilmiş tahminler; ve bulgular Ironclad workflow'larını genel olarak değil, yalnızca 11 araştırma görevini ele alıyor.

Ortalamalar bozuk bir onayı yutabilir

Merkezdeki kaygı açık: bir agent, bir workflow'un neredeyse her adımını doğru yapabilir ama zorunlu tek bir onayı bozuk bırakabilir ve bu kusur sağlıklı görünen bir ortalamanın içinde kaybolabilir. Önerilen çözüm, iki şeyi ayrı tutmaktır — ilerlemeyi ölçen bir skor ve bir workflow'un kullanıma alınmasına izin verilip verilmediğine karar veren bir dizi koşul. Yazı, sonraki kısımların Ironclad'in nasıl uygulandığının anlatımı değil, yazarın kendi deseni olduğunu açıkça belirtiyor.

Gereksinimleri bir sürüme sabitleyin

İşlenmiş örnek bilinçli olarak kurgusaldır: vergi hariç kesinlikle 10.000 USD üzeri tutarlarda Finans onayı isteyen bir satın alma politikası. Cent cinsinden ifade edildiğinde sınır 1.000.000'da durur ve gözlemlenebilir durumlar üretir. 999.999 ve 1.000.000 cent'lik tutarlar olağan yolu izler, çünkü kural kesinlikle üzeri der; 1.000.001 cent Finans onayını tetikler; eksik bir tutar sessizce olağan yolu izlemek yerine tamamlanmamış kalır; ve kaydedilmiş bir talebi sınırın ötesinde düzenlemek incelemeye yol açar. Yazar, son ikisini, bir varsayımın policy'ye dönüşmesine izin vermek yerine belirsizliği ortaya çıkarmak amacıyla, süreç sahibinin önce onaylaması gereken ek öneriler olarak işaretliyor. Kabul edilen durumlar belirli bir yapılandırma sürümüne bağlanır; böylece dünkü ayarlara karşı kaydedilmiş bir geçiş, bugünkü değişiklikleri yetkilendiremez.

Toplu skor içermeyen bir kapı

Yazı, süreç sahibinin seçtiği zorunlu kontrol kümesini gezinen kısa bir Python fonksiyonu içeriyor. Yalnızca istenen sürüm için bir kanıt referansı taşıyan açık bir geçiş sayılır; eksik, eski veya kesin olmayan gözlemler doğrulanmamış olarak raporlanır ve boş bir zorunlu küme hata verir, böylece boş bir kontrol listesi geçiş kararı üretemez. Sentetik örnekler, eksik bir kontrolün sonucu hazır değil bıraktığını gösteriyor. Kararda bilinçli olarak toplu bir skor yoktur: isteğe bağlı kontrollerdeki güçlü performans başarısız olmuş bir zorunlu kontrolü telafi edemez ve başarısız ile doğrulanmamış durumlar çıktıda ayrı kalır.

Agent'ın anlatımı dışındaki davranışı gözlemleyin

Bu kapı doğruluğu değil, durumları ve referansları doğrular. Yazar, aynı agent gözlem uydurabiliyor veya zorunlu kümenin üstüne yazabiliyorsa kapının pek güvence sağlamadığına dikkat çekiyor. Önerilen kurulum, güvenli bir ortamda bilinen talepleri gönderen ve talep kimliğini, yapılandırma sürümünü, girdiyi, beklenen sonucu, gerçekleşen sonucu ve destekleyici kanıtı kaydeden ayrı bir test denetleyicisidir; her kanıt referansı, kapıya ulaşmadan önce tam olarak ilgili durum ve sürümle karşılaştırılarak denetlenir. Ekran görüntüleri bir yapılandırmanın nasıl göründüğünü gösterir; yönlendirilmiş bir test talebi ise belirli bir girdi için nasıl davrandığını gösterir. Başarısızlıklar yeniden üretilebilir durumlar olarak saklanmalıdır: kaydedilmiş bir talebin 900.000'den 1.100.000 cent'e çıkarılmasının Finans incelemesini tetiklemediğini not etmek, agent'ın bazı adımları kaçırdığına dair belirsiz bir yorumun aksine bir girdi geçişini ve gözlemlenebilir bir kusuru tanımlar.

Her değişiklikten sonra yeniden kontrol edin

Yapılandırma bir kez değiştiğinde, zorunlu durumlar için yeni gözlemler gerekir; görünür form değişmemiş göründüğü için eski bir geçiş taşınmamalıdır, çünkü yönlendirme gizli alanlara veya sonraki düzenlemelere bağlı olabilir. İlk pilot için yazar, büyük ve belirsiz kontrol koleksiyonları yerine küçük bir zorunlu set tercih ediyor; set, sahipler gereksinimler tanımladıkça veya başarısızlıklar eksik sınırları ortaya çıkardıkça genişletiliyor ve daha geniş rubrik, kabulü henüz hak etmeyen iyileşmeyi görünür kılmak için yanında izleniyor. İnsan emeği — hazırlık, inceleme, onarım ve tekrarlanan testler — model yürütme süresinden ve araştırmanın simüle edilmiş sürelerinden ayrı ölçülmeli. OpenAI'nin yayımı, karmaşık sözleşme süreçlerinde insan gözetimine halen bir rol veriyor ve yazar, kapıyı bu sorumluluğun yerine geçen bir şey olarak değil; neyin geçtiğini, neyin başarısız olduğunu ve kimsenin henüz doğrulamadığını daha net gösteren bir görünüm olarak çerçeveliyor.

Neden önemli

Computer-use agent'ları, tek bir yanlış yönlendirilmiş onayın yuvarlama hatası değil uyum sorunu olduğu kurumsal araçlara doğru ilerliyor. Dev.to argümanı pratik bir seviyede karşılık buluyor: ortalama bir rubrik skoru, ne kadar etkileyici olursa olsun, politikanızın dayandığı o tek kontrolün fiilen tetiklenip tetiklenmediği konusunda hiçbir şey söylemiyor. Kabul kararları, agent'ın kendi raporlaması dışında toplanan açık, sürümlenmiş ve kanıta dayalı zorunlu kontroller gerektiriyor — Ironclad'ın %55'i gibi çarpıcı rakamlar ekipleri bir ortalamanın gücüyle workflow pilotlarına teşvik ettikçe daha da acil hale gelen bir disiplin bu.