DoGBench: Kullanıcıya yönelik dokümantasyon için ilk benchmark'ta hiçbir ajan 100 üzerinden 55'i geçemedi

Dokümantasyon çalışması için bir benchmark

Hacker News ana sayfasına çıkan DoGBench adlı yeni benchmark, yapay zekâ ajanlarını son kullanıcıların gerçekten okuduğu kullanıcıya yönelik yazılım dokümantasyonu — kılavuzlar, referanslar ve eğitim içerikleri — üzerinde değerlendiren ilk çalışma olduğunu iddia ediyor. Genel yazma yeteneğini test etmek yerine, bir ajanın dokümantasyonun ne zaman güncellenmesi gerektiğini fark edip edemediğini ve uzman incelemesinden geçebilecek bir patch üretip üretemediğini ölçüyor.

dogbench.ai'de yayımlanan araştırmaya göre benchmark; Helm, PostHog, Mautic ve Doc Detective dahil gerçek açık kaynak projelerinden alınan 292 görev içeriyor. Bunlardan 205'i bir dokümantasyon değişikliği, 87'si ise dokümantasyonu değiştirmemek gerektiriyor. Ana değerlendirme, katmanlı 117 görevlik ayrılmış bir küme kullanıyor: 82'si güncelleme gerektiren, 35'i güncelleme gerektirmeyen görevler.

Her ajan, değişiklikten önceki haliyle depoyu ve bir code pull request ya da bildirilen bir dokümantasyon eksiği gibi bir tetikleyici sinyali alıyor. Birleştirilmiş dokümantasyon ise ajanlardan gizleniyor. Patch'ler; doğruluk, eksiksizlik, okuyucu yönlendirmesi, yerleşim, üslup ve depo kurallarını kapsayan ve proje bakımcılarıyla doğrulanan göreve özel değerlendirme ölçekleriyle puanlanıyor. Dokümantasyon gerektiren 205 görev genelinde ölçeklerde 3.273 kriter var; bunların 798'i, diğer güçlü yanlara bakılmaksızın bir patch'in puanını 100 üzerinden 60 ile sınırlayan P0 seviyesinde — kritik — hatalar.

Genel olarak düşük puanlar

Sonuçlar göz açtırıcı cinsten. Makalede raporlanan yedi model-ve-altyapı şeridi arasında en iyi birleşik puan 100 üzerinden 47,3 oldu; bu puanı OpenCode ile çalışan Qwen3.8 Max elde etti. Genel sıralama tablosu, aynı küme üzerinde değerlendirilen üç bulut ajan sistemi daha ekliyor ve oradaki en iyi giriş — bir bulut ajanı — bile yalnızca 54,8'e ulaşabiliyor. DoGBench ekibi, bu puanların insan uzmanına göre performans değil, uzman standardına doğru kaydedilen ilerlemeyi ölçtüğünü belirtiyor.

Güvenilirlik, ham kaliteden daha büyük bir sorun. Makaledeki yedi şeridin arasındaki en yüksek P0-temiz teslim oranı %39,0'tı: GPT-5.6 Sol ile Codex, güncelleme gerektiren 82 ayrılmış görevden yalnızca 32'sinde kritik hata içermeyen bir patch üretebildi.

Ajanlar nerede başarısız oluyor

Araştırma iki tekrarlayan hata biçimi tespit ediyor. İlki karar verme: Bir değişikliğin kullanıcıları hiç etkileyip etkilemediğine karar vermek. Ajanlar iki yönde de hata yapıyor — kimileri yeni kullanıcı yönlendirmesi gerektirmeyen dahili refactor veya performans çalışmaları için dokümantasyon yazarken, kimileri da özellikle çözmesi gereken sorunun o olduğu halde, özellikle ilgili mevcut bir sayfa bulamadıkları için gerekli güncellemeleri atlıyor.

İkincisi eksiksizlik. Bir patch akıcı okunabilir ve doğru bilgiler içerebilir ama bir ön koşulu, bir karar noktasını veya kritik bir adımı atlayabilir. 1.267 gönderimin yapıldığı daha geniş bir denetimde %45,5'inde eksik ön koşul, işlem adımı, doğrulama adımı veya kurtarma yolu gibi bir görev tamamlama eksiği vardı; %36,6'sı teknik yanlışlıklar içeriyordu ve %32,5'i merkezi kavram veya referans bilgisinin bir kısmını atlıyordu. Bu kategoriler örtüşüyor. Tamamen uydurma — var olmayan sınıflar, flag'ler veya endpoint'ler — gönderimlerin %6,1'inde göründü ve ekip, en gelişmiş ajanlardan gelen daha ince çarpıtmalara dikkat çekiyor: gerçek işlevselliğin kapsamını genişletmek, varsayılan değerleri yanlış belirtmek veya yalnızca belirli koşullarda geçerli olan davranışı evrensel olarak doğru gibi sunmak.

Yörünge analizi başka bir bulgu daha ekliyor: Ajanlar sık sık düzenlenecek ilk makul sayfayı bulduktan sonra araştırmayı bırakıyor ve depodaki başka yerlerdeki belirleyici kanıtları gözden kaçırıyor.

Puanlama tasarımı tercihleri

DoGBench iki yeteneği bilinçli olarak birbirinden ayırıyor. Teslim edilen patch kalitesi, 82 güncelleme görevi genelinde kaliteyi ortalamalar; kaçırılan veya boş patch'ler sıfır puan alır. Doğru çekimserlik, bir ajanın 35 değişiklik gerektirmeyen görevde dokümantasyonu ne sıklıkla değiştirmeden bıraktığını ölçer. Birleşik puan ikisinin harmonik ortalaması olan 2DN/(D+N) olduğundan, bir boyuttaki güçlülük diğerindeki zayıflığı telafi edemez. Yinelenebilirlik için ekip, bulut tabanlı olmayan yedi ajandan 735 tam ajan yörüngesini yayımlıyor. Çalışma, Frances Liu ve ekibine 2026 tarihli bir makale olarak atfediliyor.

Neden önemli

Dokümantasyon, kod yazan ajanlar için yakın vadeli makul bir kullanım alanı; ancak bu benchmark sorunun çözülmekten uzak olduğunu gösteriyor. En iyi sistemler bile benchmark'ın kendi ölçeklerine göre kabaca yarısı durumda okuyucuları görevlerini tamamlayamaz hâlde bırakıyor ve P0-temiz oranları, uzman incelemesinin zorunlu olmaya devam ettiğini ima ediyor. Bir dokümantasyon sahibinin bağlamı — okuyucunun kim olduğu, ne yapmaya çalıştığı, bir değişikliğin iş akışını nasıl etkilediği — tam olarak ajanların sahip olmadığı şey. Ajan araçlarını değerlendiren ekipler için DoGBench somut bir ölçüt ve akıcı yazının faydalı rehberlikle aynı şey olmadığının bir hatırlatıcısı. Benchmark, sonuçların sıralama tablosunda görünmeden önce elle incelenen dış gönderimleri kabul ediyor.