AllenAI'nin XYBench'i, yapay zeka asistanlarının yanlış varsayıma dayalı istekleri fark edip etmediğini 8.115 soruyla test ediyor

Maksadı kaçıran sorular için bir benchmark

AllenAI, bir kullanıcının isteğinin yanlış bir varsayıma dayandığı durumlarda yapay zeka asistanlarının nasıl yanıt verdiğini ölçen 8.115 soruluk XYBench benchmark'ını yayımladı. Duyuru, 13 Kasım 2026'da Hugging Face üzerindeki bir AllenAI gönderisinde ortaya çıktı ve dev.to'da da yer buldu. AllenAI'ye göre kaynak, EMNLP 2026'da En İyi Kaynak Makalesi Ödülü'nü kazandı ve Carnegie Mellon, NVIDIA ile Johns Hopkins'teki araştırmacılarla birlikte geliştirildi.

XY problemi, teste dönüştürüldü

Benchmark, programlama çevrelerinde uzun süredir bilinen bir örüntü olan "XY problemi" etrafında kuruldu: Bir kişi X'i gerçekleştirmek ister, buna Y yaklaşımının götüreceğini varsayar ve X'i doğrudan anlatmak yerine Y konusunda yardım ister. Sorulan soru varsayılan yöntemi tanımlar, asıl hedef ise onun arkasındadır. AllenAI, kremin cupcake'lerden sürekli kayması nedeniyle kremayı nasıl koyulaştıracağını soran bir kullanıcı örneği veriyor; oysa gerçek sorun, cupcake'lerin hâlâ krema sürülemeyecek kadar sıcak olmasıdır.

XYBench, bir asistanın bu durumları fark edip söylenen isteğin ötesindeki asıl hedefe hitap edip etmediğini ölçüyor. AllenAI'ye göre sorular, programlamanın yanı sıra yemek yapma ve ev tamiri gibi günlük etkinlikleri kapsıyor.

Veri nasıl oluşturuldu

Açıklanan bileşime göre 1.557 soru Stack Overflow'dan, 184'ü Stack Exchange'ten, 102'si elle hazırlanmış ve 6.272'si WikiHow rehberlerinden üretilmiş; bu da WikiHow kaynaklı kısmı açık ara en büyük bölüm yapıyor. Yayımda küçük bir tutarsızlık var: veri seti kartında WikiHow soru sayısı 6.268 olarak geçerken, duyuru ve EMNLP makalesi 6.272 belirtiyor.

Benchmark'ın gerçekte neyi test ettiğini iki tasarım tercihi şekillendiriyor. Birincisi, söylenen isteğe cevap vermenin yeterli olacağı durumlar elendi; böylece kalan her soru sözel ifadenin ötesine geçmeyi gerektiriyor. İkincisi, forum kaynaklı sorularda referans cevaplar, en yüksek puanlı üç insan cevabının kabul edilmiş cevapla birleştirilmesiyle oluşturuldu; bu da benchmark'a yanlış soruyu yakalamanın pratikte neye benzediğine dair bir insan taban çizgisi kazandırıyor.

Beş model testi alınca ne oldu

AllenAI, benchmark üzerinde Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B ve DeepSeek-V4 Pro modellerini değerlendirdi. Bildirilen örüntü beş modelde de aynıydı: modeller genel olarak bir çözüm önermeyi başardı, ancak cevapları kullanıcının özgün yanlış yaklaşımı çevresinde kaldı. İnsan referans cevaplarıyla karşılaştırıldığında hiçbir model, kullanıcıyı söylenen yaklaşımdan uzaklaştırıp asıl hedefe uygun bir çözüme yönlendirme eğiliminde değildi. Herkese açık gönderide model başına sayısal puanlar yer almadığından, tek tek sistemler arasındaki farkın büyüklüğü duyurudan tek başına görülemiyor.

Neden önemli

Benchmark'ların çoğu bir modele kendisine verilen soruyu cevaplayıp cevaplayamadığını sorar. XYBench daha incelikli ve tartışmalı biçimde daha pratik bir şey sorar: sorunun kendisinin asıl sorun olduğu anını modelin fark edip etmediğini. Yanlış planı özenle optimize eden bir asistan, yardımcı görünürken bile kullanıcının zamanını boşa harcayabilir; zaten yanlış yolda olan kullanıcılar da isteklerini bunu ele verecek şekilde nadiren ifade eder.

Benchmark, model davranışını insan referans cevaplarıyla eşleştirdiği ve sözel cevabın yetersiz olduğu durumları filtrelediği için, bu davranışın zamanla iyileşip iyileşmediğini izlemenin somut ve tekrarlanabilir bir yolunu sunuyor. İlk sonuçlar, değerlendirilen beş sistemden hiçbirinin şu anda insan taban çizgisine ulaşmadığını gösteriyor. Asistan geliştiren ekipler için bu, kullanılabilir bir değerlendirme aracı; diğer herkes içinse en yararlı cevabın bazen soruyu sorgulamakla başladığının bir hatırlatıcısı.