Denetim, MMLU-Pro'nun uzmanların işaretlediği 52 soruyu hâlâ MMLU'nun özgün hatalı cevap anahtarlarıyla puanladığını ortaya koydu

Büyük dil modelleri için en yaygın raporlanan benchmark'lardan biri olan MMLU-Pro, onlarca soruyu insan uzmanların halihazırda hatalı bulduğu cevap anahtarlarına göre puanlamaya devam ediyor. Munim, Inc. tarafından dev.to'da yayımlanan bir denetime göre, MMLU-Pro'nun MMLU'dan devraldığı, uzmanlar tarafından işaretlenmiş 55 hatalı anahtarlı sorudan 52'si hâlâ MMLU'nun özgün anahtarıyla değerlendiriliyor — bu, denetimin net biçimde eşleştirebildiği işaretli maddelerin yüzde 94,5'i.

İki veri seti, nihayet bir araya getirildi

MMLU-Pro, her biri on cevap seçeneğine sahip 12.032 sorudan oluşuyor ve bunların 6.810'u MMLU'dan alındı. MMLU-Redux 2.0'da uzmanlar, MMLU'nun 57 konusunun her birinde 100'er MMLU test sorusunu — toplam 5.700 maddeyi — yeniden inceledi ve 106'sını yayımlanmış anahtarı hatalı olarak işaretledi; çoğu durumda uzmanların doğru saydığı seçeneği de belirttiler. Redux makalesi, MMLU'nun hatalarının MMLU-Pro içinde varlığını sürdürdüğünü gözlemledi ama bir sayı ya da liste vermedi; MMLU-Pro'nun makalesi de kendi incelemesinde MMLU kaynaklı sorular arasında 350 hatalı cevap tespit edildiğini, yine bunları yayımlamadan belirtti. dev.to'daki yazıya göre daha önce kimse bu iki veri setini birbirine bağlamamıştı; bu nedenle denetim onları satır satır eşleştirdi.

Denetim nasıl eşleştirdi

Her Redux satırı, MMLU'nun test setine konu, soru ve dört seçeneğin tamamına göre hizalandı; bu, 5.700 satırın 5.690'ını çözdü. Ardından her eşleşme MMLU-Pro'nun MMLU kaynaklı soruları arasında arandı ve yalnızca MMLU'nun dört seçeneğinden en az üçü on seçenek arasında yer aldığında tutuldu. Denetim daha sonra MMLU-Pro'nun anahtarının hâlâ MMLU'nunkine eşit olup olmadığını ve uzmanların tercih ettiği cevabın hâlâ mevcut bir seçenek olup olmadığını kontrol etti. Analiz yalıtılmış bir container'da çalıştırılmadan önce altı tahmin yayımlandı ve altısı da doğrulandı; ikisi yalnızca zayıf biçimde. Yazıda ayrıca araştırmanın Munim'deki yapay zeka ajanları tarafından yürütüldüğü ve yayımlanan çıktıların yalnızca sayılar, soru kimlikleri, etiketler ve cevap harfleri içerdiği — asla soru metni içermediği de açıklandı.

Ne sayıldı

5.700 Redux satırının 2.829'u — yüzde 49,6'sı — MMLU-Pro'da yer alıyor. Hatalı anahtarlı maddeler arasında 55'i net bir birebir eşleşme üretti. MMLU-Pro bunların üçünde anahtarı değiştirdi; diğer 52'si hâlâ MMLU'nun özgün cevabını gösteriyor. Uzmanların cevabının bir harfe ya da seçenek metnine çözümlendiği 26 vakadan 24'ünde o cevap hâlâ on seçenek arasında yer alıyor; dolayısıyla düzeltmelerin çoğu yeni bir soru yazmak değil, anahtardaki tek bir harfi değiştirmek anlamına geliyor.

Etkilenen maddeler bilimlerde kümeleniyor: 18'i kimyada ve tümü MMLU'nun üniversite kimyası setinden; dokuzu sağlıkta ve sekizi viroloji; beşi fizik; soyut cebir, bilgisayar bilimi ve diğer kategorilerde dörder tane; ikisi psikoloji; hukuk, biyoloji, tarih, ekonomi, felsefe ve mühendislikte birer tane. Bunlar MMLU-Pro'nun yüzde 0,43'ünü oluşturuyor, yani ana puanlar pek kımıldamıyor; ama yoğunluk, üniversite kimyası gibi toplandıkları dilimlerde daha yüksek.

Üç düzeltme ve bir numaralandırma bulmacası

MMLU-Pro'nun değiştirdiği üç anahtar — 2817, 8122 ve 8780 numaralı soru kimlikleri — tuhaf bir belirsizliği ortaya koyuyor. Redux, üçünün de uzman cevabını yalın bir basamak olarak kaydediyor ve belgelerinde basamakların sıfırdan mı birden mi sayıldığı hiç belirtilmiyor. Sıfırdan okunduğunda MMLU-Pro'nun yeni anahtarı üçünde de uzmanlarla örtüşüyor; birden okunduğunda hiçbirinde örtüşmüyor. Denetim, sıfır tabanlı okumanın işaretli sorulardaki 26 basamaklı cevap arasında tutarlı olan tek okuma olduğunu savunuyor — bir tabanlı okumada en az yedisi var olmayan bir '0' seçeneğine çözümleniyor ve sekizi Redux'ın reddettiği anahtarı işaret ediyor — ama bu yorumun veriler görüldükten sonra netleştirildiğini de kabul ediyor. MMLU-Pro'nun değişiklik günlüğü, 2817 numaralı kimliği Eylül 2024'te düzeltilen cevaplar arasında bağımsız olarak listeliyor.

Zorluk filtresi bunları kaçırdı

MMLU-Pro, sekiz küçük modelin çoğunun doğru cevapladığı MMLU sorularını eledi. Denetim, işaretli soruların bu filtreden daha sık sağ çıkacağını öngördü; çünkü gerçekten doğru seçeneği işaretleyen bir model hatalı sayılıyor ve soru bu yüzden zor görünüyor. Bu doğrulandı ama ancak marjinal biçimde: işaretli soruların yüzde 51,6'sı, işaretlenmemişlerin yüzde 49,6'sı elemeden geçti; bu, genel olarak anlamlı olmayan 1,04'lük bir risk oranı, öte yandan konu içi 1,29'luk odds oranı p < 0,05'e ulaşıyor. Her iki durumda da filtre hatalı anahtarları kaldırmadı.

Neden önemli

Benchmark'lar, cevap anahtarları kadar güvenilirdir ve MMLU-Pro model lansmanlarında ileaderboard'larda öne çıkan bir yer tutar. Kimya ya da virolojideki küçük farklara dayanan karşılaştırmalar, alan uzmanlarının açıkça reddettiği anahtarları devralıyor. 52 sayısı bir taban, tavan değil: Redux, MMLU'nun 14.042 sorusundan 5.700'ünü inceledi; dolayısıyla devralınan başka hataların örneklem dışında olduğu neredeyse kesin. Denetim uzmanların yargılarını yeniden doğrulamadı — mevcut veri setlerini birleştirdi — bu yüzden her anahtardaki son söz konu uzmanlarına ve MMLU-Pro'nun bakımcılarına ait. Yüz güldüren kısım ise onarımın maliyeti: işaretli maddelerin çoğu için bir cevap anahtarındaki tek bir harf.