Artificial Analysis Intelligence Index v5 artık ağırlıklı olarak private test setlerine dayanıyor

Artificial Analysis amiral gemisi model sıralamasını yeniledi

Artificial Analysis, dil modellerinin yeteneklerini karşılaştırmak için kullandığı bileşik skor olan Intelligence Index'in 5. sürümünü yayınladı. Şirket bunu, v4'ün Ocak ayında çıkışından bu yana yapılan en büyük revizyon olarak nitelendiriyor ve ilk kez endeksin çoğunluğu — ağırlığının %60'ı — private test setlerine veya ayrı tutulan cevaplara dayanan değerlendirmelerden oluşuyor; bu, benchmark verilerinin training corpora'larına sızmasını engellemeye yönelik bilinçli bir adım.

v5 ile birlikte Artificial Analysis, Kasım 2022'den bu yana yayınlanan modelleri zaman içindeki gelişimi izlemek için tek bir sürekli yetenek ölçeğine yerleştiren ayrı bir Progress Index v1 de tanıtıyor. Intelligence Index, şirketin mevcut frontier'in birincil ölçüsü olmaya devam ediyor.

İki yeni benchmark ve üç yükseltme

Endeks hâlâ dokuz değerlendirme içeriyor ve bilgi işleri, coding, bilim ve genel kategorilere her birinde %25 olacak şekilde eşit dağılmış durumda.

Coding kategorisi, aynı gün duyurulan Cognition kaynaklı private benchmark olan FrontierCode 2.0'ı kazanıyor. Gerçek open-source repository'lerden alınan 132 görev içeriyor ve bir deneme herhangi bir engelleyici kontrolü geçemezse sıfır puan alıyor — notlandırma, bir repository maintainer'ının agent'ın değişikliğini gerçekten merge edip etmeyeceğini yansıtacak şekilde tasarlanmış. Her görev, Artificial Analysis'in agentic harness'i olan Stirrup'da üç kez çalıştırılıyor. Bilim kategorisine, terminalde yürütülen ve yalnızca bir görevdeki her test geçtiğinde başarılı sayılan, uzmanlar tarafından derlenen 70 araştırma görevinden oluşan Terminal-Bench-Science ekleniyor.

Mevcut üç değerlendirme yeniden işlendi. HLE-Diamond, Humanity's Last Exam'in yerini aldı; Center for AI Safety ve Scale AI'dan gelen, akıl yürütme ve bilgi arasında eşit bölünmüş 1.000 soruluk rafine bir set kullanıyor. AA-Omniscience temizlendi; doygunlaşmış ve kamuya açık sorular çıkarıldı ve yeniden kalibre edilmiş bir public alt kümesi Hugging Face'te yayınlandı. CritPt v2 artık private 40 soruluk zor bir alt küme üzerinden puanlanıyor — yedi frontier modelin çıkışta beş denemenin tamamında çözdüğü 30 soru çıkarılmış orijinal 70 araştırma düzeyindeki fizik sorusundan oluşuyor — ve bir kod çalıştırma aracıyla yürütülüyor.

GDPval-AA v2.1, SciCode ve AA-LCR v1.1 çıkarıldı. Metodoloji sayfasına göre puanlama genellikle pass@1; non-reasoning modellerde sıcaklık 0, reasoning modellerde 0.6 olarak ayarlanıyor.

Sonuçlar: tepede dar bir fark

Artificial Analysis'a göre Claude Opus 5.5 (max) 58 puanla lider, bir puan önde olarak GPT-6 Astra (max) 57, GPT-6.1 Sol (max) ise 55 puanda. Anthropic ve OpenAI ilk beşin tamamını elinde tutuyor; Gemini 4 Argon (high) 50 puanla hemen ardından geliyor.

Hiçbir model tek başına baskın değil: Claude Opus 5.5 üç değerlendirmede zirvede (FrontierCode 2.0'da %46, HLE-Diamond'da %68 ve AA-Omniscience v1.1'de), GPT-6 Astra ikisinde önde (Terminal-Bench-Science'da %63 ve CritPt zor alt kümesinde %72), Claude Sonnet 5.5, Kimi K3.1 Pro, Gemini 4 Argon ve Muse Wonder Full ise geri kalan değerlendirmelerin her birinde birer kez lider.

Açık ağırlıklı modeller daha da geride kaldı

Kapalı ve açık ağırlıklı modeller arasındaki fark v4.3'teki 3 puandan v5'te 12 puana çıktı. En güçlü açık ağırlıklı katılımcı 46 puanla Kimi K3.1 Pro, ancak ağırlıkları henüz yayınlanmadı. Ağırlıkları yayınlanmış modeller arasında DeepSeek V4.1 Flash 1017 (max) ve GLM-5.3 (max) 32 puanla önde — zirveden 26 puan uzakta ve 36 puanlı Claude Haiku 5.5'in (max) altında. Uçurum HLE-Diamond ve Terminal-Bench-Science'da en belirgin; Kimi K3.1 Pro ilgili liderlerin %68 ve %63'üne karşı %37 ve %34 alıyor.

Maliyet ve efor ayarları artık daha önemli

Ölçülen en yüksek puanlı on model arasında, Intelligence Index görevi başına maliyet 13 kattan fazla değişiyor: GPT-6.1 Terra (max) görev başına 0,96 dolarla en ucuzken Claude Fable 5.1 (max) 13,04 dolara kadar çıkıyor. GPT-6.1 Sol (max), liderin görev başına 10,04 dolarının kabaca sekizde biri ile Claude Opus 5.5'in 4 puan yakınında yer alıyor.

Reasoning-effort ayarları da skorları eskisinden daha fazla etkiliyor: Claude Opus 5.5, düşük eforda 35 puandan maksimumda 58 puana uzanıyor ve görev başına maliyet 10 kata çıkarken, GPT-6.1 Sol'un düşükten maksimuma aralığı 10 puandan 20 puana iki katına çıktı. Görevler de daha ağır — görev başına medyan output token sayısı üçte iki artışla 35k'dan 59k'ya yükseldi ve endeks ağırlığının %55'ini taşıyan dört agentic değerlendirme, output token'ların kabaca %90'ını oluşturuyor.

Neden önemli

Private veri setlerine geçiş, benchmark sorularının training verilerine sızarak skorları şişirme pratiğine ya da kazasına — yani contamination'a — verilen bir yanıt. Ancak bu durum, temel verilerin çoğu artık bağımsız olarak incelenemediği için topluluğun Artificial Analysis'in harness'ine, prompt'larına ve notlandırmasına güvenmesi gerektiği anlamına da geliyor — bu da AA-Omniscience için yayınlanan public alt kümesini doğrulanabilirlik açısından kayda değer bir jest haline getiriyor. Model seçen ekipler için v5 iki pratik soruyu öne çıkarıyor: kapalı ve açık ağırlıklar arasındaki fark ciddi biçimde açıldı ve görünürdeki zekâ, fiyat ile efor yapılandırmasındaki büyük farkları artık gizliyor — zirveye yakın bir model görev başına liderin sekizde birine mal olabilir.