Stanford öncülüğündeki Terminal-Bench-Science, yapay zeka ajanlarını 70 gerçek bilimsel iş akışında sınıyor

Stanford araştırmacılarının öncülük ettiği bir grup, Terminal-Bench ekibi ve dünyadaki araştırma kurumlarından alan uzmanlarıyla birlikte çalışarak, yapay zeka ajanlarını görev başındaki bilim insanlarının kendi işlerinden alınan iş akışları üzerinden puanlayan Terminal-Bench-Science adlı benchmark'ı duyurdu. Sürüm 0.1, yaşam bilimleri, fizik bilimleri, yer bilimleri, matematiksel bilimler ve mühendislik bilimlerini kapsayan 70 görevle geliyor ve değerlendirilen en güçlü sistem bunların yalnızca %30'unu çözebiliyor.

Ajanlardan ne yapmaları isteniyor

Soru-cevap biçimindeki testler ya da standartlaştırılmış alıştırmalar yerine görevler, gerçek araştırma işini yeniden üretiyor: bilimsel veri analizi, istatistiksel çıkarım, simülasyon, optimizasyon, teorem ispatlama, görüntü yeniden yapılandırma, sinyal işleme, ters problemler, sensör kalibrasyonu, model uydurma, sınıflandırma ve bilimsel makine öğrenmesi. Ajanlar gerçekçi ortamlarda çalışıyor ve her görev için yazılan, yeniden üretilebilir testlerle somut çıktılar — kod, analizler, ispatlar, simülasyonlar ve veri ürünleri — üzerinden puanlanıyor.

Başlangıç havuzu ağırlığını yaşam bilimlerine veriyor (19 görev); onu 17'şer görevle fizik ve matematiksel bilimler, mühendilikte 9 görev ve yer bilimlerinde 8 görev izliyor.

Açılış liderlik tablosu

Benchmark'ın duyurusuna göre her sistem, tüm görev setinde görev başına üç kez bağımsız olarak çalıştırıldı. Claude Code harness ile eşleştirilen Claude Opus 5, %30.0 çözüm oranıyla lider durumda. Codex ile GPT-5.6 Sol %22.4 ile onu izliyor, Claude Fable 5 ise %21.4 ile hemen ardından geliyor. Claude Opus 4.8 %10.5 başarı gösterirken, GPT-5.6 Terra (%8.6), GLM 5.3 (%8.1), Kimi K3 (%7.1), Grok 4.6 (%7.1) ve GPT-5.6 Luna (%3.3) alt sıraları dolduruyor. GLM 5.3, alandaki en güçlü açık model.

Maliyet ve verimlilik tabloya nüans katıyor. En yüksek puana ulaşmak Opus 5 için toplam yaklaşık 7.0 bin dolarlık değerlendirme harcaması gerektirirken, GPT-5.6 Sol, Claude Fable 5 ile aynı çözüm oranını fiyatın üçte birinden daha azına sağlıyor (4.2 bin dolar ile 14.2 bin dolar karşılaştırması). Token cinsinden ölçüldüğünde Fable 5, Sol'unkine eşit performansı yaklaşık dörtte bir daha az tüketerek gösteriyor (6.4 milyar ile 8.4 milyar). Yalnızca Kimi K3 ve Claude Opus 5 hem maliyet hem token grafiklerinde verimlilik sınırında yer alıyor.

Geçilmesi tasarım gereği zor bir huni

Görevler GitHub üzerinde açık bir süreçle geliyor, tartışmalar özel bir Discord kanalında yürütülüyor. Fikirler, incelemecilerin tartıştığı öneriler olarak başlıyor; uygun görülenler pull request olarak uygulanıyor ve bunların nesnel olarak doğrulanabilir, gerçekten zor ve mevcut sınır sistemler tarafından halihazırda çözülebilir olmadığı gösterilmek zorunda. Alan incelemecileri bilimsel geçerliliği ve gerçekçiliği değerlendirirken, teknik incelemeciler her görevin nasıl kurulduğunu ve doğrulandığını inceliyor ve son bir kalite kapısı süreci tamamlıyor. Rakamlar bunun ne kadar seçici olduğunu gösteriyor: 920 öneriden 464'ü uygulamaya onaylandı ve 386 pull request açıldı, ancak yalnızca 70 görev 0.1 sürümüne girebildi. Ekip, bu elemedeki kaybı, bilimsel olarak anlamlı, sınır ajanlar için zor ve titizlikle puanlanacak kadar kesin biçimde tanımlanmış görevler yazmanın ne kadar güç olduğuna bağlıyor.

Yazılım kardeşinden bilinçli olarak daha zor

Terminal-Bench, kodlama ajanlarındaki ilerlemeyi izledi; bilim sürümü sistemleri yaklaşık olarak aynı ölçüde ayırt ederken, her ikisinde de değerlendirilen her model için çözüm oranlarını 10 puandan fazla düşürüyor — örneğin Claude Fable 5 %33.8'den %21.4'e geriliyor. Duyuru, bu açığı kasıtlı olarak nitelendiriyor; görevler inceleme sırasında en yeni sınır modelleri zorlayacak şekilde kalibre edildi.

Proje ayrıca bir kez yayımlanıp terk edilen benchmark'ların kaderinden kaçınacak biçimde tasarlandı: sürekli çalışması, bilim insanlarının modeller ilerledikçe yeni iş akışları katmasına ve mevcutları iyileştirmesine olanak tanıyan düzenli sürümlerle yürmesi amaçlanıyor; bu da araştırma ihtiyaçları ile yapay zeka gelişimi arasında bir geri besleme döngüsü yaratıyor.

Neden önemli

Yapay zeka yetenek ölçümlerinin çoğu fiilen modelleri inşa eden kuruluşlar tarafından belirleniyor. Buradaki ölçüt ise hangi iş akışlarının önemli olduğuna ve neyin başarı sayılacağına karar veren bilim topluluğundan geliyor. Bu değişim güvenilirlik açısından önemli: ajanlar, araştırmacıların gerçekten yaptığı iş üzerinden — onun vekilleri üzerinden değil — yargılanıyor ve değerlendirme, dış çıkar gruplarının değil bilim insanlarının önceliklerini yansıtıyor.

Sonuçlar ayrıca beklentileri kalibre ediyor. Özenle elekten geçirilmiş görevlerde %30'luk bir tavan, bugünün ajanlarının zorlu bilimsel iş akışlarını özerk biçimde yürütmekten hâlâ uzak olduğu anlamına geliyor. Ancak projenin açıkça ifade edilen amacı tam özerklik değil; zaman alıcı teknik işi devralacak ajanlar sayesinde araştırmacıların sorular çerçeveleme, hipotez kurma ve sonuçları doğrulama üzerine odaklanabilmesi. Dayanıklı ve sürekli evrilen bir benchmark, hem laboratuvarlara hem bilim insanlarına bu hedefe ne kadar yaklaşıldığının ortak ve dürüst bir ölçüsünü veriyor.