deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak MIT Technology Review – AI topic

METR'in güncellenmiş zaman ufkı raporu: görev uzunluğunda üstel kazançlar, yargı yetisinde kalıcı zayıflık

METR'in yenilenen zaman ufkı analizine göre öncü modeller hâlâ yaklaşık her dört ayda bir başa çıkabildikleri görev uzunluğunu ikiye katlıyor; yeni açık uçlu değerlendirmeler ise kodlama yeteneği ile yargı yeteneği arasındaki uçurumu gözler önüne seriyor.

METR'in güncellenmiş zaman ufkı raporu: görev uzunluğunda üstel kazançlar, yargı yetisinde kalıcı zayıflık

Üstel bir eğri, yenilendi

Öncü yapay zeka sistemlerini değerlendiren kâr amacı gütmeyen kuruluş METR, yapay zeka alanının en çok paylaşılan — ve en çok yanlış yorumlanan — grafiklerinden birine dönüşen "zaman ufkı" grafiğinin büyük bir güncellemesini yayımladı; haber MIT Technology Review'ye ait. Orijinal grafik, her görevin zorluğu için insan testçilerin onu tamamlamak için ne kadar zamana ihtiyaç duyduğunu temel alıyor, modelleri de tamamlayabildikleri görevin uzunluğuna göre puanlıyordu. Grafiğin merkezî bulgusu şuydu: öncü modellerin başa çıkabildiği görev uzunluğu yaklaşık her dört ayda bir ikiye katlanıyor.

Güncelleme, görev setine insanların orijinallerden çok daha uzun süre tamamlayacağı tahmin edilen görevlerin yanı sıra daha açık uçlu görevleri de ekliyor ve ölçülebilir, doğrulanabilir görevlerdeki ilerleme yavaşlıyor görünmüyor; bu bilgi MIT Technology Review'ye dayanıyor. Ancak rapor, yargı ağırlıklı yeni bir değerlendirme sınıfı da tanıtıyor ve tablo orada değişiyor.

Kodlamada güç, yargıda zayıflık

Uçurumun nedeni modellerin nasıl eğitildiğine dayanıyor. Pekiştirmeli öğrenme — bir sistemin görevi tekrar tekrar denemesi ve başarıya götüren davranışların güçlendirilmesi — başarı otomatik olarak kontrol edilebildiğinde iyi çalışıyor; yapay zekanın en güçlü olduğu alanların kodlama ve matematik olmasının nedeni bu. Teknik, umut verici bir araştırma yönü seçmek gibi belirsiz başarı ölçütü olan görevlere uygulamak çok daha zor.

METR'in yeni görev seti tam da bu yetenekleri test etmeye çalışıyor. Bir görevde modellerden, METR'in kendi araştırması için yeni yapay zeka değerlendirmeleri tasarlamaları istendi ve sonuçları METR personeli puanladı. En gelişmiş modeller artık yazılım mühendisliğinde neredeyse tüm insanlardan iyi olsa da, yapay zeka tarafından tasarlanan tek bir değerlendirme bile METR'in araştırması için yeterince yararlı bulunmadı. İkinci bir görevde, felsefi tartışmaları puanlamada modeller yine insan performansının altında kaldı — ancak METR raporda, kendi çalışanlarının bu görevin yapay zeka Ar-Ge'sini otomatikleştirmekle ne kadar ilgili olduğu konusunda anlaşamadığını not ediyor.

Hareket işaretleri var. Opus 5.5 gibi en yeni modellerden bazıları, değerlendirme tasarımı görevinde METR'in "eşik sınırının hafif üzerinde" diye nitelediği bölgeye yerleşiyor; bir yıl önce her model "net olarak eşik altında" puan almıştı.

Dışarıdan doğrulama

Bağımsız kanıtlar da aynı yöne işaret ediyor. OpenAI, o hafta yayımladığı bir blog yazısında, modellerinin kendi çalışanları tarafından verilen gerçek dünya görevlerinde, METR'in orijinal görev setindeki daha kolay ve doğrulanabilir görevlerden daha kötü performans gösterdiğini bildirdi. UC Berkeley'de bilgisayar bilimci ve göreve başlamak üzere olan profesör Sayash Kapoor, Ağustos'ta ortak yazarı olduğu bir önbasımın, yapay zeka modellerinin henüz insan bilgisayar bilimi araştırmalarını kendi başına yeniden üretemediğini bulduğunu MIT Technology Review'ye söyledi. "Yapay zeka değerlendirmelerinin daha yaratıcı hale gelmesi gereken noktadayız," dedi ve METR'in yeni değerlendirme türlerine yönelmesini hoş bir değişiklik olarak nitelendirdi.

Ölçüm sorunu

Raporun en büyük sınırlılığı ölçümün kendisi. Orijinal grafik her görevde gerçek insanlar süre tutarak puanlamıştı; yeni, daha zor görevlerde tamamlanma süreleri çoğunlukla tahminî, çünkü yüzlerce saat sürebilecek — ya da yalnızca bir avuç uzmanın yapabileceği — iş için insanlara ödeme yapmak pratik değil. Felsefi tartışma görevi çoğunlukla tek bir kişi tarafından puanlandı; yani puanlar kısmen o tek kişiyle olan uzlaşmayı yansıtıyor.

Boston Üniversitesi'nden dilbilimci ve bilgisayar bilimci Najoung Kim, gözlemlenen iyileşmenin içinde bulunduğumuz ana dair bir şeyler söylediğini ama dışarı taşınmasının zor olduğunu belirtti. METR'den Matt Putz daha açık konuştu; bir e-postada, doğrulanması zor görevlerdeki eğilimlerin muhtemelen hiçbir zaman, kolayca tanımlanabilir görevlerdeki kadar temiz ve sağlam olmayacağını söyledi.

Neden önemli

Rapor, otomatikleştirilmiş yapay zeka araştırmasına ilişkin tartışmaların ortasında geldi. MIT Technology Review'ye göre Kasım ayının başlarında, ağır sansürlenmiş bir METR raporu, yapay zekanın yeni ve çapraz bir halka arzı tamamlayan Anthropic'te yapay zeka ilerleme hızını iki katına çıkarıyor olabileceğini iddia ederek özyinelemeli kendini geliştirme korkularını alevlendirdi. Yeni veriler, bu senaryo için en çok önem taşıyacak yeteneklerin tam olarak modellerin eksik olduğu ve değerlendiricilerin en zor ölçtüğü yetenekler olduğunu gösteriyor.

İşgücü planlaması açısından mesaj benzer şekilde somut: yapay zeka yetkinliği tek bir kadran değil. Yazılım mühendiliğinde öncü modeller zaten test edilen neredeyse tüm insanlardan daha iyi; açık uçlu yargı işlerinde ise eşik altında. Önümüzdeki birkaç yıl için otomasyona bütçe ayıran herkes, bu iki iş kategorisi için çok farklı zaman çizelgeleri beklemeli — ve yargı görevlerine ait eğilim çizgilerine, seyrek olsalar da, kodlama eğilimlerinden çok daha az kesin gözüyle bakmalı.

  • #ai-evaluations
  • #ai-benchmarks
  • #frontier-models
  • #reinforcement-learning
  • #ai-progress

İlgili yazılar