Mercor analizi: ABD çalışma saatlerinin %90'ı, AI benchmarklarının kapsamadığı işlere gidiyor

ABD çalışma zamanının kabaca onda biri gerçekten benchmarklanıyor

Kendi APEX değerlendirme paketini de yürüten Mercor'un yayımladığı araştırmaya göre, Amerikalıların çalıştığı saatlerin yaklaşık %90'ı, mevcut AI benchmarklarının zayıf ölçtüğü ya da hiç ölçmediği görevlere harcanıyor. Hacker News'in ön sayfasında da görünen çalışma, benchmark kapsamını ABD iş gücü genelinde haritalıyor ve iyi ölçülen bir avuç mesleğin dışında, AI modellerinin günlük işte gerçekte ne kadar yetkin olduğuna dair kanıtların zayıf olduğu sonucuna varıyor.

Mercor'un kendi ölçütlerine göre fark büyük: ABD Çalışma Bakanlığı'nın O*NET taksonomisindeki 923 mesleğin yalnızca 208'inde anlamlı benchmark temsiline sahip en az bir görev var ve taksonominin 22 iş ailesinden altısında böyle bir meslek hiç bulunmuyor.

Ölçüm nasıl yapılıyor

O*NET, ABD iş gücünü 923 mesleğe ve 18.797 bileşen göreve bölüyor. Mercor, kamuya açık olma, agentic görev tasarımı, gerçek kurumsal işe benzerlik, iş ailelerine yayılma ve frontier modellerin henüz doyurmadığı zorluk ölçütlerine göre seçilmiş 29 benchmarklık bir indeks oluşturdu. İş ailesi başına sınırlamalar uygulandı; bu, büyük ölçüde popüler değerlendirmelerde yazılım mühendisliği ve araştırma görevlerinin aşırı temsilini dengelemek içindi.

Bunun üzerine Wang ve ark. yaklaşımını izleyen bir LLM hakem, her benchmark promptunu muhtemelen karşılık geldiği O*NET görevleriyle etiketledi; otomatik etiketleme, Mercor'un APEX benchmarklarındaki insan uzmanı etiketleriyle doğrulandı. Bir görevin kapsanmış sayılması için en az beş promptun ona eşlenmesi gerekiyor. Kapsam sonunda her görevin ne kadar çalışma zamanı tükettiğine dair Hatgis-Kessell ve ark. tahminleriyle birleştirilerek manşetteki %90 figürü üretildi.

Kapsam, maruziyeti ve ücret faturalarını izliyor

Ölçülen şey rastgele değil, sistematik. Mercor, Eloundou ve ark.'dan (2023) alınan AI maruziyeti etiketlerini kullanarak, dil modellerine maruz kaldığı değerlendirilen görevlerin, maruz kalmayanlara kıyasla benchmarklarda görünme olasılığının kabaca altı kat fazla olduğunu buluyor. Bu da yazılım mühendisliği ve finansal analizin neden değerlendirmelerle dolu, kamyon şoförlüğü ve gaz tesisi operatörlüğünün ise neredeyse boş olduğunu açıklamaya yardımcı oluyor.

Ancak desen'i yalnızca maruziyet açıklamıyor. Görev düzeyinde bir regresyonda maruziyeti kontrol ettikten sonra bile, Çalışma İstatistikleri Bürosu'nun ücret ve istihdam verilerinden hesaplanan yıllık ücret faturası daha büyük mesleklere ait görevler, kapsanma olasılığı açısından önemli ölçüde daha önde kalıyor. Mercor'un örneği: benchmarklar avukatların görevlerini yoğun biçimde karşılarken, benzer maruziyet etiketleri taşıyan hukuk sekreterliği ve mahkeme katibliği gibi işlere neredeyse hiç dokunmuyor. Sonuç, neredeyse hiç ölçüm olmayan geniş bir orta gelirli bilgi işi rolü kitlesi.

Yazarların belirttiği uyarılar

Mercor sonuçları geçici olarak nitelendiriyor. Tahminler, kapsamı aşağı çeken, araştırmacıların sınırlayamadıklarını söyledikleri bir miktarla 29 benchmarklık başlangıç niteliğinde, eksik bir listeye dayanıyor. İş ailesi başına sınırlamalar, yazılım mühendisliği gibi en yoğun benchmarklanmış alanlarda kapsamı olduğundan düşük gösteriyor. Doyurulmuş benchmarkları dışlamak, modeller için gerçekten kolay olan görevleri az sayma riski taşıyor; bunları dahil etmek ise doygunluk görev gerçekçiliğinin düşüklüğünü yansıtıyorsa kapsamı olduğundan yüksek gösterebilir. Mercor, dışlanmayı daha küçük bir çarpıtma olarak değerlendiriyor ama iki seçeneğin de temiz olmadığını kabul ediyor. Ekonomik gerçekçilik gibi seçim ölçütleri de öznel yargı içeriyor.

Neden önemli

Benchmark sıralamaları, laboratuvar pazarlamasından otomasyon tahminlerine kadar AI yeteneğine dair çoğu kamusal iddianın çıpası. Ekonomide ölçülen dilim bu kadar inceyse ve büyük, yüksek maruziyetli mesleklere eğilirse, manşet skorları modellerin insanların elinde tuttuğu işlerde nasıl performans göstereceği hakkında pek bir şey söylemiyor demektir. Dağıtımı değerlendiren kurumlar, benchmark sonuçlarını genel bir hazırlık sinyali değil, dar bir görev bandına dair kanıt olarak ele almalı. Araştırma, benchmark oluşturucularına da kör noktalarının bir haritasını veriyor ve Mercor, indeksi genişletmeyi ve bu boşluklar doldukça tahminleri revize etmeyi planladığını söylüyor.