Samaya çalışması: Frontier yapay zeka modelleri kâr sürprizlerinde analist konsensüsünü geride bıraktı

Ne oldu

Finansal araştırma için yapay zeka araçları geliştiren Samaya şirketi, en yeni frontier dil modellerinin şirket kârlarını tahmin etmede ilk kez profesyonel analistleri geride bıraktığını söylüyor. dev.to'da yeniden yayınlanan şirketin araştırma metnine göre, test edilen en yeni üç model — GPT-6 Astra, Claude Fable 5.1 ve Claude Opus 5.5 — 456 ikinci çeyrek kâr açıklaması genelinde analist konsensüsünden daha küçük tahmin hataları üretti ve kasten güçlendirilmiş bir konsensüs versiyonunun da önüne geçti.

İddia, piyasayı yenmekten daha dar kapsamlı: modeller, işlem getirileri üzerinden değil, şirketlerin gerçekte açıkladığı rakamları — gelir, brüt kâr marjı, faaliyet kârı ve düzeltilmiş EPS — tahmin etme konusunda puanlandı. Ancak yazarlar bu sonucu alan için bir ilk olarak sunuyor ve yapay zeka yeteneğinin profesyonel bilgi işinin en zorlu alanlarından birine geçtiğinin bir işareti olarak değerlendiriyor.

Değerlendirme nasıl yapıldı

Her tahmin, bir şirketin açıklama yapmasından bir hafta, yani beş işlem seansı önce gerçekleştirildi ve modeller yalnızca o ana kadar yayımlanmış bilgiye — bir insan analistin elinde olacak bilgiye — başvurabildi. Test edilen evren, 14 Temmuz'dan itibaren sonuç açıklayan her sektörden 456 şirketi kapsıyordu; bu tarih, çalışmadaki yedi modelin de bilgi kesim tarihinden sonra geldiği için seçildi. Şirketlerin 5 milyar doları aşan piyasa değeri ve en az sekiz aracı kurum tahminine sahip olması gerekiyordu. En yeni üç modelin yanı sıra çalışmada GPT-5.6 Sol, Claude Sonnet 5, Gemini 3.8 Flash ve Kimi K3 de yer aldı.

En zor tasarım sorunu, geriye dönük bilginin sızmasını engellemekti. Samaya, harness katmanında bir kimlik doğrulama token'ı kullanarak katı bir zamansal kesim uyguladı; şirket, bunun bir modelin tahmin tarihinden sonra yayımlanan herhangi bir şeyi almasını imkânsız kıldığını söylüyor. Bu şekilde güvenilir biçimde kısıtlanamayacağı için genel web erişimi kaldırıldı ve yerine temel haber kaynakları kesim tarihinin gerisinden sunuldu.

İki referans noktası ve sonuçlar

Tahminler üç şekilde puanlandı: açıklanan gerçek rakamlara göre hata, konsensüsten sapma tahmini ile gerçek sapma arasındaki korelasyon ve gerçek sonuçla konsensüsün aynı tarafında isabet etme oranı. Hatalar, her şirketin tarihsel sürpriz oynaklığına göre normalize edildi ki düzensiz şirketler ortalamalara hâkim olmasın.

İlk referans noktası ham analist konsensüsüydü — piyasanın zaten fiyatladığı ortalama tahminler. Samaya, analistlerin kâr açıklamalarından önce tahminlerini sistematik olarak aşağı çektiğini, bu yüzden açıklanan rakamların konsensüsü sık sık aştığını not ediyor; yani yalnızca bu çıtayı geçmek görece az şey kanıtlıyor. Ekip bu nedenle her şirketin tarihsel medyan sürprizini konsensüsün üzerine ekleyerek daha zorlu bir referans noktası oluşturdu.

Claude Sonnet 5 ve Kimi K3 gibi daha eski modeller bile ham konsensüsü geride bıraktı. Yalnızca en yeni üç model düzeltilmiş referans noktasını da yendi ve metinde, model yeteneği arttıkça hatanın daraldığı net bir eğilim raporlanıyor.

Neden önemli

Konsensüs tahminleri, yatırımcıların halka açık şirketleri nasıl değerlendirdiğinin çapasıdır ve metin küresel borsaların büyüklüğünü 150 trilyon doların üzerine çıkarıyor. En iyi analist ortalamaları bile hata yaptığından, konsensüs ile açıklanan rakamlar arasındaki fark — sürpriz — fiyatları, çoğu zaman sert biçimde, hareket ettiren şeydir. Sürprizleri güvenilir biçimde öngören bir sistem, avantaj peşindeki yatırımcılar, modelleme sürecinin bir kısmını otomatikleştiren analist ekipleri ve insan araştırma emeğinin hâlâ nereye harcanmaya değer olduğuna karar verenler için doğrudan değer taşır.

Bulgunun önemi finansın ötesine de uzanıyor. Kâr tahmini açık uçlu bir araştırma görevi: dağınık, zaman damgalı kaynaklarda arama yapmayı, rakipleri, tedarik zincirlerini ve makro koşulları tartmayı ve açık varsayımlara bağlı kalmayı gerektiriyor. Frontier modellerin burada uzman çıtasını aşması, güçlü yönlerinin kendine yeten benchmark'lardan, pahalı profesyonel rolleri tanımlayan yoğun yargı gerektiren işlere kaydığına işaret ediyor.

Uyarıları da akılda tutmak gerek. Kanıtlar tek bir çeyreğin açıklamalarını kapsıyor; çalışmayı, kendi ürün hattı tam da bu tür bir finans harness olan Samaya tasarladı, yürüttü ve raporladı, bu yüzden gerçek test bağımsız tekrarlanma olacak; ve ortalama konsensüsü geçmek, konsensüs beklentilerinin zaten fiyatlara gömülü olması nedeniyle piyasayı yenen getiriler elde etmekle aynı şey değil.