Trakkr Research: yapay zekâ tarafından atıf yapılan istatistiklerin yalnızca %40'ı gerçek bir çalışmaya ulaşıyor

Trakkr Research'ün yürüttüğü bir inceleme, bilinen bir riske somut bir sayı koyuyor: Büyük yapay zekâ asistanlarının aktardığı istatistiklerin yalnızca %40'ı onları destekleyen bir çalışmaya ulaşıyor. Araştırmacılar, sayı içeren 200 günlük soruyu ChatGPT, Perplexity, Gemini, Claude ve Google'ın AI Overviews hizmetine yöneltti, ardından 1.285 istatistiklik örneklemdeki atıfların peşinden gitti; atıf yapılan sayfadan o sayfanın kendi kaynaklarına doğru, beş sayfa derinliğe kadar ilerledi ve bağlantı verilmeden yalnızca adı geçen kaynakları aradı. Hacker News'te öne çıkan çalışma, Ekim 2026'da gerçekleştirildi.

Sonuçlar dört şekilde dağıldı:

• %40'ı aynı şeyi söyleyen bir çalışmaya ulaştı; %95'lik güven aralığı %34 ile %46 arasında.
• %8'i bir çalışmaya ulaştı, ancak rakam ya da bağlam yolda değişmişti.
• %40'ı denetlenemeyen bir kaynakta tıkandı; çünkü kaynak kilitliydi, kaldırılmıştı ya da rakam konusunda sessizdi.
• %11'i hiçbir araştırmaya varmadı; zincirdeki tüm sayfalar rakamı yineliyor ve kimseye atıfta bulunmuyordu.

Trakkr, izlerin 150'sinin elle yeniden kontrol edildiğini belirtiyor.

Desteklenmeyen bir sayının anatomisi

Örneklerden biri kalıbı gösteriyor. Satış temsilcilerinin yüzde kaçının tek bir takip sonrasında vazgeçtiği sorulduğunda beş asistanın tamamı %44 yanıtını verdi ve yalnızca ChatGPT rakamın dayandığı kanıtların belirsiz olduğunu belirtti. Google'ın AI Overviews hizmeti, bir satış firmasının 2020 tarihli istatistik sayfasına atıf yaptı; o sayfanın kendi kaynak bağlantısı ise 2017'den beri çevrimiçi olan bir serbest yazarın örnek makalesine işaret ediyordu. O makale, sunum dosyaları, blog derlemeleri ve haber yazılarından oluşuyordu; hiçbiri takiplerle ilgili bir çalışma değildi. İz orada basitçe sona eriyor. Trakkr bu tür rakamlara "zombi istatistikler" diyor: Destekleyici herhangi bir araştırma çoktan yok olmuş ya da hiç var olmamışken dolaşımda kalmaya devam eden sayılar.

Kritik nokta şu ki asistanlar genellikle sayı uydurmuyordu. Bir modelin atıf yaptığı sayfa, vakaların %82'sinde rakamı içeriyordu. Başarısızlık atıf yapılan sayfanın seçiminde yatıyor: Atıfların yalnızca %21'i doğrudan araştırmanın kendisine işaret ederken, %54'ü şirket bloglarına yöneliyordu; gerisini çoğunlukla haber yazıları ve istatistik derlemeleri oluşturuyordu. Bunlar, çoğu zaman özgün bir kaynağa bağlantı vermeden rakamları başka yerlerden toplayan sayfalar.

Kaynak türü sonucu öngörüyor

Bir izin başladığı yer, büyük ölçüde nerede bittiğini belirliyor. Araştırma firmalarına yapılan atıflar toplamın %13'ünü oluşturuyor ve %62 oranında eşleşen bir çalışmaya ulaşıyordu; devlet ve resmî kaynaklar ise atıfların %7'siydi ve başarı oranı %61'di. Tüm atıfların %54'ünü oluşturan şirket blogları %37, istatistik derlemeleri %35 oranında başarılıydı. Araştırma firmalarına yapılan atıflar bile %38 oranında başarısız oldu; çoğu kez tam rapor bir lead-capture formunun ardında durduğu için.

Sayılar yolculuk sırasında sapıyor

Bir çalışmaya ulaşmak, sayının yolculuğu sağ salim tamamladığını garanti etmiyordu: Bu aşamaya kadar ilerleyen istatistiklerin %17'si yolda değişmişti. Rakamların kendisi dört vakada ancak bir kez değişiyordu; daha çok bağlam değişiyordu: Ölçülen şey, yıl, kaynak ya da kime sorulduğu. Bunun tipik bir örneği, bir web sitesine dair ilk izlenimlerin %94'ünün tasarımla ilgili olduğu yönündeki yaygın iddia. Bu iddia, Sillence ve meslektaşlarının 2004 tarihli CHI makalesinden geliyor; o çalışmada 15 İngiliz kadın sağlık web sitelerini incelemiş ve bir siteyi reddetmeye dair yorumlarının %94'ü sitenin tasarımıyla ilgiliydi.

Aynı soru, beş farklı yanıt

Asistanlar birbirleriyle de aynı fikirde değildi. Beşinin de yüzde döndürdüğü 71 sorudan 28'inde dört ya da beş farklı rakam ürettiler. Aynı gün pazarlamacıların yüzde kaçının pazarlama otomasyonu araçları kullandığı sorulduğunda yanıtlar %49 ile %96 arasında değişti.

Kaynak gösterme konusunda ChatGPT en iyi performansı sergiledi: İstatistiklerinin %57'si destekleyici bir çalışmaya ulaştı ve yanıt başına en az sayıyı, 1,3 ile aktardı. Perplexity yanıt başına 2,2 sayıyla %46'da onu izledi; AI Overviews yanıt başına 4,8 sayıyla %39'da, Gemini 6,2 sayıyla %38'de ve Claude 6,8 sayıyla %38'de kaldı. Trakkr, ChatGPT'nin ardındaki dördünün birbirlerinin istatistiksel aralıkları içinde kaldığını ve onları sıralamayı reddettiğini belirtiyor. Gerçek kullanıcı aramalarına verilen AI Overviews yanıtlarından alınan 300 istatistiklik ayrı bir kontrol kümesi de aynı %40 payını verdi; bu da sonucun soru setinden kaynaklanan bir yapısal bozulma olmadığını düşündürüyor.

Neden önemli

Atıflar, yapay zekâ yanıtlarındaki temel güven sinyalidir; özellikle araştırma aracı olarak konumlanan ürünlerde. Bu çalışma, o sinyalin zayıf olduğunu gösteriyor: Bir atıf, bir modelin sayıyı nereden aldığını gösteriyor, onu gerçekte kimin ölçtüğünü değil. Desteklenmeyen rakamlar, iyi kaynaklı olanlarla aynı özgüvenle ve aynı dipnotla geliyor; ve beş asistan bir sayı üzerinde hemfikir olduğunda — %44'lük takip istatistiğinin gösterdiği gibi — bu hemfikirlik tek başına hiçbir şey kanıtlamıyor. Bu sayıları bir sunumda, makalede ya da iş kararında kullanan herkes için pratik ders şu: Yapay zekâ atfını kanıt değil, doğrulanacak bir ipucu olarak ele alın. Bulgular, ayrıca giderilebilir bir ürün açığına işaret ediyor: Araştırma raporları ve devlet verileri gibi birincil kaynakları şirket blogları ve derlemelerin önüne koyan sistemler, aktarılan bir sayının gerçek olma olasılığını anlamlı biçimde artırırdı.