Data Colada, etkili 2002 erteleme çalışmasında veri manipülasyonu iddiasında bulundu

Başarısız bir replikasyon dolandırıcılık sonucuna yol açtı

Olayın merkezindeki makale, "Procrastination, Deadlines, and Performance: Self-Control by Precommitment", 2002'de Dan Ariely ve Klaus Wertenbroch tarafından Psychological Science'ta yayımlandı. Yine Psychological Science'ta yayımlanan ve Kyle Hyndman ile Alberto Bisin tarafından yapılan yeni bir replikasyon, makalenin ikinci çalışmasının sonucunu yeniden üretemedi. Bu başarısızlık, orijinal veri dosyalarına yıllar önce ulaşmış olan Data Colada blogunun yazarlarını bu dosyaları derinlemesine incelemeye itti. Yeni yayımlanan bir yazıda, makalenin iki ana çalışmasındaki verilerin de manipüle edildiği sonucuna varıyorlar. Yazıya göre, Data Colada bulgularını Ariely ve Wertenbroch ile paylaştığında, iki yazar Psychological Science'tan 2002 makalesinin geri çekilmesini istedi ve bu süreç hâlâ devam ediyor.

2002 çalışması ne iddia ediyordu

Ariely ve Wertenbroch, teşvikli bir proofreading deneyi yürüttü. Altmış katılımcı — her koşulda tam yirmi kişi — her biri 100 dilbilgisi ve yazım hatası içeren üç adet on sayfalık belge aldı ve bu hataları bulup düzeltmeleri istendi. Bir grup, üç hafta boyunca yedi günde bir bir belge teslim edilecek şekilde eşit aralıklı son tarihlerle karşılaştı. İkinci grup, 21 günlük bir pencere içinde kendi son tarihlerini seçti. Üçüncü grup ise her şeyi 21. günde teslim etmek zorundaydı. Bildirilen sonuç çarpıcıydı: eşit aralıklı son tarihler, iki alternatiften de belirgin biçimde daha iyi performans, daha az gecikme ve daha yüksek kazanç sağladı. Makale alanın bir klasiği hâline geldi — Data Colada'ya göre Google Scholar'da 2.100'den fazla atıfla birçok iktisat ve psikoloji dersinde okutuluyor.

Orijinal veriler nasıl ortaya çıktı

Data Colada'nın anlattığına göre veri dosyalarının geçmişi alışılmadık. Nisan 2006'da Kyle Hyndman, orijinal araştırmayla ilişkili bir adresten gelen bir e-postayla — bir pilot çalışma, Çalışma 1 ve Çalkışma 2'yi kapsayan — üç Excel dosyası aldı. Dosya özelliklerinde son kaydeden kişi olarak Dan Ariely görünüyordu. Hyndman dosyaları, Francesca Gino'nun blog yazarlarına 25 milyon dolarlık dava açmasından bir hafta sonra, Ağustos 2023'te Data Colada'ya iletti. Kritik nokta şu: Data Colada, orijinal makalenin ana şeklindeki dokuz ortalama ve dokuz standart hatanın tamamını, ayrıca metinde raporlanan altı ek ortalamayı yeniden üretebildiğini bildiriyor — bunların yayımlanan sonuçların ardındaki dosyalar olduğunun güçlü bir kanıtı.

Manipülasyon kanıtları

Data Colada, vakasını dört kırmızı bayrak etrafında düzenliyor; ilki etkinin büyüklüğü. Eşit aralıklı son tarihli katılımcılar ortalama 136,1 hata düzeltti; tek bir dönem sonu son tarihiyle karşılaşanlarda ise bu sayı 71,1'di. Bu, koşul ile performans arasındaki r = .79 korelasyonla birlikte Cohen's d = 2,5'e karşılık geliyor. Karşılaştırma için yazı, bunu cinsiyetin boy üzerindeki etkisiyle (yaklaşık d = 1,8) ve insanların üç yerine dokuz argümana maruz kaldığında farkı yalnızca d = 1,49 düzeyinde fark ettiği klasik bir manipülasyon kontrolüyle karşılaştırıyor. Yazarlara göre, son tarih yapısının proofreading performansını, insanların az önce okudukları argüman sayısını fark etmelerinden daha güçlü etkilemesi fikri inandırıcı değil. Dağılımlar neredeyse hiç örtüşmüyor: son gün koşulundaki hiçbir katılımcı 100 düzeltmeyi aşmazken, eşit aralıklı grubun yüzde 90'ı aştı.

İkinci kırmızı bayrak, tekrarlanan gözlemler. Bazı katılımcılar yalnızca özdeş toplamlar değil, üç ayrı görevin her birinde özdeş düzeltme sayıları da kaydetti. Analiz, son gün koşulundaki 20 katılımcının 18'ini bu tekrar örüntüsü içinde işaretliyor. Yazarlar, sonraki bir yazının Çalışma 1'i inceleyeceğini söylüyor.

Veriler üzerinde bir anlaşmazlık

Dosyalarla ilgili çözümsüz bir anlaşmazlık da var. Data Colada'nın alıntıladığı replikasyon makalesinin 14. dipnotu, replikasyonu yapanların Ekim 2024'te analizlerini editörlerin isteği üzerine Ariely ile paylaştığını ve makalede özetlemek için izin istediğini belirtiyor. Ariely, dosyaların gerçek veriler olmayabileceğini ileri sürerek reddetti ve alternatif bir veri seti sunmadı. Data Colada ayrıca, bildiği kadarıyla ortak yazar Klaus Wertenbroch'un verinin hiçbir sürümüne hiç erişmediğini ve dosyaların dolaşıma girmesini sağlayan şeyin, Hyndman'ın sorusuna 2006'da verdiği yanıt olduğunu ekliyor. Blog, sonucunun tamamen kendi analizlerine dayandığını belirtiyor ve okuyucuların sonuçları doğrulayabilmesi için verileri ve kodu ResearchBox'ında yayımladı.

Neden önemli

2.100'den fazla kez atıf yapılan ve yirmi yılı aşkın süredir üniversite derslerinde okutulan bir çalışma artık uydurma veriler üzerine kurulmakla suçlanıyor; geri çekilme, üzerine inşa edilen precommitment, öz kontrol ve son tarih tasarımı literatüründe dalgalar yaratacak. Bu vaka ayrıca orijinal verilere erişimin neden önemli olduğunun bir gösterimi: buradaki uyarı işaretleri — inanılmaz derecede büyük etkiler ve tekrarlanan yanıt örüntüleri — başarısız bir replikasyon araştırmacıları ham dosyalara geri dönene kadar yirmi yıl boyunca fark edilmedi. Verileri teslim eden ortak yazarın görünüşe göre kendisi verilerle hiç çalışmamış olması, en çok etkili çalışmaların bile altındaki sayıların ne kadar nadiren incelendiğini gözler önüne seriyor.