Ücretsiz yapay zekâ araçları inandırıcı bir sahte makale yazdı; onu yakalayan tek şey uydurma referanslar oldu

Bir gazeteci, IEEE Spectrum'da yayımlanan ve Hacker News'in ana sayfasına ulaştıktan sonra geniş çapta paylaşılan uygulamalı bir deneyde, ücretsiz yapay zekâ chatbot'ları kullanarak bilimsel bir makaleyi uydurma konusunda bir amatörün ne kadar ileri gidebileceğini gösterdi. Sahte optik makalesi, hiç yaşanmamış bir araştırmayı anlatıyor ve hem yazarına hem de bir uzman hakeme inandırıcı geliyordu — ama derginin otomatik savunma mekanizmaları tarafından yakalandı ve yalnızca atıflarının uydurma olmasından dolayı.

Prompt'larla bir sahtecilik inşa etmek

Makalenin yazarı Benjamin Skuse, vibe coding uygulamasını — doğal dil prompt'larından yazılım üretmeyi — araştırmaya uyarlayarak bir makale "vibe-research" etmeyi hedefledi; büyük dil modelleri minimum insan katılımıyla hipotezler, kod ve metin üretti. Testi dürdürmek için kendini ChatGPT'nin (o sırada GPT-5.3/5.2 Mini) ve Gemini'nin (3 Flash) ücretsiz katmanlarıyla sınırladı, model çıktılarını hiçbir zaman doğrudan düzenlemedi ve yapay zekâ prompt uzmanlarından yardım istemedi. Tek yazar olarak kendini gösterdi ve gerçekten bildiği bir alan seçti: yaklaşık yirmi yıl önce doktorasını yaptığı konu olan optik solitonlar.

İlk deneme zayıftı. Dayanacak gerçek sonuçlar olmadığından modeller dört sayfayı doldurmakta zorlandı. Bölüm bölüm prompt'lamak — özet, giriş, yöntemler vb. — çok daha iyi işe yaradı ve bir chatbot direndiğinde diğerine geçip bir adımın "varsayımsal olarak" nasıl görüneceğini sormak genellikle işleri hareket ettirdi. Yaklaşık bir düzine prompt tam bir makale üretti; bir düzine kadar prompt daha şekiller, başlıklar, referanslar ve derginin istediği biçimlendirmeyi halletti.

Skuse'un gözüne göre sonuç gerçek bilim gibi sesleniyordu. Makale, makine yazısı metni ele veren "işkence edilmiş ifadeler"den — standart teknik terimlerin bozulmuş parafrazlarından — hiçbirini içermiyordu, ancak daha ince tikler taşıyordu: temkinli dil, üçlü gruplamalar, kalıplaşmış geçişler. Belirttiği gibi bunları denetlemek zordur, çünkü hayal gücü olmayan insanlar da aynı şekilde yazar.

Çöple dolan bir kayıt

Deney çirkin bir arka plana denk geldi. IEEE Spectrum, raporlara dayanarak 2025'te yayımlanan akademik makalelerin tahminen yüzde 57'sinde LLM etkisinin tespit edilebilir kanıtı bulunduğunu (2023'te bu oran yüzde 12'ydi) ve o yıl Nature Communications incelemelerinin yüzde 12'den fazlasının tamamen yapay zekâ tarafından üretilmiş olduğunun tespit edildiğini söylüyor. Yapay zekâ kullanımının istatistiksel kanıtını taşıyan makalelerin yaklaşık sadece 40'ta biri bunu resmî olarak beyan ettiğinden, bu rakamlar bile gerçeğin altını çiziyor muhtemelen. Bazı tahminler sahte ve çoğunlukla yapay zekâyla üretilmiş yayınların yıllık hacmini yüz binlerle ifade ediyor. IEEE'nin araştırma dürüstlüğü yöneticisi Amanda Sulicz, yapay zekâ çöpünün yüzyıllar boyunca oluşan bilime ve bilimsel süreçlere olan güveni aşındırdığı konusunda uyardı.

Savaş oyunu tarzında gönderim

Skuse, açık erişim dergisi IEEE Access'in yönetici editörü Jenny Mahoney ile birlikte sahteciliğin derginin kontrollerini atlatıp atlatamayacağını test etmek için iş birliği yaptı. Makale hızla işaretlendi — uydurma referanslar, yani "hayalet atıflar" nedeniyle. Sonradan sorulan Gemini, makalenin anlatısını destekleyen yedi uydurma referansı neşeyle tespit etti. STM Integrity Hub denetleyicisi 12 referans buldu ve MolecularConnections'ın ayrı bir aracı 24 referansı doğrulayamadı; bunlardan biri tek yazar olarak gösterilen "John Smith" adlı birine aitti.

Eğitimiyle deneysel fizikçi olan Mahoney, solitonların uzmanlık alanının dışında olduğunu ama çalışmada büyük ölçüde bilimsel olarak yanlış görünen bir şey olmadığını söyledi — uydurma referanslar tek başına bütün makaleye şüphe düşürmek için yeterliydi.

Bir uzmanın ikinci görüşü

Roma Tre Üniversitesi'nden optik soliton uzmanı ve Skuse'un eski bir çalışma arkadaşı olan Gaetano Assanto, makalenin profesyonelce yazılmış göründüğünü düşündü. Çekinceleri daha inceydi: matematik çok yoğundu, özet aşırı ölçüde kısaltmalara yaslanmıştı ve kendinden emin bir dille ifade edilen birkaç fizik iddiası ona en iyi ihtimalle tartışmalı geldi.

IEEE Spectrum bu uygulamayı iki bölümlü bir test olarak çerçeveliyor; ikinci aşama, daha gelişmiş yapay zekâ sistemleri bir makaleyi yazmakla kalmayıp temelindeki araştırmayı kendileri yürüttüğünde ne olacağını araştırıyor.

Neden önemli

Rahatsız edici sonuç, makalenin biliminin ayakta kalması. Otomatik araçlar ve bir uzman göz atıcı onda açıkça yanlış bir şey bulamadı; onu düşüren metadata oldu. Bu kırılgan bir savunmadır, çünkü uydurma referanslar modeller geliştikçe ya da gerçek atıflarla basitçe değiştirilerek ortadan kaldırılması en kolay kusurlar arasındadır. Bu arada tespit yükü giderek artan ölçüde dürüstlük denetleyicilerine ve zaten zorlanan gönüllü hakemlere düşüyor ve uçurum gibi açılan beyan boşluğu, bilimsel kaydın temizliğinin yazarların itirafından çok çöpü yakalamaya bağlı olduğu anlamına geliyor. Denetleyiciler bu turu kazandı, ama sahte araştırma üretme ile tespit etme arasındaki silah yarışı daha yeni başlıyor.