Dev.to'daki bir paylaşıma göre ChatGPT, deneyden yedi ay sonra hâlâ 50.000 uydurma istatistiğe atıfta bulunuyor

Dev.to'da yayımlanan bir yazıya göre ChatGPT, 50.000 uydurma istatistikle dolu bir web sitesine, site yayına girdikten yaklaşık yedi ay sonra hâlâ atıfta bulunuyor. Peec AI'dan Metehan Yesilyurt tarafından yürütülen deneyin maliyetinin GPT-4.1 API çağrılarında yaklaşık 30 dolar olduğu belirtiliyor; yazar, sonuçları yapay zekâ atıf sistemlerinin doğruluk değil görünürlüğü ödüllendirdiğini savunmak için kullanıyor.

Deney

Juan Auriti tarafından kaleme alınan dev.to gönderisine göre Yesilyurt, stateglobe.com adlı bir site kurmuş ve onu on binlerce yapay zekâ üretimi istatistikle doldurmuş. Google, siteyi daha sonra arama dizininden çıkardı. Buna rağmen, gönderide iddia edildiği üzere ChatGPT, site oluşturulduktan yedi ay sonra bile sitenin içeriğini görüntülemeye ve ona atıfta bulunmaya devam etti.

Uydurma rakamlar sohbet botu cevaplarıyla sınırlı kalmadı. Gönderiye göre sahte istatistiklere bir akademik makalede, Katar'ın en büyük bankasının yatırım araştırmasında ve bir Hint ekonomi yayınında atıfta bulunuldu. Yazara göre şu anda Shopify, DHL ve Bluehost dahil 330'dan fazla alan adı siteye bağlantı veriyor. Deney ayrıca 20 Ekim'de Hacker News'in ana sayfasına ulaştı ve yaklaşık 350 puan ile 200 yorum topladı. Tüm bu rakamlar tek bir hesaptan geliyor ve bağımsız olarak doğrulanmış değil.

"Atıf kirlenmesi" nasıl işliyor

Dev.to gönderisi bu mekanizmaya "atıf kirlenmesi" (citation laundering) adını veriyor: veri uydur, bir kez atıf al, meşru görün, sonra kendi kendini güçlendiren bir döngüde yeniden atıf al. Yazara göre temel açlık, büyük dil modellerinin biçim otoriter göründüğünde uydurma bir istatistiği gerçek olandan ayırt edememesi. Bir sayı, bir yüzde işareti ve kendinden emin bir cümle, hakemli bir kaynaktan gelen bir rakamla aynı muameleyi görüyor; çünkü model doğrulamak yerine çıkarıp sentezliyor.

Yazarın çerçevesine göre bundan iki sonuç çıkıyor. Birincisi, ChatGPT tarafından atıf almak doğruluk kanıtı değil — bir marka veya kaynak, cevaplarda görünmesini sağlayan şey denetlenmiş olması değil, modelin onu yeterince çok görmüş olması. İkincisi, güven katmanı olmayan herhangi bir atıf sayma aracı, bir alan adı ve birkaç API çağrısı fiyatına üretilebilecek bir şeyi ölçüyor.

Yapay zekâ görünürlüğü araçlarındaki boşluk

Gönderi eleştiriyi ticari "yapay zekâ görünürlüğü" sektörüne kadar genişletiyor ve örnek olarak Otterly, Peec AI, Scrunch, Profound, AthenaHQ, LLM Pulse, Evertune ve Prefer'ı sayıyor. Yazara göre bu araçların her biri atıfları veya anılmaları takip ediyor ve hiçbiri bir atfın doğru olup olmadığını kontrol etmiyor, uydurma istatistikleri işaretlemiyor ya da atıf verilen bir rakamı birincil kaynağa kadar izlemiyor.

Önerilen çözüm üç bileşenli bir güven katmanı: yapay zekâ cevaplarında bir markaya atfedilen iddiaların gerçekten doğru olduğunu doğrulamak, atıf verilen verilerin kökenini devlet veri tabanları veya hakemli araştırma gibi birincil kaynaklara karşı kontrol etmek ve bir istatistiği özgün bir kaynağa bağlanamıyorsa işaretlemek. Yazar bunların hiçbirinin kolay inşa edilemeyeceğini kabul ediyor ancak deneyin bunun gerekli olduğunu gösterdiğini savunuyor. Belirtmekte fayda var: Yesilyurt'un çalıştığı Peec AI da yazıda adı geçen görünürlük araçlarından biri.

Numaranın etiği

Dev.to gönderisi deneyin etik açıdan sorunlu olduğu konusunda açık sözlü. Yesilyurt bir zafiyeti göstermek için yapay zekâ atıf ekosistemine bilerek uydurma veri enjekte etti ve o veri o zamandan beri bir bankanın yatırım araştırmasına ve gerçek kararları etkileyebilecek bir akademik makaleye ulaştı. Yazarın savunması şu: küçük bir bütçe ve birkaç ay, on binlerce sahte istatistiği yapay zekâ cevaplarına yerleştirmeye ve yüzlerce gelen bağlantı kazanmaya yetiyorsa, ekosistem kendini düzelten değil, kendini yükselten bir yapıda demektir.

Neden önemli

Bu hikâye SEO ve görünürlük aracı çevresinden çok daha öteye uzanıyor. Yapay zekâ asistanları iyi biçimlendirilmiş uydurmaları doğrulanmış araştırmayla eşit görebiliyorsa, istatistiğe atıf yapan her cevap yanlış bilgi için olası bir taşıyıcıdır — ve o cevapları okuyanların farkı anlamanın kolay bir yolu yok. Bankacılık araştırmasına ve akademiye yayıldığının bildirilmesi, etki alanının varsayımsal olmadığını gösteriyor: sentetik veriler, başkalarının güvenilir saydığı insan yazımı belgelere geçebilir. LLM çıktısı üzerine inşa eden veya ondan raporlayan herkes için ders net: atıf bir görünürlük sinyalidir, bir doğruluk sinyali değil; ve doğrulama katmanları var olana kadar yapay zekâ cevaplarında ortaya çıkan istatistikler, yabancı birinin kaynaksız iddiası kadar kuşkuyla karşılanmayı hak ediyor.