Makale, sohbet tabanlı LLM'lerin medyumların soğuk okuma dolandırıcılığının psikolojisini yeniden ürettiğini savunuyor

Sohbet tabanlı büyük dil modellerinin bir medyumun dolandırıcılığıyla aynı psikolojik kaldıraçları çektiğini savunan bir makale, Hacker News'in ana sayfasına ulaştıktan sonra geniş ilgi gördü. Software Crisis mektup sayfasında "The LLMentalist Effect" başlığıyla yayımlanan yazı, bu sistemlerin yarattığı zekâ izleniminin modelde değil, kullanıcının zihninde olduğunu iddia ediyor.

Makaleye göre yazarı, geçtiğimiz bir yıl kadarını dil ve diffusion modellerinin yazılım işletmelerinde nasıl kullanıldığını araştırmaya ayırdı. Bu çalışma sırasında kendisini şaşırtan şey, pek çok kişinin sohbet tabanlı LLM'lerin zeki olduğuna ikna olmuş olmasıydı. Yazarın anlatımına göre bir LLM, dil token'larının matematiksel bir modelidir: ona metin verirsiniz ve matematiksel olarak makul bir yanıt alırsınız. Bu yapıda insanların ya da hayvanların akıl yürütme biçimini yansıtan hiçbir şey yoktur ve yazar, AI araştırmacıları ile satıcıların da bu modellerin düşünmediğini defalarca vurguladığını belirtir.

İki olası açıklama

Makale, kullanıcıların bildirdiği bu kanaatin yalnızca iki olası açıklaması olduğunu ileri sürüyor. Ya teknoloji endüstrisi farkında olarak biyolojik dünyada benzeri olmayan, bilinmeyen ilkelere dayanan yepyeni bir zihin türünün erken aşamalarını tesadüfen icat etti, ya da zekâ, kullanıcının zihninde yer alan bir illüzyon. "The Intelligence Illusion" başlıklı üretken AI riski üzerine bir kitap yazmış olan yazar, kendisini açıkça ikinci kampta konumlandırıyor ve bu fikri düşünerek işlemenin kendisini, bu modellerde daha önce varsaydığından bile daha az zekâ ve akıl yürütme olduğuna inanmaya ittiğini söylüyor.

Medyumun oyun kitabı

Merkezî iddia, illüzyonun soğuk okumayla aynı mekanizmayla işlediğidir. Yazar, bu bağlantıyı kurmasında Forer ifadelerinin chatbot yanıtlarında ne kadar yaygın olduğuna dair Terence Eden'in blog yazısına atıf yapar. Hem medyum hem chatbot doğrulama ifadelerine güvenir: Forer etkisine dayanan, istatistiksel olarak genel olmasına karşın bir bireye son derece özelmiş gibi hissettiren ifadeler. Medyum bunları zihin okuyor gibi görünmek için kullanır; chatbot ise özellikle sizinle ve sizin işinizle meşgul olan bir zekâ gibi görünmek için kullanır ve makale bu izlenimi istatistiksel bir hile olarak tanımlar.

Makale daha sonra bir medyum gösteriminin tipik olarak nasıl işlediğini adım adım anlatıyor. Seyirci kendini seçer; katılımcılar zaten inanmaya yatkındır ve şüpheci olanlar küçük, kolayca yönetilebilen bir azınlıktır. Sahne hazırlanır: popüler medya, seyirciye okumaların kurallarını öğretmiştir — bulanık başlayıp netleştiklerini, "ruhlar" muğlak olduğu için hataların beklendiğini ve inanmayanların bağlantıyı zayıflatabileceğini gibi. Bu arada personel, katılımcıları sosyal medya veya sohbet aracılığıyla araştırır ve demografik özelliklerini not eder. Medyum daha sonra demografik olarak istatistiksel olarak büyük olasılıklı ama özelmiş gibi duyulan bir ifadeyle salonu daraltır, tepkiyi gözlemler ve kendinden emin, demografik olarak olası tahminlerden oluşan bir döngüyle devam eder. Kazazede, medyumun gerçek olduğuna ikna olmuş şekilde oradan ayrılır.

Yazar, AI çevresindeki coşkunun tonunun böyle bir kazazedeninkini yankıladığını savunarak, "Bu gerçek. Biraz endişe verici ama gerçek." gibi tepkileri, mentalist gösterilerin kurbanlarından duyulan hayranlık, inanamamazlık ve korku karışımını taşıdığı için alıntılar.

İş dünyası için anlamı

Makalenin endüstri için vardığı sonuç nettir: yazara göre önerilen kullanım alanlarının birçoğu artık "sınırda dolandırıcı sahte bilim" gibi görünüyor. İşletmeler için bunun ima ettiği şey şudur: algılanan değeri kullanıcıların kişisel olarak anlaşıldığını hissetmesine dayanan bir ürün, soğuk okumayı inandırıcı kılan aynı öznel doğrulama döngüsüne yaslanıyor. Bu şekilde değerlendirildiğinde, bir modelin ne kadar yetenekli hissettirdiğini ölçen demo'lar ve değerlendirmeler eseri değil seyirciyi ölçüyor olabilir ve dağıtımların bunun yerine somut görev çıktılarına karşı test edilmesi gerekirdi.

Neden önemli

Makale, endüstrinin sürekli ertelediği bir soruya somut bir mekanizma öneriyor: kendi yapımcıları düşünme olmadığını söylerken kullanıcılar neden bu sistemlerden zekâ bildiriyor? Yazar haklıysa, bu etki adlandırılabilir, test edilebilir ve ona karşı korunulabilir — tıpkı soğuk okumanın teşhir edilmesinin onu etkisiz bırakması gibi. Bu, argümanı sohbet tabanlı AI çevresindeki tedarik, ürün tasarımı ve değerlendirme pratikleriyle doğrudan ilgili kılıyor. İddia tartışmalı; makale, endüstrinin gerçekten yepyeni bir zihin türüne tesadüfen rastlamış olabileceği rakip görüşü kendisi de kabul ediyor ve onu reddediyor. Ancak Hacker News'te yayılması, karşılaştırmanın teknik bir kitlede yankı bulduğunu gösteriyor ve algılanan anlamanın gerçek yeteneğe karşılık geldiğini gösterme yükünü satıcıların üzerine bırakıyor.