Yapay zeka arama araçları neden gerçek dışı bilgi uyduruyor: kendinden emin yanlış yanıtların arkasındaki retrieval boşluğu

Model tahmin eder, arama yapmaz

Büyük bir dil modeli elinde gerçeklerden oluşan bir iç veritabanı taşımaz. Faizan Altaf'ın dev.to'daki açıklamasının deyişiyle, eğitim süreci modele istatistiksel bir örüntü bırakır: verilen bazı kelimelerden sonra en olası kelimeler hangileridir. Bir soruyu yanıtlamak, bir devamı token token üretmek demektir — token kabaca bir kelime ya da parçasıdır — ve model her adımda aday tokenları puanlar, genellikle en olasını seçer, ara sıra da metnin doğal kalması için rastgele birini.

Bu mekanizma akıcı bir çıktı üretir, ama doğruluk yerine makul görünmeyi optimize eder. Böyle bir sistem için uydurulmuş bir kaynak ile gerçek bir kaynak aynı görünür, çünkü ikisi de modelin eğitim sırasında özümsediği kelime dizilerine benzer.

Retrieval yardımcı olur, ama model yine de yazar

Yapay zeka arama araçları ikinci bir bileşen ekler: retrieval. Retrieval-augmented generation (RAG) olarak bilinen bu akış, soruyu bir arama sorgusuna dönüştürür, güncel web sayfalarını getirir, bunları pasajlara böler ve model yanıtı oluşturmadan önce bu pasajları bağlam olarak modele verir.

Makaleye göre, yapay zeka aramasındaki halüsinasyonların belirli bir kaynağı var: retrieval'in gerçekte bulduğu ile sorunun talep ettiği arasındaki uyuşmazlık. Pasajlar yanıtı içeriyorsa model genellikle doğru yapar, hatta kaynağını bile gösterebilir. Pasajlar yetersiz, çelişkili ya da yalnızca gereken bilgiyi içermiyorsa, model bu açığı tek yapabildiği şekilde kapatır — makul bir şey yazarak.

Altaf bu açığı genişleten üç koşul sayıyor: arama dizininin henüz tarayamadığı gelişmekte olan olaylarla ilgili sorgular, açık web üzerinde güçlü bir kaynağın bulunmadığı sorular ve modelin alakasız pasajları tek bir yanıtta harmanlamaya ittiği çok parçalı sorular.

Tarihler, sayılar ve isimler neden önce yanılır

Hatalar eşit dağılmaz. Tarihler, rakamlar, isimler ve kaynaklar, genel açıklamalardan çok daha sık yanlış olur ve makale bunun mekanik bir nedenini sunar: bu tokenlar en az gereksiz bilgiyle en fazla bilgiyi taşır. Bir tarihin tek bir doğru biçimi vardır ve modelin yanlış tahminden kurtulmasını sağlayacak çevresel bir bağlam yoktur; bir açıklamada ise pay vardır, çünkü birçok farklı ifade kabul edilebilir. Getirilen metin tam olarak o bilgiyi içermiyorsa, model onu doğrulayamaz.

Aynı mantık, kendinden emin bir tonun hiçbir şey kanıtlamadığını açıklar. Güven, üretim sürecinin bir özelliğidir, doğruluğun bir ölçümü değil; ve modelin ne zaman tahmin yürüttüğünü söyleyecek bir iç sinyali yoktur.

Bu konuda geliştiriciler ne yapabilir

Açıklama dört pratik önlem sıralıyor:

• Modeli büyütmeden önce retrieval'i iyileştirin — güçlü retrieval'e sahip küçük bir model, zayıf retrieval'e sahip büyük bir modelden gerçekçi sorularda daha iyi performans gösterir.

• Yanıtları görünür kaynaklara dayandırın; böylece iddialar sınırlı kalır ve kullanıcılar onları kontrol edebilir. İddiasını desteklemeyen bir atıf, hiç olmamasından daha kötüdür, çünkü hiç kazanmadığı bir güveni ödünç alır.

• Kanıt zayıfken modelin reddetmesi için ayarlayın — ürünlerin direndiği bir şeydir bu, çünkü kullanıcılar reddetmeleri sevmez; oysa bir ret, kendinden emin bir uydurmadan daha yararlıdır.

• Bir doğrulama adımı ekleyin — her kilit iddianın getirilen metinde yer alıp almadığının ucuz bir ikinci kontrolü; makaleye göre bu, uydurmaların büyük bir kısmını kullanıcılar görmeden yakılıyor.

Bunlardan hiçbiri halüsinasyonu tamamen ortadan kaldırmaz. Onu küçültür ve kalanı denetlemeyi kolaylaştırır.

Günlük kullanıcılar için alışkanlıklar

Üç alışkanlık riskin çoğunu kapsar: her sayıyı, kaynağı açıp rakamı orada görene kadar doğrulanmamış sayın; bir yanıtın kime göre olduğunu sorun, sonra atfı okuyun; ve hukuki ayrıntılar, tıbbi dozlar, finansal rakamlar, tarihler gibi tam olması gereken konularda — birincil kaynağı kontrol etmeden — asla yapay zeka aramasına yaslanmayın. Araç, kavramları açıklamak, elinizdeki belgeleri özetlemek ve ilk taslakları yazmak konusunda hâlâ gerçekten iyidir.

Neden önemli

Makale konuyu gerçek bir bağlama oturtuyor: Pakistan'da, aktardığı rakamlara göre, ankete katılan öğretmenlerde üretken yapay zeka kullanımı 2024'te yüzde 64'ten 2026'da kabaca yüzde 93'e çıktı, ama bu öğretmenlerin yalnızca dörtte biri civarı öğrencilerinden yapay zekanın ürettiğini eleştirmelerini istiyor. Bir RAG akışı kuruyor olun ya da yalnızca bir chatbot'a soru soruyor olun, sonuç aynı: model güvenilir biçimde makul metin üretir ve o metnin doğru olup olmadığına karar vermek hâlâ onu okuyan kişinin işidir.