Beş yapay zeka modeli olgulararda büyük ölçüde hemfikir, ama değerlendirme gerektiren soruların üçte ikisinde ayrışıyor

Araştırma ne buldu

MultiO'nun dev.to'da yayımladığı yazıya göre, beş önde gelen yapay zeka modeliyle yapılan kontrollü bir karşılaştırma, olgusal sorularda geniş bir mutabakat, değerlendirme gerektiren sorularda ise sık sık ciddi ayrılıklar olduğunu ortaya koydu. GPT, Claude, Gemini, Grok ve Llama'ya gönderilen 24 özdeş sorunun yalnızca 8'inde (%33) modeller maddi anlamda hemfikir oldu. Geri kalan 16 sorunun her birinde en az bir maddi ayrılık vardı — toplamda 52 — ve 15 soruda (%63) tek bir model tamamen yalnız kaldı: ya başka hiçbir modelin yapmadığı bir iddiada bulundu ya da diğer dördüne karşı muhalefet etti.

Araştırma nasıl yürütüldü

MultiO, 24 soruyu dört grupta hazırladı: fiyatlandırma ve strateji kararları, içinde bir tuzak barındıran olgusal sorular, kodlama yaklaşımı tercihleri ve ödünleşim içeren öneriler. Her soru, beş ailenin her birinden orta seviye bir modele değiştirilmeden gönderildi. Analiz, ifade veya üslup farklarından çok maddi görüş ayrılıklarına odaklandı.

Ayrılıklar kategoriye göre net bir örüntü izledi. Olgusal sorularda neredeyse oy birliği vardı; soru başına ortalama 0,33 ayrılık görüldü. Değerlendirmenin ağırlıkta olduğu kategoriler ise ciddi biçimde bölündü: öneri sorularında soru başına ortalama 3,17, kodlama varsayılanlarında 2,67 ve fiyatlandırmada 2,50 ayrılık kaydedildi.

Örüntüyü özetleyen iki örnek

Ayda 3.000 dolar kazanan ve 30 dolarlık tek seferlik kilit açma uygulamasına sahip bir bağımsız uygulamanın 5 dolarlık aylık aboneliğe geçmesi gerekip gerekmediği sorulduğunda, bir model koşulsuz olarak evet dedi, ikisi elde tutma oranı altı ayı aşmadıkça hayır dedi ve yalnızca bir model hesabı yaptı: eski geliri yakalayabilmek için kabaca 600 aktif abone gerekirdi, bu süreçte de bir düşüş ve tepki riski olurdu. MultiO, o tek hesabı beş cevabın arasındaki en yararlı katkı olarak görüyor.

İkinci örnek tersi yönü gösteriyor. Uyurunda örümcek yutma efsanesiyle ilgili olarak tüm modeller bunu doğru biçimde yanlış olarak nitelendirdi — ama biri istatistiğe kendinden emin bir köken hikâyesi ekledi. Yazarlara göre o hikâyenin dayandığı kaynak, var olduğu hiçbir zaman gösterilememiş bir referans; bu da tek başına yapılan süslemeyi o gruptaki tek hatalı satır haline getiriyor.

Araştırmanın tamamında 14 tek kaynaklı iddia vardı. MultiO bunların 8'inin (%57) grubundaki en değerli katkı olduğunu, 3'ünün ise hatalı ya da uydurma çıktığını raporluyor. Aykırı olan bazen içgörü, bazen de uydurmadır; yazarlara göre tek bir model, hangi iddialarına başka hiçbir modelin destek vermeyeceğini asla işaretlemiyor.

Kontrol amacıyla ekip, iki soruyu üçer kez tek bir modelden geçirdi ve kararda bir değişiklik görmedi; bu da görüş ayrılığının tek bir modelin örnekleme varyansından değil, modellerin arasında olduğunu düşündürüyor.

Uyarılar

Bu küçük ölçekli, satıcı tarafından yayımlanmış bir deney ve yazarlar ilgili çıkar çatışmalarını kendileri açıklıyor. MultiO çok modelli bir abonelik uygulaması geliştiriyor; yani modellerin aynı anda birkaçına sormayı haklı çıkaracak kadar sık ayrışması bulgusundan ticari olarak yararlanıyor. Metodoloji sayfası, cevapların hakeminin de aynı zamanda panelin katılımcısı olduğunu kabul ediyor; yazarlar ayrıca testler sırasında modeller arasında bellek sızması yaşanan bir olayı ifşa ediyor. 24 soru, beş model ve soru başına fiilen tek çalışmayla bu yüzdeler bu deneyi tanımlıyor; kalıcı oranlar ortaya koymuyor.

Neden önemli

Model seçen ya da kararlar için tek bir modele bel bağlayan herkes için araştırma pratik bir asimetriye işaret ediyor. Önde gelen model ailelerinde olgusal hatırlama yakınsıyor gibi görünüyor — doğrulanabilir bir soru sorun, çoğu model aynı cevabı verecektir. Ayrılıklar tam da kullanıcının arama yaparak doğrulayamayacağı yerlerde kümeleniyor: mimari tercihleri, fiyatlandırma stratejisi, ürün önerileri. Bunlar aynı zamanda tek bir kendinden emin cevabın en sık yüz değerinde kabul edildiği alanlar.

Bu örneklem büyüklüğünde bile eyleme dökülebilir çıkarım iki yönlü. Yüksek riskli değerlendirme kararları ikinci bir modele danışılacak yerdir; ve yalnızca tek bir modelin cevabında görünen bir iddia, ek bir içgörü değil — doğrulama için bir prompt olarak ele alınmalıdır.