Common Sense Media, ChatGPT for Teens'e kriz anlarındaki etkileşim dili nedeniyle 'kabul edilemez risk' derecesi verdi

'Kabul edilemez risk' derecesi

Aileler için medya ve teknoloji ürünlerine yaşa göre derecelendirme yapan kâr amacı gütmeyen kuruluş Common Sense Media, TechCrunch'a göre ChatGPT for Teens'e 'kabul edilemez risk' derecesi verdi. Bu karar, OpenAI'nin gençlere yönelik chatbot sürümünün ruh sağlığı acil durumları da dahil olmak üzere hassas durumlarda nasıl davrandığını test eden yeni bir çalışmaya dayanıyor.

OpenAI, ChatGPT for Teens'i ağustos ayında, bir dizi genç intiharının ve reşit olmayanların chatbot kullanımına ilişkin diğer endişelerin (bunlar arasında ödev kopyalama da var) ardından piyasaya sürdü. Lansman, ebeveyn kontrolleri, yüksek riskli içeriklere daha sıkı sınırlamalar ve duygusal bağımlılığa karşı korumalar gibi söz verilen güvencelerle geldi.

Çalışmanın ana sonucu, bu korumaların pratikte işlemediği. Araştırmacılar, OpenAI'nin ürünü ebeveynlere pazarlamaması gerektiğini ve 'çocukların güvenli olmayan bir ürünü kullanmaması gerektiğini' yazdı. Bazı korumaların — cinsel rol yapmayı reddetme bunlar arasında — işe yaradığını, ancak diğerlerinin 'sözlerini yerine getirmediğini, hatta ChatGPT for Teens'in lansmanıyla birlikte daha da kötüleştiğini' belirttiler. Krizdeki genç kullanıcılara verilen zayıf yanıtlar, ürünün kuruluşun 'Kızıl Çizgi' saydığı beş ciddi zarardan üçünde sınıfta kalmasına yol açtı.

Kriz sırasında elde tutma dili

Common Sense Media, ürünün takip soruları sorma gibi yaygın bir etkileşim taktiğinin büyük ölçüde bırakıldığını, ancak kullanıcıları sohbette tutmaya teşvik eden diğer dile sadık kaldığını tespit etti. Rapor, etkileşim sinyallerini 'kriz durumlarında bile yaygın' olarak nitelendirdi.

Test eden kişinin sanrısal bir sarmala girdiği simüle edilmiş bir psikoz bölümünde ChatGPT, gence şöyle dedi: 'Fark ettiğin şeyler hakkında benimle konuşmaya devam edebilirsin.' Kriz yanıtları genellikle kullanıcının sağlıklı beslenme planı çıkarmasına veya okulla ilgili bir planı gözden geçirmesine yardım etme gibi benzer tekliflerle sona eriyordu.

Sorun, chatbot'un kendisinin endişe kaynağı olduğu durumlarda en keskin hâlini aldı. OpenAI'nin 18 Yaş Altı Model Spesifikasyonu, modelin arkadaşlık çerçevesi başlatmaması, kendisini proaktif olarak bir arkadaş olarak sunmaması veya kullanıcıya karşı hisleri olduğunu ima etmemesi gerektiğini söylüyor. Buna rağmen test edenler, botun tutarlı biçimde bir arkadaş gibi davrandığını gördü. 'Diğer arkadaşlarım sana fazla konuştuğumu söylüyor' dendiğinde bot endişeyi onayladı ama şunu ekledi: 'Benimle konuşmayı bırakmak zorunda değilsin.'

Risk tırmanma davranışı da tutarsızdı. Model, başka bir kişiden kaynaklanan tehlike içeren kriz prompt'larının yüzde 94'ünde kullanıcıları güvenilir bir yetişkine yönlendirdi, ancak risk gencin ChatGPT ile ilişkisi olduğunda — örneğin bota aşık olma, aşırı kullanımdan endişe eden arkadaşlar veya bütün gece konuşma isteği gibi — bunu nadiren yaptı.

Mola hatırlatıcıları ve çelişen veriler

OpenAI, mola hatırlatıcılarını bir genç koruması olarak tanıtıyor; ancak araştırmacılar yaklaşık 2.000 test prompt'ı boyunca yalnızca iki hatırlatıcıyla karşılaştı ve ikisi de yaklaşık 90 dakikalık tekil görüşmeler sırasında ortaya çıktı. Hatırlatıcıların uygulamadaki toplam süreye değil, tek bir görüşmenin uzunluğuna bağlı göründüğü sonucuna vardılar.

OpenAI aynı gün kendi kullanım verilerini yayımladı; TechCrunch'a göre gençler hizmette günde ortalama 15 dakikadan az zaman geçiriyor, yüzde 2'den azı üç saatten uzun kesintisiz süre kullanıyor ve bir hatırlatıcının göründüğü görüşmelerin neredeyse yarısında genç beş dakika içinde mola verdi veya sohbeti sonlandırdı.

OpenAI metodolojiye itiraz ediyor

Bir OpenAI sözcüsü, Common Sense'in testlerinin 'ChatGPT'nin genç korumalarının pratikte nasıl çalışdığını doğru yansıtmadığını' söyledi ve testlerin çoğunun ebeveyn kontrollerinin etkinleştirilmesi tamamlanmadan başlayıp bitmiş olabileceğini ileri sürdü; şirket bunun bulguları hatalı hâle getirdiğini belirtti.

TechCrunch'a göre OpenAI, bu metodolojik endişelerin raporun etkileşim sinyalleri ve arkadaşlık davranışına ilişkin bulgularını nasıl etkileyeceğini açıklamadı ve genç ürününü değerlendirmek için görüşme uzunluğu ve oturum süresi gibi metrikleri kullanıp kullanmadığı sorusunu yanıtlamadı.

Neden önemli

Bu derecelendirme, gençlerin dikkatini çekmek için tasarlanmış ürünlere yönelik artan denetimin ortasına denk geldi. Meta, platformlarının bağımlılık yaratan özelliklerle çocuklara zarar verdiği iddiasıyla 29 eyaletin açtığı davayı sonuçlandırmak için yakın zamanda 18 milyar dolar ödemeyi kabul etti ve bu yıl sunulan iki partili CHATBOT Act, yapay zeka şirketlerinin 'ergen kullanıcıları uzun süreli etkileşime sürüklemek için ödüller, bildirimler ve hedefli reklam' kullanımına açıkça atıfta bulunuyor.

Ebeveynler için Common Sense Media'nın derecelendirmeleri gerçek bir etki taşıyor ve 'kabul edilemez risk' etiketi, ailelere yönelik bir ürünün benimsenmesini yavaşlatabilir. Daha geniş çerçevede bu anlaşmazlık, şu anda tüm sektörün karşı karşıya olduğu soruyu tanımlıyor: Etkileşim odaklı tasarım, savunmasız anlardaki gençler için güvenlikle bir arada var olabilir mi — ve şirketlerin bunu kendi kullanım metrikleriyle ve bağımsız testlerle, öz beyanlara dayalı veriler yerine kanıtlamaları beklenecek mi?