· kaynak TechCrunch
OpenAI'ın ücretsiz CSAM sınıflandırıcısı, aynı suçu yakalarken işaretlenen görselleri yüzde 48 azaltıyor
OpenAI, NCMEC ile birlikte geliştirilen, aynı yakalama oranında yüzde 48 daha az görsel işaretleyen ücretsiz bir CSAM görsel sınıflandırıcısını yayınladı; bunun yanı sıra ChatGPT uyarıları, 24 saatlik askıya almalar ve kolluk kuvvetleri araçları da sunuldu.

OpenAI ne yayınladı
16 Kasım'da OpenAI, çocuk cinsel istismarı materyalini (CSAM), üretken yapay zekâ ile oluşturulan görseller dahil, tespit etmeye yönelik yeni bir görsel sınıflandırıcı merkezli bir çocuk güvenliği araç seti duyurdu. TechCrunch'a göre, seçili şirketler sınıflandırıcıyı OpenAI'ın API'si üzerinden ücretsiz kullanabiliyor; şirket ayrıca erişimi, güven ve güvenlik çalışmalarını koordine eden sektörel kuruluşlar olan Tech Coalition ve ROOST aracılığıyla da dağıtıyor.
Sınıflandırıcı, National Center for Missing and Exploited Children (NCMEC) ile birlikte geliştirildi. Dosyaları bilinen materyallerin bulunduğu bir veritabanıyla karşılaştırmak yerine, hiç görmediği görsellerdeki istismarın görsel göstergelerini inceliyor ve insan incelemecilere ilgili görselin nasıl ele alınması gerektiğini bildiren bir puan üretiyor.
Yüzde 48 rakamı nereden geliyor
En çok dikkat çeken sayı, TechCrunch'ın aktardığına göre OpenAI'ın ortaklarıyla yaptığı erken testlerden geliyor: Sınıflandırıcı, aynı miktarda istismar materyalini ortaya çıkarırken işaretlenen görsel hacmini yüzde 48 azalttı ve işaretlediği görsellerin istismar olarak doğrulanma olasılığı iki kat fazlaydı. Her iki rakam da OpenAI'ın kendi verdiği rakamlar; dev.to analizinde, şu ana kadar hiçbir dış tarafın bunları doğrulamadığına dikkat çekiliyor.
dev.to'nun açıkladığı gibi teknik önemin konusu tespit kapsamı değil, inceleme kapasitesi. PhotoDNA gibi hash eşleştirme sistemleri yalnızca veritabanında zaten kayıtlı materyali yakalar; yapay zekâ ile üretilmiş CSAM ise tanımı gereği yeni olduğundan bu yaklaşımı tamamen atlatıyor. İşaretlenen her görsel yine de bir insan tarafından incelenmek zorunda — bu da hattın en yavaş ve en yürek burkan aşaması — dolayısıyla sabit duyarlılıkta işaretleme hacmini neredeyse yarıya indirmek bu yükü doğrudan azaltıyor. Doğruluk oranının iki katına çıkması, iyileşmenin gevşetilmiş bir eşik değil, gerçek olduğunu gösteren şey.
ChatGPT içindeki yaptırımlar
ChatGPT ayrıca çocukların cinselleştirilmiş içeriğiyle ilgili prompt deneyen kullanıcılara yönelik uyarı ekranları kazanıyor. TechCrunch'ın haberine göre bu kullanıcılar bir uyarı görüyor, zararlı davranışı bırakmalarına yardımcı olmak için tasarlanmış uzman desteğine yönlendiriliyor ve uyarı amacıyla hesapları 24 saatliğine askıya alınıyor; tekrarlanan denemeler kalıcı olarak kaldırılmayla sonuçlanabiliyor. OpenAI, bu mesajları Protect Children, Lucy Faithfull Foundation ve Tasmania Üniversitesi'nden Joel Scanlan dahil dış kuruluşlar ve araştırmacılarla birlikte şekillendirdiğini söylüyor; Scanlan, caydırıcı mesajlarla yapılan denemeyi ayrıca değerlendirmişti.\n dev.to'da yazan yazar, OpenAI'ın yardım merkezinden ayrıntılar ekliyor: sistem müdahale ettiğinde sohbet duruyor, sohbet geçmişinden kayboluyor ve yeniden açılamıyor; geçici askıya alma kullanıcıyı servisten tamamen çıkarıyor ve itirazlar erişimi otomatik olarak geri getirmiyor.
Rehberler ve kolluk kuvvetleri desteği
Sürümü tamamlayan iki unsur daha var. OpenAI, CSAM'ı önleme, tespit etme ve bildirme konusunda geliştiricilere yönelik rehberler yayınladı; şirket, erken testlerde bu rehberlerin birçok geliştiricinin çocuk güvenliği araçlarını benimsemesine ve istismar materyalini NCMEC'ye bildirmek için kaydolmasına yardımcı olduğunu söylüyor. Kolluk kuvvetleri için OpenAI, program yöneticileri tarafından kontrol edilen erişimle birlikte özel eklentiler, soruşturma araçları ve karmaşık veri analizi gibi yapay zekâ destekli özellikler, ayrıca araştırmacı eğitimi ve bir saha rehberi sunuyor.
Takip edilmesi gereken uyarılar
dev.to yazısı iki endişe dile getiriyor. Birincisi, erişim kısıtlı: ücretsiz API seçili ortaklarla sınırlı, yani bir yenilik görseli sınıflandırıcıya en çok ihtiyacı olduğu savunulabilecek küçük platformlar ve açık kaynak projeleri henüz bunu edinemiyor — oysa Google, Content Safety API'sini yıllardır uygun ortaklara ücretsiz sunuyor. İkincisi, yaptırımlar aynı sınıflandırıcının değerlendirmesine dayanıyor; yazar, abonelerin CSAM ile ilgili haksız hesap kapatmalarını anlatan forum gönderilerine, itiraz yanıtını haftalarca bekleyen bir hesap dahil, dikkat çekiyor.
Arka planda rekabetçi ve hukuki baskı var. TechCrunch, kullanıcılara verilen zararlara ilişkin OpenAI aleyhine açılan davaları, teknolojisini gençler için kabul edilemez bir risk olarak derecelendiren Common Sense Media değerlendirmesini ve çocukların rızası olmayan cinselleştirilmiş görseller oluşturmak için Grok gibi rakip chatbot'ların kullanılmasını not ediyor. dev.to'nun atıf yaptığı Center for Countering Digital Hate çalışması, Grok'un 11 günde üç milyon cinselleştirilmiş görsel ürettiğini, bunların kabaca 23.000'inin çocukları içerdiğini buldu. Geçtiğimiz yıl OpenAI bir güvenlik planı yayınladı, içerik politikalarını sıkılaştırdı, modellerini yeniden ayarladı ve gençlere yönelik bir ChatGPT varyantı çıkardı.
Neden önemli
Üretken yapay zekâ, CSAM tespitinin temelindeki varsayımı bozdu: istismar görsellerinin tekrar tekrar dolaşımda olduğunu ve hash eşleştirmesiyle yakalanabileceğini. Yeni, sentetik materyal, hiç görülmemiş görselleri değerlendirebilen sınıflandırıcılar gerektiriyor ve OpenAI şimdi NCMEC ile geliştirilmiş birini ücretsiz olarak sunuyor. Yüzde 48 ve doğruluk rakamları dış incelemelerden geçerse, pratik etkisi, aynı koruma düzeyinde travmatik içeriğe maruz kalan insan incelemeci sayısının azalması olacak. Ancak lansman, hâlâ çözülmemiş olanları da gözler önüne seriyor: satıcı tarafından bildirilen kıyaslamalar, uzun kuyruğun en ucundaki platformlara kısıtlı erişim ve bir sınıflandırıcı hatasının birinin hesabına ve sohbet geçmişine mal olabildiği bir yaptırım yolu.
- #openai
- #csam
- #content-moderation
- #ai-safety
- #chatgpt