Pangram, üniversite araştırmacılarına dayanarak 26 modelde yüzde 99,7 yapay zeka tespit doğruluğu iddia ediyor

Dediğine göre akademik destekli bir dedektör

Yapay zeka tarafından üretilen metin ve görsellerin tespitini satan girişim Pangram, sitesi bu hafta Hacker News'in ana sayfasına çıkınca dikkat çekti. Onu kalabalık bir alandan ayıtan iddia, bağımsız akademik araştırmacıların kendisini mevcut en doğru yapay zeka dedektörü olarak derecelendirdiği yönündeki beyanı.

Pangram ne iddia ediyor

Şirketin web sitesine göre Pangram, OpenAI, Anthropic, Google, Meta, DeepSeek ve xAI tarafından yayımlanan son modellerin çıktılarını tanımak için özel olarak eğitildi. Şirket, şu ana kadar 26 modele karşı kıyaslama yaptığını, sonuçları bir model kartında yayımladığını ve hem kendi dedektörünün her sürümünde hem de büyük yeni bir model çıktığında yeniden test ettiğini söylüyor.

Manşet rakam, yapay zeka tarafından üretilmiş örneklerde yüzde 99,7 doğruluk. Sitede listelenen model başına sayılar bu eksenin sıkı çevresinde kümeleniyor: Claude Sonnet 5'te yüzde 99,9, GPT-OSS 120B'de yüzde 99,8, GPT-5.4 ve Qwen 3.7 Max'te yüzde 99,7, DeepSeek V4 ve Gemma 4'te yüzde 99,6, Llama 3.3 ve GLM 5.2'de yüzde 99,5 ve diğerleri.

Doğrulama iddiası

Pangram'ın pazarlamasındaki taşıyıcı iddia dış değerlendirme. Şirket en üst sıradaki yerini Maryland Üniversitesi ve Chicago Üniversitesi'ndeki ekipler dahil üçüncü taraf araştırmacılara bağlıyor ve bir yazının nereden kaynaklandığını izlemeye yardımcı olmayı amaçlayan daha gelişmiş özelliklerinden bazılarının hakemli araştırmaya dayandığını söylüyor.

Ancak bu rakamlar ve sıralamalar satıcının kendi sitesinden geliyor. Atıf yapılan akademik değerlendirmelerin şu anda sunulan dedektör sürümlerini test edip etmediği ve aracın düzenlenmiş, parafraze edilmiş ya da insan-makine karışımı yazılar üzerinde nasıl performans gösterdiği, her kurumun sonuçlara bel bağlamadan önce yanıtlanmasını isteyeceği açık sorular.

Sadece metin değil

Pangram yapay zeka tespitini intihal denetimiyle eşleştiriyor ve bu kombinasyonu, bir belgenin özgün olup olmadığının tek bir değerlendirmesi olarak sunuyor. Ayrıca yapay zeka tarafından üretilmiş görselleri de işaretleyerek metnin ötesine uzanıyor. Hedef müşteriler açık: üniversiteler, okullar ve kurumsal firmalar. Hakkında sayfasına göre şirket, 2023'te Brooklyn'de, daha önce Tesla ve Google'da çalışmış yapay zeka araştırmacıları tarafından kuruldu ve kendi araştırmalarını yayımlamaya devam ettiğini söylüyor.

Kalabalık ve tartışmalı bir pazar

Yapay zeka tespiti sorunlu bir üne sahip; bu ün büyük ölçüde eğitimden geliyor; burada erken araçlar, öğrencileri yanlışlıkla makine yazımı ödev sunmakla suçlayan yanlış pozitifler üretti. Temiz kıyaslama örneklerindeki yüksek skorlar, gerçek dünyadaki metinler üzerinde performans garantisi vermez; kullanıcı model çıktısını hafifçe düzenleyebilir ya da bütünüyle değil, yapay zeka yardımıyla yazabilir.

Pangram'ın kendi test ritmi yapısal soruna işaret ediyor: her büyük model sürümünde yeniden test yaptığı için yayımlanan rakamları hızla eskiliyor. Dedektörler bir koşu bandında; frontier laboratuvarların çıkardığı her yeni modelin peşinde ve dünkü doğruluk rakamı yarına dair bir söz değil.

Neden önemli

Sınıflardan, yayıncılıktan ve kurumsal iş akışlarından akan yapay zeka üretimi metin hacli, kurumlara pratik bir karar dayattı: bunu tespit et, görmezden gel ya da değerlendirmeyi buna göre yeniden tasarla. Pangram'ın iddia ettiği doğruluk, atıf yaptığı bağımsım inceleme altında ayakta durursa, tespit yıllarca süren haklı şüphecilikten sonra yeniden kullanılabilir bir politika aracı haline gelir. Durmazsa, bu, zaten onlarla dolu bir pazarda bir satıcı kıyaslaması daha olur.

İzlenmeye değer ayrıntılar, pazarlama sayfalarının nadiren netleştirdikleri: tamamen insan yazımı metinlerdeki yanlış pozitif oranları, hibrit taslaklardaki davranış ve yeni modeller geldikçe doğruluğun ne kadar hızla düştüğü. Şimdilik akılcı yorum şu: Pangram alışılmadık derecede güçlü, alışılmadık derecede spesifik iddialarda bulunuyor — ve ispat yükü suçlanan değil, dedektörde.