OpenAI'ın textGrain filigranı API ve AB ChatGPT'ye ulaştı, dedektör erişimi ise sınırlı kalıyor

Şirketin 5 Ekim duyurusunu inceleyen bir dev.to gönderisine göre OpenAI, modellerinin ürettiği metne istatistiksel bir filigran ekliyor. textGrain adlı özellik, uygun model çıktısına tespit edilebilir bir sinyal gömüyor. API müşterileri seçili modeller için bu özelliği etkinleştirebilirken, AB'deki uygun ChatGPT ve Codex metinleri önümüzdeki haftalarda filigranı edinecek. Dedektör erişimi lansmanda bilinçli olarak dar tutuluyor: önce onaylı araştırmacılar ve uzman kuruluşlar erişiyor, herhangi bir ürünün çağırabileceği kamuya açık bir endpoint söz konusu değil.

Filigran size neleri söyleyebilir, neleri söyleyemez

dev.to'nun özetlediği gibi OpenAI, sinyalin sınırları konusunda açık. Bir filigran metni kimin ürettiğini belirleyemez, bir insanın ne kadar katkıda bulunduğunu ölçemez, mülkiyet veya sorumluluk tespit edemez, olgusal doğruluğu doğrulayamaz. Yokluğu da hiçbir şey kanıtlamaz: tespit edilememe, düzenleme, çeviri, kısa pasajlar, eski çıktılar veya uygun model kümesi dışındaki modellerden kaynaklanabilir; bunların hiçbiri insan yazarlığı anlamına gelmez.

Şirketin kendi değerlendirme verileri bu temkinli yaklaşımın neden önemli olduğunu gösteriyor. Bir testte 400 token'lık İngilizce pasajlarda tespit oranı değiştirilmemiş metinde yaklaşık %92'ye ulaştı. Kelimelerin %10'unun eş anlamlılarla değiştirilmesi tespiti yaklaşık %66'ya düşürdü, %25'inin değiştirilmesi ise %17'ye indirdi. dev.to yazarı, bunların belirli koşullar altında şirketin bildirdiği sonuçlar olduğunu, rastgele belgelere genellenebilecek bir alan benchmark'ı olmadığını belirtiyor.

Yakalama, sinyal ve kararı birbirinden ayırmak

Gönderinin merkezindeki mühendislik argümanı şudur: kaynak sinyali, bir karar iş akışının içindeki tek bir gözlemdir, tek başına bir hüküm değildir. Veri modeliniz bu gözlemi "yapay zekâ mı insan mı" diye bir boolean'a indirgerse, belirsizlik zaten kaybolmuştur.

Önerilen yapı üç bağlı kayıt kullanıyor. Capture, iş akışının oluşturma anında ne bildiğini saklar: bir versiyon hash'i, izin verilen yapay zekâ kullanımına ilişkin politika, bir yazar beyanı ve dayanak teşkil eden iddiaların kaynakları. Signal, bir kontrolün gerçekte ne gözlemlediğini saklar: sağlayıcı, yöntem versiyonu, tarih, girdi versiyonu ve bilinen sınırlar, ayrıca kontrolün hiç uygulanabilir olup olmadığı. Decision, bir kişinin kanıtlarla ne yaptığını saklar: hangi iddiaların kontrol edildiği, kimin incelediği, çalışmanın onaylanıp onaylanmadığı ve nedeni. Kanıt eksikse karar beklemede kalabilir.

Kilit özellik şudur: eksik kanıt eksik olarak kalır. "not_detected" sonucu bir kontrolü tanımlar, yazarı değil; aşağı akıştaki bir dashboard bunu asla "insan yazımı" olarak yeniden etiketlememeli veya "detected" sonucunu suç kanıtı olarak görmemelidir.

Sonuçlar için insanları sürecin içinde tutun

dev.to gönderisi, arayüzlerin kırmızı ya da yeşil bir rozet yerine sonuçlarla birlikte kapsamı göstermesi gerektiğini ve herhangi bir olasılık ya da skorun, gizli bir eşik tarafından hükme dönüştürülmeden kalibrasyonunu koruması gerektiğini savunuyor. Sonuçları ağır olan vakalar, belge versiyonunu, beyanı, kaynak bağlantılarını ve önceki düzenlemeleri birlikte görebilen incelemecilere yönlendirilmeli. Bir sonuç birinin itibarını veya fırsatını etkileyebilecekse, kanıtı açıklamak ve hataları düzeltmek için bir yol olmalı; olumsuz bir eylem asla bir dedektör callback'inin otomatik çıktısı olmamalı.

Dedektör erişimi şu anda kısıtlı olduğundan birçok ekip, filigran sinyali hiç olmadan yakalama ve inceleme süreçlerini kurmak zorunda kalacak. Yazarın noktası, bunun yine de değerli olduğudur: yakalama ve inceleme şimdi de yararlıdır ve erişim daha sonra genişlerse önemini korur.

Sadece sınıflandırıcıyı değil, iş akışını test edin

Kendi yetkili materyallerinde bir kaynak sinyalini değerlendirebilen ekipler için gönderi, temiz, düzenlenmiş, kısa, çevrilmiş ve kısıtlamalı örnekleri test etmeyi, bunları herhangi bir tuning kümesinin dışında tutmayı öneriyor. Yanlış alarmları, kaçırılan sinyalleri, sonuçsuz vakaları, incelemeci süresini ve ardından alınan kararları ölçün; tek bir toplam oranın zayıf noktaları gizleyememesi için içerik türüne göre ayırın. Skorlara bakmadan önce her sonuç için önerilen eylemi yazın; zaten destekleyici kayıtlar istemek, çalışmayı reddetmekten çok farklı bir sonuçtur.

Neden önemli

Filigranlama, en büyük yapay zekâ sağlayıcılarından birinde araştırma demolarından üretim yüzeyine geçiyor ve bu, kaynak doğrulama kontrollerini eğitim platformları, yayıncılar ve moderasyon sistemleri için pratik bir mesele haline getiriyor. Aynı zamanda bu lansman, istatistiksel bir sinyal ile güvenilir bir yargı arasındaki uçurumu gösteriyor: tespit oranları orta düzey yeniden yazım altında çöküyor ve dedektör kamuya açık şekilde çağrılamıyor. Kaynak doğrulamayı bir iş akışı olarak ele alan — bilinmeyen durumları koruyan, sınıflandırıcıyı değil bütün hattı test eden ve kararlarda insanları sorumlu tutan — ekipler, arayüzlerine ikili bir rozet bağlayanlardan bu yayını çok daha iyi yönetecek.