deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Araştırmacılar, önceki-token tahmini ile LLM çıktılarından neredeyse birebir prompt'ları yeniden yapılandırıyor

arXiv'te yayımlanan yeni bir makale, black-box bir ortamda bir LLM'in yanıtlarından neredeyse birebir prompt'ları kurtarmak için önceki-token tahminiyle bir ters dil modeli eğitiyor; model çıktılarını yayımlayan herkes için gizlilik sonuçları doğuruyor.

Araştırmacılar, önceki-token tahmini ile LLM çıktılarından neredeyse birebir prompt'ları yeniden yapılandırıyor

Büyük bir dil modelinin yanıtının arkasındaki prompt'u — çoğu zaman neredeyse birebir — kurtarmanın yeni bir yolunu açıklayan bir makale, Hacker News'in ana sayfasına ulaşmasının ardından dikkat çekti. Temmuz ayında Pirzada Suhail tarafından arXiv'e gönderilen çalışma "PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction" başlığını taşıyor ve temel iddiası, model çıktılarını görünür kılan herkesi rahatsız edici: yalnızca black-box erişimiyle, bir ters model eğitilerek yanıtları bunları üreten prompt'lara geri eşleyebilir.

Prompt'lar neden kurtarılması zordur

Dil modelleri metni bir seferde bir token üretecek şekilde, her token'ı önceki her şeye dayanarak örnekleyerek oluşturur. Makalenin arXiv'teki özetinde açıklandığı gibi bu, prompt'lar ile yanıtlar arasında çoğa-çok bir ilişki doğurur: farklı prompt'lar benzer yanıtlar tetikleyebilir ve aynı prompt örneklemeler arasında farklı çıktılar üretebilir. Dolayısıyla bir çıktıdan prompt kurtarmak basit bir arama işlemi değildir.

Yazarlara göre LLM tersine çevirme konusunda önceki araştırmalar sorunu semantik yeniden yapılandırma olarak ele aldı. Bu sistemler, önceden eğitilmiş sequence-to-sequence modellerini büyük harici veri kümeleri üzerinde ince ayarladı ve bazı durumlarda hedef modelin ağırlıklarına veya ham logitlerine erişim gerekti. Sonuç, gerçekten girilen şeyin sadık bir kurtarımı olmaktan çok makul bir parafraz gibi okunan prompt'lardı.

Ters çalışan bir model eğitmek

Yeni yaklaşım bu gereksinimleri ortadan kaldırıyor. Yazarlar, mevcut bir modeli ince ayarlamak yerine, hedef LLM'in kendisinden üretilen sentetik veriyle sıfırdan açık bir ters dil modeli eğitiyor. Harici veri kümesi, model ağırlığı veya logit gerekmiyor.

Anahtar fikir isminde gizli. İleri yönlü bir dil model next-token prediction ile eğitilir: verilen bir önek için sırada neyin geleceğini tahmin et. Ters model ise önceki-token tahminiyle eğitilir — daha önce neyin geldiğini tahmin etmek — ve yazarlar bunun, ileri ve ters üretim süreçleri arasında yapısal bir bağlantı kurduğunu ve sadık bir yeniden yapılandırmayı mümkün kılanın bu olduğunu savunuyor.

Prompt-yanıt eşlemesi çoğa-çok olduğu için ters model örnekleme destekliyor: tek bir yanıt verildiğinde birkaç aday prompt üretebiliyor. Yazarlar, bu çeşitli yeniden yapılandırmaların yararlı bir özellik paylaştığını bildiriyor — hedef modele geri beslendiğlerinde hepsi benzer yanıtlar tetikliyor.

Özet ne bildiriyor

İki bulgu öne çıkıyor. Birincisi, yaklaşım veri kümeleri arasında genelliyor; yani ters model, değerlendirildiği veriye bağlı değil. İkincisi, aktarılabilirlik sergiliyor: farklı LLM'ler tarafından üretilen yanıtlardan prompt'ları yeniden yapılandırabiliyor. Yazarlar, hem prompt hem yanıt yeniden yapılandırması için token tabanlı değerlendirme metriklerinde yöntemin önceki çalışmaları geride bıraktığını söylüyor. Özet kesin rakamlar sunmuyor; bu nedenle kazanımların ölçeğini ve ters modeli eğitmenin maliyetini değerlendirmek için makalenin tamamı gerekiyor.

Model çıktılarını görünür kılıyorsanız bu ne anlama geliyor

Pratik kaygı açık. Prompt'lar sıklıkla bir LLM hattındaki en hassas materyali içerir: bir şirketin kendine ait gördüğü system prompt'ları, alınan belgeler, bir destek aracına yapıştırılan müşteri bilgileri, dahili talimatlar. Bu etkileşimin yanıt tarafı görünürse — herkese açık chatbot transkriptleri, paylaşılan loglar, agent izleri, yayımlanan API çıktıları — bu araştırma hattı, girdi tarafının da kurtarılabilir olabileceğini gösteriyor.

Black-box ortamı çıtayı epey düşürüyor. Bir saldırganın ağırlıklara da logitlere de ihtiyacı olmazdı; yalnızca bir modelden sentetik veri üretme yeteneği yeterli olurdu. Bildirilen aktarılabilirlik ise özgün hedefin ötesindeki modellerin çıktılarının da tersine çevrilebileceği, potansiyel açığın genişlediği anlamına geliyor.

Uyarılar da var. Neredeyse birebirlik token tabanlı metriklerle ölçülüyor ve yeniden yapılandırılmış bir prompt, birebir bir kopya olmaktan çok işlevsel bir eşdeğer — aynı yanıtı üreten bir prompt — olabilir. Özet ayrıca yöntemin, system mesajlarından, araç çıktılarından ve alınan bağlamdan runtime'da birleştirilen prompt'ları nasıl ele aldığına değinmiyor; oysa çoğu üretim sistemi fiilen böyle çalışıyor.

Neden önemli

Bu çalışma, prompt sızıntısını teorik bir kaygı olmaktan çıkarıp çözülebilir bir mühendislik sorunu olarak yeniden çerçeveliyor. LLM'ler üzerine inşa eden ekipler için bu, girdiler gizli olduğunda model çıktılarının yayımlanacak güvenli bir vekil olmadığı anımsatması: bir yanıtı anlamlı biçimde şekillendiren her şey ondan çıkarılabilir olabilir. Savunmalar daha iyi anlaşılana kadar, loglara, transkriptlere ve paylaşılan yanıtlara, prompt'ların kendisiyle aynı duyarlılıkla davranmak temkinli varsayılan. Araştırmacılar içinse bu, başkalarının muhtemelen üzerine inşa edeceği daha temiz bir tersine çevirme formülasyonu sunuyor — kendi kendine üretilen veriyle eğitilmiş önceki-token tahmini.

  • #llm
  • #privacy
  • #machine-learning
  • #research
  • #security

İlgili yazılar