Multimodal patch-vector indeksleri, indeksledikleri görüntüleri yeniden oluşturmak için tersine çevrilebilir

Her sayfayı çok sayıda patch embedding'i — genellikle belge başına binden fazla vektör — olarak temsil eden görsel belge arama sistemleri, teselli edici bir varsayıma dayanır: vektörler tek yönlü bir özettir ve yalnızca orijinal pikseller hassas veri sayılır. dev.to'da tanımlanan araştırma bu varsayımı yıkıyor. Yalnızca indeksi ele geçiren bir saldırgan, sayfanın metninin büyük kısmıyla birlikte kaynak sayfanın sadık bir görselini yeniden oluşturabiliyor.

Araştırma ne gösteriyor

ViDoRe ve benzeri görsel belge erişim sistemleri genellikle patch başına embedding'lerini üçüncü taraf veritabanlarına gönderir. Ham görüntü verisi hattın dışına hiç çıkmadığı için mühendisler bu yoğun çok vektörlü indeksleri genel olarak düşük riskli artefaktlar olarak sınıflandırmıştır.

dev.to'daki "Inverting Multi-Vector Visual Document Indices" makalesine göre bu sınıflandırma yanlıştır. İndeksin kendisi tersine çevirme için yeterli sinyal taşıyor. ViDoRe v3 benchmark'ında ölçüldüğünde, saklanan vektörlerden yeniden oluşturulan sayfalar orijinal kelimelerin yüzde 47'sini kurtardı ve bu yeniden yapılandırmalar erişim sorgusu olarak kullanıldığında, kaynak belgelerini yüzde 98,4 oranında ilk sıraya yerleştirdiler.

Sızıntı bu nedenle iki katlıdır: Yeniden yapılandırma belgenin içeriğinin büyük bir kısmını doğrudan açığa çıkarır ve kelimelerin bozuk olduğu yerlerde bile indeks, hangi belgeden geldiğini tanımlayan bir parmak izi işlevi görür.

Savunmalar hızla aşınıyor

Yazıda iki bariz karşı önlem inceleniyor. Token pooling birçok patch vektörünü daha az sayıda birleştirilmiş vektöre daraltıyor, karıştırma ise vektörlerin uzamsal düzenini bozuyor. İkisi de yeniden yapılandırmadaki kelime hatırlama oranını yaklaşık yüzde 8'e düşürüyor.

Ancak hiçbiri baskı altında dayanamıyor. Karıştırma, karıştırılmış indeksin orijinal sırasını geri yükleyen mütevazı bir öğrenilmiş modelle geri alınıyor ve dev.to gönderisine göre, kaynak sayfaların ilk sırada yer alma payını yüzde 3,8'den yeniden yüzde 93,5'e çıkarıyor. Pooling de indeksi düşük kelime hatırlama oranıyla da olsa tersine çevrilebilir bırakıyor ve birleştirilmiş bir indeksi tamamen tersine çevirmek açık bir sorun olarak tanımlanıyor. Çıkarım şu: yalnızca vektör sırasını veya sayısını gizleyen savunmalar en iyi ihtimalle bir güvenlik yanılsaması sunuyor.

Çalışmanın sınırları

Makalenin tehdit modeli, saldırgana tam olarak kullanılan vision-language encoder'ı ve sayfa geometrisini bilmeyi tanıyor ve deneyleri iki erişim sistemini kapsıyor. Yazının kabul ettiği gibi, diğer ekosistemler çalışmanın kapsamadığı ek zorluklar veya önlemler barındırabilir. Yine de ortaya konan sonuç — sıra tabanlı gizlemenin küçük bir öğrenme modeliyle geri alınması — gizliliğin yalnızca ucuz hilelerle sağlanamayacağını düşündürüyor.

Neden önemli

Embedding depoları, türetildikleri veriden daha az hassas kabul edilir ve bu yüzden daha rahat elleşilir: yönetilen veritabanlarına gönderilir, yedeklere kopyalanır, kaydedilir ve servisler arasında paylaşılır. Çok vektörlü bir indeks okunabilir bir sayfaya geri dönüştürülebiliyorsa, indeks temelindeki belgenin gizliliğini miras alır. Faturaları, sözleşmeleri, tıbbi kayıtları veya herhangi bir kişisel materyali indeksleyen dağıtımlar için açığa çıkmış bir embedding deposu, belgelerin kendileri için bir sızdırma yüzeyi ve çoğu hattın bütçelemediği bir uyumluluk sorunu haline gelir.

Dağıtımlar ne yapmalı

Yazının önerileri doğrudan: Çok vektörlü indeksleri gizli varlıklar olarak ele alın, bekleyen halde şifreleyin ve göndermeden önce değerlendirme setine tersine çevirme direnci testleri ekleyin. Patch embedding'lerini etkisiz yan ürünler olarak görmeye devam eden erişim ekipleri, bu kanıta göre, belgeleri sızdırmaya bir sızdırılmış indeks uzaklıktadır.