Tri-PvP benchmark'ı, omni-modal modellerdeki görsel yanlılığın erken katmanlarda başladığını gösteriyor

Algısal–önermesel çatışmalar üzerine kurulu bir benchmark

10 Ekim 2026'da dev.to'da yayımlanan bir yazı, metni, görselleri ve sesi birlikte alan sistemler olan omni-modal büyük dil modellerindeki modalite yanlılığını ortaya çıkarmak için tasarlanmış yeni bir benchmark olan Tri-PvP'yi tanımlıyor. Öne çıkan bulguları şöyle: görsel kanıt bu modellerin cevap seçimine hâkim durumda, bu tercih ağın en erken katmanlarında şekilleniyor ve önde gelen bir çıkarım zamanı düzeltmesi bunu yalnızca kısmen bastırıyor.

Benchmark'ın adı yöntemine atıfta bulunuyor: algısal–önermesel kanıt çatışmaları. dev.to gönderisine göre, önceki değerlendirmeler ham görsel veya ses gibi algısal ipuçlarını "bu bir köpek" gibi önermesel ifadelerle harmanladığı için, yanlış bir cevap hiçbir zaman güvenle görsel akışa bağlanamıyordu. Algıyı önermeyle karşı karşıya getirerek Tri-PvP, bir hatayı belirli bir modaliteye atfedebiliyor.

Görsel hâkimiyetin boyutu

Yazıya göre görsel yanlılık artık omni-modal modellerin çoğunda diğer tüm modalite sinyallerini aşıyor. Temel makalenin Şekil 3'üne atıfta bulunan yazar, 20 model ve kanıt türü karşılaştırması boyunca BIAS_IMAGE etiketinin 18'inde hâkim olduğunu ve büyüklüğünün sıklıkla toplam yanlılık sinyalinin %60'ını aştığını belirtiyor. Bu modeller yanlış cevap verdiğinde, neden genellikle görsel girdisidir.

Yanlılık karar katmanından önce ortaya çıkıyor

En önemli sonuç yanlılığın nerede bulunduğuna ilişkin. Yazıya göre modalite yanlılığı bilgisi, yalnızca çıktı aşamasında değil, ilk birkaç transformer katmanından itibaren basit bir linear probe ile okunabilir hâle geliyor. Bu durum önemli, çünkü önceki hafifletme stratejileri — çıktı sonrası filtreleme ve dengeli veriyle fine-tuning — davranışı çıktıda veya çıktıya yakın bir noktada düzeltmenin yeterli olacağını varsanıyordu. Tercih bu kadar erken kodlanıyorsa, bu yaklaşımlar nedeni değil belirtiyi tedavi ediyor.

Yumuşatan ama tamamen silmeyen bir hafifletme

Yazı ayrıca bir çözüm tanımlıyor: parametre güncellemesi olmadan çıkarım zamanında uygulanan düşük-bozulmalı bir kontrastif decoding ayarı. Rapor edilen rakamlara göre, görev performansını esasen bozmadan yanlılığı azaltıyor — OmniBench doğruluğu tek puan düşerek %38,4'ten %37,4'e iniyor.

Ancak çözüm eksiksiz değil. Orijinal yanlılığı tespit eden aynı linear probe'lar, ayardan sonraki kalıntı görsel tercihi hâlâ tespit edebiliyor. Müdahale yanlılığı ortadan kaldırmaktan çok zayıflatıyor; bu da, yazının sonuçlandırdığı gibi, tam tarafsızlık hedefse gelecekteki çalışmaları temsil düzeyinde regularizasyon ile mimari-farkındalıklı eğitim hedeflerini birleştirmeye yönlendiriyor.

Neden önemli

Sonuç, çok modaliteli adaleti bir çıktı sorunu değil, temsil sorunu olarak yeniden çerçeveliyor. Yanlılık erken katmanlardan geri elde edilebiliyorsa, çıktı düzeyindeki kontroller onu sistematik olarak gözden kaçırır ve uçtan uca benchmark'larda tarafsız sertifikalı modeller, kenar durumlarda ortaya çıkan güçlü bir iç görsel tercih taşımaya devam edebilir.

Uygulayıcılar için dev.to gönderisi iki somut öneride bulunuyor: Tri-PvP'yi omni-modal sistemler için standart bir dağıtım öncesi kontrolü olarak çalıştırmak ve erken katman probing'i ile kontrastif decoding'i, görsel yanlılığı aşağı akış skorları esasen değişmeden kalırken kabaca %60'lık hâkimiyet seviyesinin altında tutma amacıyla pipeline'lara dahil etmek. Daha geniş açıdan, benchmark alanı modalite tarafsızlığı için ölçülebilir bir tanım kazandırıyor — bugünün modellerinin ve hafifletme yöntemlerinin henüz tam olarak karşılamadığı bir tanım.