Braco: 64 kat görsel token sıkıştırması yaklaşık %95 doğruluk koruyor ve prefill FLOP'larını %86'ya kadar azaltıyor

Braco'nun iddiası nedir

dev.to'daki bir yazı, "Beyond Selection: Token Parameterization for Extreme Visual Token Compression" adlı yeni bir makaleyi özetliyor. Bu makale, görsel-dil modellerinin işlemek zorunda olduğu görsel girdiyi küçülten bir yöntem olan Braco'yu tanıtıyor. Yazıya göre Braco, görsel tokenlarda 64 kat bir azalma sağlıyor: standart 576 tokenlik temsil yalnızca dokuz tokena indirilirken, model, yazarların değerlendirdiği token bütçeleri boyunca "Vanilla-normalized" doğruluğunun %91,2 ile %95,2'sini koruyor ve en yüksek değer %95,2.

Bildirildiği şekliyle hesaplama kazancı önemli. Yazı, prefill sırasında — yani modelin çıktı üretmeden önce girdisini işlediği aşamada — yaklaşık %86'ya varan daha az FLOP'a, ayrıca doğruluk %95 eşiğinin üzerinde kalırken uçtan uca yaklaşık %30'luk bir hızlanmaya atıfta bulunuyor. Çok modlu sistemlerde prefill genellikle uzun görsel token dizilerini işleyerek geçtiğinden, bu maliyeti azaltmak çıkarımın pahalı kısmına doğrudan saldırır.

Budama ve resampler'lardan farkı

dev.to özeti, önceki aşırı görsel token sıkıştırma yaklaşımlarını iki başarısızlık modu arasındaki bir denge olarak çerçeveliyor. Budama tabanlı yöntemler önemsiz kabul edilen tokenları atar; bu, uzamsal ipuçlarını ortadan kaldırır ve grounding'i — modelin çıktısını belirli görüntü bölgelerine bağlama yeteneğini — zayıflatır. Öğrenilmiş resampler'lar ise görsel özellikleri daha küçük bir token kümesine yeniden kodlar, ancak parametre ve attention katmanları ekleyerek büyük görsel-dil modelleri için bellek ve hesaplama maliyetlerini artırır.

Özete göre Braco, tokenlar arasından seçim yapmak yerine onları yeniden parametrelendirerek her iki sorunu da aşar. Hafif bir baz dönüşümü ile ortogonal yeniden parametrelendirme kombinasyonu, görsel bilgiyi çok daha küçük bir token kümesine paketler ve yazı, boyutlardaki bu keskin düşüşe rağmen bunun modelin öngörü gücünün büyük kısmını koruduğunu savunuyor.

İnce yazı

İki sınırlamaya dikkat çekmek gerekir. Birincisi, bildirilen kazançlar yalnızca dört ile yirmi beş token arasındaki bir token bütçesinde geçerli; bu aralığın dışındaki davranış karakterize edilmiyor. İkincisi, sıkıştırıcının kendisi ölçülebilir FLOP tüketiyor, dolayısıyla tasarruflar bedava değil, gerçek yükün netindedir. Bir karşılaştırma noktası olarak özet, QueCC'nin doğruluğuna ulaştığı bildirilen ve 16,6 daha düşük modül gecikmesi ile 78,8 daha az sıkıştırıcı FLOP'u sunduğu söylenen 16 tokenlı bir yapılandırmaya işaret ediyor — rakamları yazı birim olmadan sunuyor, ancak yüzdeler olarak okunuyorlar.

Kaynak konusunda da bir uyarı hak ediyor: yukarıdaki her şey, makalenin kendisinden değil, burada doğrudan incelenen tek bir dev.to özetinden geliyor; dolayısıyla yöntemi değerlendiren herkes kesin rakamları yayın üzerinden doğrulamalı.

Neden önemli

İddialar doğrulanırsa, bunun anlamı, bir görsel-dil modelinin görsel girdisinin çıkarım sırasında büyük ölçüde gereksiz olduğu ve ucuz bir matematiksel dönüşümün bunu gösterebileceğidir. Yaklaşık %5 doğruluk maliyetiyle prefill FLOP'larında %86'lık bir azalma, çok modlu servis için doğruluk-başına-FLOP dengesini değiştirir: daha ucuz dağıtım, daha hızlı ilk token süresi ve aynı hesaplama bütçesi içinde daha yüksek çözünürlüklü görüntüler, çoklu görüntü prompt'ları veya video kareleri için alan açar.

Yeni bir mimari yerine mevcut bir hattın önüne yerleştirilen bir ön işleme aşaması olarak konumlandırılması da benimseme engelini düşürüyor. Bununla birlikte, dar dört ile yirmi beş token arası çalışma aralığı ve sıkıştırıcının kendi yükü, ekiplerin başlık rakamlarının aktığını varsaymadan önce kendi iş yüklerinde kıyaslama yapması gerektiği anlamına geliyor.