Tencent'in WeVisOne-VL modeli tek bir GPU'da kutuları, maskeleri ve metni tek bir token akışında tahmin ediyor

Tencent'in yapay zeka laboratuvarı, sınırlayıcı kutuları, segmentasyon maskelerini ve OCR metnini ayrı algılama modellerinden oluşan bir hattan değil, tek bir otoregresif token akışından üreten bir görü-dil modeli olan WeVisOne-VL'yi yayımladı. Bir dev.to gönderisine göre model — adı WeChat Vision All-in-One olarak açılıyor — 22 Ekim 2026'da arXiv ve Hugging Face hub üzerinde ortaya çıktı ve iki gün sonra tanıtıldı; tek bir RTX 4090, canlı bir kamera akışını 120 ms'nin altında her nesne için kutu, maske ve metne dönüştürdü.

Tek decoder, tek loss

Yazıda, ViT-B/16 bir encoder'ın yapılandırılmış bir otoregresif decoder'ı beslediği, her görsel sonucun — bir nokta, bir dikdörtgen, bir maske yaması veya bir metin glifi — tek bir kelime dağarcığından çekilen bir token olduğu açıklanıyor. Bu kelime dağarcığının nesne işaretçileri, LVIS'ten türetilen 5.000 ince taneli sınıf etiketi, her koordinatı 2.560 olası değere quantize eden box token'ları, maskeleri 4×4 yamalar olarak kodlayan 200.000 girişli bir VQ-GAN codebook'u ve birden çok fonttaki harf, rakam ve noktalama işaretlerini kapsayan OCR glif token'ları içerdiği bildiriliyor.

Tüm görevler tek bir decoder'ı paylaştığından, eğitim, next-token tahmini üzerinden tek bir cross-entropy hedefini optimize ediyor. Yazar, bunun çok kafalılı sistemlerin eğitimini zorlaştıran loss ağırlığı dengelemesini ortadan kaldırdığını savunuyor ve birleşik modelin, karşılaştırılabilir bir algılama-segmentasyon-OCR topluluğunun yalnızca 18 epoch sonra ulaştığı bir performans düzeyine 12 epoch'da ulaştığını bildiriyor.

Üç modelli bir yığın karşısında verimlilik

Lojistik temalı bir vaka çalışmasında gönderi, WeVisOne-VL'yi algılama için YOLO-v8, maskeler için SAM ve metin için PaddleOCR'dan oluşan geleneksel bir yığınla karşılaştırıyor. Bu üç geçişli kurulumun RTX 4090 üzerinde yaklaşık 152 ms gecikme, 10,8–12 GB GPU belleği ve 1,9 trilyon FLOP ile, ayrıca algılayıcının kutusu ile segmentasyon yapan modelin maskesi uyuşmadığında ek hizalama işiyle sonuçlandığı belirtiliyor. Tek geçişli model için ise 48 ms, 6 GB ve 0,8 trilyon FLOP bildiriliyor — yüzde 58'lik bir hesaplama azalması — ve yaklaşık yüzde 30 daha az güç tüketimiyle saniyede 20 kare video sürdürüyor. COCO-Panoptic üzerinde gönderi, algılama için 44,2 AP ve segmentasyon için 41,8 mAP değerine dikkat çekiyor; bu, en iyi görev özgü toplulukların yüzde 0,3'ü içinde.

Ayarlanabilir çıktı ayrıntı düzeyi

Bir granularity token'ı, çağıran tarafların envanter sayımı için ağırlık merkezi noktalarından tasarım çalışması için tam çözünürlüklü alpha matte'lere kadar tam olarak ihtiyaç duydukları ayrıntıyı talep etmelerini sağlıyor. Gönderi, düzeyler arasında geçişte doğruluk kaybı olmadığını ve decoder görüntüyü yeniden kodlamak yerine aynı latent temsilden token üretmeye devam ettiği için kutulardan maskelere geçişin yalnızca yaklaşık 7 ms eklediğini iddia ediyor.

Eğitim ölçeği

Modelin bildirildiğine göre 1,8 milyar görüntü-metin çifti üzerinde eğitildiği; bunun LAION-5B'nin bir üst kümesi olduğu ve bir öğretmen-öğrenci hattından gelen sentetik segmentasyon maskeleri ve OCR katmanlarıyla zenginleştirildiği belirtiliyor. Eğitim, 80 GB belleğe sahip 64 A100 GPU'dan oluşan bir kümede 28 gün sürdü ve yaklaşık 1,5 milyon GPU-saati tüketti.

Açık sorular

Gönderi kendisi de zayıflıkları sıralıyor. VQ-GAN quantizasyonu çok ince yapıları bozabiliyor; 10 pikselden küçük nesnelerde sınır F-skorunda yüzde 2–3'lük bir düşüş yaşanıyor. Ticari lisans bulut API kullanımına izin veriyor ancak 10.000 adımın ötesinde yerinde fine-tuning'i kısıtlıyor; bu, uydu görüntüleri gibi alanlarda özelleştirmeyi sınırlayabilir. Açık havada, parlama, yağmur veya hareket bulanıklığı altında algılama AP'sinin yüzde 38,7'ye ve OCR doğruluğunun yüzde 71'e düştüğü, sokak görünümü verileriyle eğitilmiş özel motorların altında kaldığı bildiriliyor. Entegrasyon da bedelsiz değil: erken benimseyenler, token akışını geleneksel tensor biçimlerine uyarlamak için yaklaşık üç günlük bir çalışma bildiriyor; gönderi ayrıca lansmanın Tencent, Huawei ve MIIT tarafından birlikte düzenlendiğini, topluluğun büyük bölümü hâlâ LLaVA ve CLIP gibi ekosistemlere kenetlenmişken not ediyor.

Neden önemli

Üretimdeki görü sistemlerinin çoğu hâlâ bir algılayıcı, bir segmentasyon modeli ve bir OCR motoru zincirler ve her birinin gecikme, bellek ve entegrasyon maliyetini öder. WeVisOne-VL'nin bildirilen rakamları tutarsa, üçünü de tek bir geçişte topluluk seviyesine yakın doğrulukla yapan tek bir model, çok görevli algılamayı tek bir tüketici GPU'sunda pratik hale getirir; robotik, depo otomasyonu ve edge cihazları için açık sonuçları vardır. Bunu iki uyarı dengeliyor: buradaki her rakam bağımsız bir değerlendirme değil tek bir blog gönderisinden geliyor ve fine-tuning kısıtlamaları modelin gerçekçi olarak konuşlandırılabileceği yerleri daraltabilir. Daha derin sinyal mimarisel — görsel çıktıları üretken bir dizideki token'lar olarak ele almak, dil modelleri gibi eğitilen, ölçeklenen ve yinelenen algılama modellerine işaret ediyor.