İki kişilik laboratuvar, yaklaşık 21.000 dolara eğitilmiş Apache 2.0 lisanslı metinden görüntüye model yayınladı

Linum ne yayınladı

Üretken video modellerini sıfırdan eğiten iki kişilik bir araştırma laboratuvarı olan Linum, laboratuvarın ifadesine göre eğitimi yaklaşık 21.000 dolar tutan, kabaca 2 milyar parametreli metinden görüntüye modeli Pyramid-JiT'i (P-JiT) yayınladı. Ağırlıklar Apache 2.0 lisansıyla erişime açık ve Hacker News'te "Show HN" gönderisi olarak ön sayfaya çıkan eşlik eden yazı, aynı zamanda ekibin oraya nasıl ulaştığının bir araştırma günlüğü niteliğinde. (Hacker News başlığı rakamı yaklaşık 20 bin dolar olarak yuvarlıyor; Linum'un kendi gönderisinde ise 21 bin dolar geçiyor.)

Laboratuvara göre model, bitmiş bir ürün değil ara bir checkpoint. Video üreticileri neredeyse her zaman görüntü üreticisi olarak hayata başlar; bu yüzden uzun bir görüntü eğitimi koşusu, sonunda Linum'un bir sonraki video modelini besleyecek mimari için bir stres testi işlevi görüyor — ekibin çerçevesi şöyle: bir model, hareketi öğrenmeden önce statik özneleri öğrenmek zorunda. Linum, modelin boyutuna kıyasla çıktıların ne kadar iyi göründüğüne kendilerinin de şaşırdığını, yayınlamaya bu yüzden karar verdiklerini ekliyor.

VAE'siz bir diffusion transformer

Merkezi tasarım tercihi, P-JiT'in tamamen piksel uzayında çalışması. Modern görüntü ve video diffusion hatlarının çoğu önce pikselleri bir variational autoencoder'dan (VAE) geçirir ve diffusion transformer daha sonra bu latent uzayında çalışır. Linum'a göre VAE'ler ulaşabilecekleri sıkıştırma miktarında bir tavana takılıyor ve bir VAE'nin yeniden yapılandırma kalitesini iyileştirmek, hatta altındaki diffusion modelinin üretimlerini bile bozabiliyor.

VAE'den vazgeçerek diffusion modeli kendi latent uzayını öğreniyor; bu uzay yeniden yapılandırma için değil, üretim için şekillendiriliyor. Görüntüler 32×32 yamalara bölünüp 1.024 boyuta projekte ediliyor — ham 3.072 boyutlu yamaya göre 3:1 sıkıştırma. 16×16 token azaltmalı, geleneksel VAE artı DiT modeli olan Linum v2 ile karşılaştırıldığında P-JiT dört kat daha agresif sıkıştırıyor: 512×512'lik bir görüntü artık önceden 256×256'lık bir görüntünün kapladığı kadar token kaplıyor. Attention maliyeti dizi uzunluğunun karesiyle arttığı için bu, bağlam penceresinde 4 katlık bir kısalmayı beraberinde getiriyor; Linum mimarinin v2'ye kıyasla 11 kat daha az örnekle yakınsadığını bildiriyor.

Ağın başlarında gradyan sinyalini güçlendirmek için — laboratuvarın REPA, RAE-v2 ve Self-Flow gibi ilgili çalışmalarla ilişkilendirdiği bir zayıflık — gövde, ağın ortasında temiz görüntüyü çeyrek ve yarım çözünürlükte tahmin eden yardımcı readout başları taşıyor. Ayrı bir PixelREPA başı, tokenlerin %20'sini maskeleyip aynı görüntünün DINOv3 temsilini tahmin ederek modelin latent uzayını DINOv3-L öznitelikleriyle hizalıyor. Toplam kayıp, readout'larda ve son çıktı başında MSE, PixelREPA kosinüs mesafesi terimi ve tam çözünürlüklü görüntü üzerinde algısal kayıpları (LPIPS ve P-DINO) harmanlıyor.

Metin koşullandırması, 7, 15 ve 27. katmanlarda okunan dondurulmuş bir Qwen3.5-4B kodlayıcıdan geliyor. Metin ve görüntü tokenleri, her biri iki tek modlu refiner bloğundan geçtikten sonra AdaLN zaman adımı modülasyonu kullanan 22 paylaşımlı DiT bloğunda birleşiyor — Linum'un Z-Image'a atfettiği bir yaklaşım. Yalnızca eğitimde kullanılan başlar kabaca 240M parametre ekliyor ve örnekleme anında çıkarılıyor; insanların gerçekte çalıştırdığı modelde yaklaşık 2,18B parametre kalıyor.

Eğitim koşusu

Koşu toplamda yaklaşık 600 milyon örnekten oluşuyor — laboratuvarın önceki yazılarındaki 50–100M örneklik deneylerin bir mertebi üstünde. Eğitim, noise zaman çizelgesi üzerinde bir müfredat izliyor: ilk 80M örnek, modelin genel yapıyı öğrendiği yüksek gürültü düzeylerine odaklanıyor; ardından ince detayların ortaya çıkabilmesi için zaman çizelgesi genişliyor. Eğitim 512×512 çözünürlükte başlıyor; 1024×1024'e geçişte ekip optimizer'ı EMA ağırlıklarından yeniden başlatıyor ve daha yüksek çözünürlükteki bilgi fazlalığını dengelemek için gürültü ölçeğini ikiye katlıyor. Linum, görünür görüntü kalitesi iyileşirken doğrulama kaybının 1024² aşamasında daha yüksek okunduğunu not ediyor; çünkü model daha fazla gürültü altında ince detayı tam olarak yeniden üretmek zorunda. Gönderideki eğitim grafikleri H100 GPU-saatleriyle ifade ediliyor.

Neden önemli

İki kişilik bir ekip, yetenekli bir metinden görüntüye modeli yaklaşık 21.000 dolara üretti ve serbest bir lisansla yayınladı. Örneklerden ne anlarsanız anın, bu koşu açık model cephesinin, büyük laboratuvarların bütçelerinin çok altındaki bütçelerle ulaşılabilir olduğunun kanıtı.

Mimari sonucu, modelin kendisinden daha da önemli olabilir. Attention, üretken videoda hem eğitim hem çıkarımda baskın maliyet ve video bağlam pencereleri devasa. Agresif token azaltmalı, VAE'siz piksel uzayı modelleri ölçeklendikçe daha hızlı yakınsamayı sürdürürse, üretken videonun maliyet eğrisi buna göre aşağı bükülüyor — Linum'un bir sonraki modeli için tam olarak bahse girdiği şey de bu. Laboratuvar için görüntü üretimi hiçbir zaman varış noktası değildi: kareler hareket etmeye başladığında karşılığını veren fikirlerin en ucuz olası testi.