Runway'ın Interface World Model'i çalışan web sitelerini gerçek zamanlı video olarak oluşturuyor

Runway, canlı video olarak üretilen arayüzleri gösteriyor

Runway, arka planda hiçbir kod çalıştırmadan tamamen etkileşimli web sitelerini ve uygulamaları gerçek zamanlı olarak oluşturan bir "Interface World Model" sisteminin araştırma önizlemesini yayınladı. Dev.to'ya göre model, bir uygulamayı programdan ziyade video çıktısı olarak ele alıyor: video üretimi yapan bir model, kullanıcı tıklayıp sürüklerken her kareyi anında çizerken, bir dil modeli her eylemi yorumlayıp bundan sonra ne olacağına karar veriyor.

İş bölümü ilginç olan kısım. Video modeli piksellerin — arayüzün her an nasıl göründüğünün — sahibiyken, dil modeli niyetin sahibi ve sahnenin girdiye nasıl yanıt vereceğine o karar veriyor. Ortada olmayan şeyse normalde ikisini birbirine bağlayan katman: markup, uygulama mantığı ve yazılı kodu görüntüye dönüştüren render pipeline'ı.

Demolar ne gösterdi

Dev.to üç demonstrasyon tanımlıyor: bir kıyafetin raftan bir fotoğrafın üzerine sürüklendiği sanal deneme, kaseye malzeme bırakılarak hazırlanan bir salata ve etkileşimli bir içten yanmalı motor simülasyonu. Her biri, kullanıcı etkileşimde bulundukça kare kare üretildi; altlarında geleneksel bir codebase'e benzer bir şey yoktu.

İnsan test katılımcıları tarafından tercih edildi

Kör testlerde insan değerlendiriciler, bu üretilmiş arayüzları önde gelen bir kodlama modelinin oluşturduğu sayfalara birebir karşılaştırmaların çoğunluğunda tercih etti. Dev.to, tercih iki ölçüte göre korunduğunu bildiriyor: nesnelerin ekranda ne kadar doğal davrandığı ve sistemin talimatları ne kadar iyi takip ettiği. Karşılaştırma modeli adlandırılmadı ve kesin kazanma oranları yayınlanmadığından sonucun kesin değil, yön gösterici olarak okunması gerekiyor.

Şu an nerede başarısız oluyor

Raporda üç sınırlılık öne çıkıyor. Metin bozuluyor. Uzun oturumlar kontrolden çıkıyor. Ve sistem, son derece inandırıcı görünen ama incelikli biçimde hatalı ekranlar üretebiliyor — görsel inandırıcılık, ekrandaki herhangi bir şeyin gerçekten doğru olduğunun kanıtı olmadığından, bu tartışmasız en önemli hata türü. Sistem bitmiş bir ürün değil, bir araştırma önizlemesi.

Neden önemli

Temel fikir, web'in çalışma biçiminin tersine çevrilmesi. Bugün bir arayüz render edilen koddur; buradaysa arayüz, ona bakan kişi için talep üzerine üretilen bir medya. Yaklaşım ölçeklenirse, arayüz oluşturmak yazılım yazmaya değil, bir modeli yönlendirmeye benzemeye başlar — sayfa yalnızca üretilirken var olur.

Zamanlama, teknik kadar önemli. Dev.to'nun belirttiği gibi önizleme, video üretimi yapan modellerin bir arayüzü canlı olarak üretmek saçma değil makul bir fikir haline gelecek kadar hızlı ve ucuz olduğu bir noktada geldi. Kör test sonucu da buna ağırlık katıyor: metinler bozuk ve oturumlar kontrolden çıkmış olsa bile, üretilen arayüzler insan tercihiyle önde gelen bir kodlama modelinin çıktısını geride bıraktı.

Zor soruların hiçbiri henüz yanıtlanmadı — hesaplanan değil çizilen bir ekranı nasıl doğrularsınız, durum oturumlar arasında nasıl kalıcı olur ve ortada kod yokken erişilebilirliğe ve semantiğe ne olur. Ama yön sinyali olarak durum net: "AI kodu yazar" ile "AI arayüzün kendisidir" arasındaki mesafe artık halka açık biçimde gösterildi.