deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Jetson üzerinde NVIDIA Cosmos 3 Edge: action chunk'lar, cihaz içi robot kontrolü ve yüzde 22,9'luk bir benchmark uyarısı

CAVEDU'nun Jetson Thor üzerinde NVIDIA'nın yaklaşık 4 milyar parametreli Cosmos 3 Edge dünya modelini ele alan uygulamalı incelemesi, action chunk'ların cihaz içi robot kontrolünü nasıl mümkün kıldığını açıklıyor ve yüzde 22,9'luk görev başarı oranını raporluyor.

Jetson üzerinde NVIDIA Cosmos 3 Edge: action chunk'lar, cihaz içi robot kontrolü ve yüzde 22,9'luk bir benchmark uyarısı

dev.to'da yayımlanan CAVEDU kaynaklı uygulamalı bir yazı, NVIDIA'nın Cosmos 3 Edge'inin Jetson donanımında çalışır duruma geldiğinde gerçekte neler yapabildiğini inceliyor. Yaklaşık 4 milyar parametreli dünya modeli pasif algılamanın ötesine geçiyor: görevler hakkında akıl yürütüyor, kendi eylemlerinin sahneyi nasıl değiştireceğini öngörüyor ve yürütülebilir hareket üretiyor. Serinin ikinci yazısı "model çalışabiliyor mu" sorusundan "ne yapılacağına karar vermeye yardımcı olabiliyor mu" sorusuna geçiyor — ve raporlanan rakamlar iki yönlü: belirtilen kurulumda sürekli hareket için yeterince hızlı, ama eşlik eden benchmark başarı oranı bunun hâlâ ne kadar erken bir aşamada olduğunu gösteriyor.

Sahneleri tanımlamaktan eylem seçmeye

Yazının ortaya koyduğu temel ayrım, bir sahnenin neler içerdiğini söyleyebilen bir vision-language model ile eylemleri dünyanın nasıl değişeceğine bağlayan bir World Action Model arasındadır. Nesne tespiti bir SO-101 simülasyonundaki muzu, tabağı ve robot kolunu konumlandırabilir; bir VLM tabağın yanında duran muzu tarif edebilir. Ama ikisi de kola muzu nasıl kavrayıp tabağa koyacağını söyleyemez. Fiziksel yapay zekâ, yazının çerçevesiyle sürekli bir döngüdür: dünyayı gözlemle, sahneyi ve görevi anla, sonuçları öngör, bir eylem seç ve uygula, ardından değişmiş dünyayı gözlemleyip yeniden başla.

Eylemler cümleler değil yörüngelerdir

"Elini sağa hareket ettir" gibi bir talimat motor kontrolü değildir. Robot komutları sayısal zaman serileridir — robota ve kontrol arayüzüne bağlı olarak öteleme, döndürme, eklem hedefleri ya da tutucu durumu. CAVEDU yazısına göre Cosmos 3, farklı robot gövdelerini kapsayan ortak bir geometrik gösterimle çalışıyor; böylece bir modelin çıktısı metnin ötesine geçip gerçek bir eylem yörüngesi içerebiliyor. Bu, üç şeyi birbirine bağlıyor: robotun ne gördüğünü, ne yaptığını ve bundan sonra ne olacağını.

Action chunk'lar iki saat hızını köprüler

Düşük seviye robot kontrolü çoğu zaman büyük bir modelin üretebileceğinden çok daha hızlı güncellemeler gerektirir. Cosmos 3 Edge robot-politika materyalleri, referans verilen iş akışında her çıkarım başına 32 eylem tanımlıyor: her küçük hareket için yeniden büyük model çağrısı yapmak yerine sistem bir hareket segmentini öngörüyor, denetleyici bunu yürütüyor, yeni bir gözlem toplanıyor ve bir sonraki chunk planlanıyor — geri çekilen ufuk (receding-horizon) desenine benzer bir yapı. Yazıda atıf yapılan Jetson AI Lab kılavuzu, Jetson Thor üzerinde 640 × 360 kamera gözlemlerinden eylem üretimini anlatıyor; sistem robotu görevde tutmak için ilerledikçe yeniden planlama yapıyor. Chunk'lama tek adımlı politikalar imkânsız olduğu için değil, her kontrol tıkında yavaş bir büyük model çıkarımının bedelini ödememek için var.

Jetson AGX Thor üzerinde zamanlama nasıl görünüyor

Yazının ele aldığı resmî örnekte, Jetson AGX Thor üzerinde çalışan post-trained bir Cosmos 3 Edge politikası bir action chunk'ı yaklaşık 1,53 saniyede üretiyor ve her chunk kabaca 2,13 saniyelik robot hareketine karşılık geliyor — yani sistem robot hâlâ mevcut chunk'ı uygularken bir sonrakini hesaplayabiliyor. Yazı ayrıca yaygın bir yanlış okumaya dikkat çekiyor: raporlanan 15 Hz, eylemlerin ne sıklıkla yürütüldüğünü ifade ediyor, saniyede on beş tam model çıkarımı yapıldığını değil. Bu rakamlar tek bir dağıtımı anlatıyor; her Jetson modülünü ya da robotu değil.

Yüzde 22,9 uyarısı

Eylem üretmek, çalışan bir otonom robota sahip olmakla aynı şey değil. NVIDIA'nın cihaz içi robot kontrolü post-training yazısı, referans verilen post-trained politikanın RoboLab'in kapalı döngü görevlerinde yüzde 22,9'luk başarı oranı raporluyor; CAVEDU yazısı bunu 120 dil koşullu manipülasyon görevi olarak tanımlıyor. Bu sayı tek bir benchmark'a ve yapılandırmaya aittir, genel olarak robot uygulamalarına değil. Yayımlanan Cosmos3-Edge-Policy-DROID checkpoint'i DROID veri seti üzerinde post-trained edildi; kolun, kamera yerleşiminin, eylem uzayının ya da görevin değiştirilmesi önemli uyarlama gerektirebilir. Bir dünya modeli temel yetenekler sağlar; her robot için hazır bir denetleyici değil.

Neden önemli

Yazı, gelişim yolunu beş seviye olarak çerçeveliyor — dünya anlama, dünya öngörüsü, eylem üretimi, kapalı döngü kontrol ve fiziksel geri bildirim — ve sonuncusunun en zor olduğunu vurguluyor, çünkü gerçek dünya iyi simülasyonların bile tam olarak yeniden üretemeyeceği sayısız bozulmayla dolu. Geliştiriciler için çıkarım iki yönlü. Birincisi, ucuzda (edge) dağıtılan dünya modelleri Jetson'ın rolünü, kameranın gördüğünü etiketleyen bir cihazdan, gözlemler hakkında akıl yürüten ve kararları destekleyen yerleşik bir platforma dönüştürüyor — uzak bir GPU'nun gecikmesi, bant genişliği ve bağlantı bağımlılığı olmadan. İkincisi, "ucuzda çalışıyor" ile "fiziksel dünyayı güvenilir biçimde kontrol ediyor" ayrı başarılar; yüzde 22,9'luk RoboLab sonucu bu boşluğu somutlaştırıyor: fiziksel yapay zekâ iş akışları kuran herkes göreve ve robot gövdesine özgü post-training, chunk tabanlı kontrol döngüleri ve kapsamlı hata kurtarma planlamalı. Yazılım uyumluluğu hâlâ belirli Jetson modülüne ve JetPack sürümüne bağlı; bu yüzden yığın, gerçek cihazla eşleşecek şekilde seçilmeli.

  • #nvidia
  • #jetson
  • #robotics
  • #world-models
  • #edge-computing
  • #physical-ai

İlgili yazılar