Nvidia GEAR Lab: 44.711 ore video POV → robot che capiscono fisica senza mai toccare oggetti. 15x più dati, 96x più abilità, 2000x più scene. Team Jim Fan. 10 FPS real-time. Open source su GitHub. Jensen Huang: “robotica = opportunità di una generazione”.
Ricordo quando su Amiga 500 dovevo insegnare manualmente al computer ogni singola cosa. Volevi un’animazione? Pixel per pixel. Volevi fisica? Calcoli trigonometrici a mano.
Oggi? Nvidia ha rilasciato DreamDojo, un “modello mondiale” per robot addestrato su 44.000 ore di video umani.
E no, non sto parlando di “guarda questo video e impara”. Sto parlando di 44.711 ore di filmati che coprono 6.015 compiti unici e 9.869 scene.
Quarantaquattromila ore.
Cinquecento volte più grande del più grande dataset precedente.
Il dataset DreamDojo-HV include 96x più abilità e 2.000x più scene rispetto ai dataset pubblici più diversificati per l’apprendimento robotico.
Bentornati nel futuro dove i robot imparano guardandoci vivere. Come bambini. Ma senza piangere quando gli togli il giocattolo.
La dimensione del problema (che Nvidia ha appena risolto)
Mentre i dataset robotici tradizionali come RT-1 o BridgeData V2 si fermano a centinaia di ore, DreamDojo-HV raccoglie oltre 44.711 ore di esperienze egocentriche che coprono 6.015 compiti unici e 1.135.000 traiettorie.
E perché è importante? Perché per le aziende che considerano robot umanoidi, questo approccio affronta un collo di bottiglia persistente. Insegnare a un robot a manipolare oggetti in ambienti non strutturati tradizionalmente richiede enormi quantità di dati dimostrativi specifici per quel robot: costosi e dispendiosi in termini di tempo da raccogliere.
Praticamente: prima di DreamDojo, se volevi insegnare a un robot a piegare una maglietta, dovevi:
- Costruire il robot
- Farlo muovere fisicamente migliaia di volte
- Registrare ogni movimento
- Sperare che generalizzasse ad altre magliette
Con DreamDojo? DreamDojo aggira questo problema sfruttando video umani esistenti, permettendo ai robot di imparare dall’osservazione prima ancora di toccare un oggetto fisico.
È tipo quando su Amiga 1200 potevi vedere come gli altri facevano demo grafiche, e poi provavi a replicarle. Solo che qui è un robot. E non sta copiando. Sta imparando.
Due fasi: guarda gli umani, poi diventa robot
Il sistema opera in due fasi distinte. Prima, DreamDojo “acquisisce conoscenza fisica completa da dataset umani su larga scala attraverso pre-training con azioni latenti”. Poi subisce “post-training sull’incarnazione target con azioni robotiche continue”, essenzialmente imparando la fisica generale guardando gli umani, poi affinando quella conoscenza per hardware robotico specifico.
Fase 1: “Così fanno gli umani“: Guarda 44.711 ore di video POV, impara che la gravità esiste, capisce che i bicchieri si rompono, nota che la stoffa si piega, imapara le nozioni della fisica intuitiva.
Fase 2: “Ora fallo con le tue braccia robotiche“: adatta la conoscenza al corpo specifico (GR-1, G1, AgiBot, YAM), traduce “così farebbe un umano” in “così devo muovere i motori”, affina tutti i controlli continui.
Addestrandosi su umani che svolgono attività quotidiane (come piegare bucato, assemblare oggetti e maneggiare strumenti) il modello acquisisce una comprensione generalizzata della fisica che può essere trasferita a diverse incarnazioni robotiche.
Il trucco: “azioni latenti” (aka come far leggere video ai robot)
Il problema? I video umani non hanno dei comandi per i motori robotici. Per rendere questi video “robot-leggibili”, il team di ricerca Nvidia ha introdotto delle azioni latenti continue.
Questo sistema usa un Transformer VAE spaziotemporale per estrarre azioni direttamente dai pixel.
Tradotto per chi non mastica ML tutti i giorni:
Il robot non vede “mano che si muove a 30 gradi/sec verso destra”.
Il robot vede “cambiamento visivo tra frame A e frame B” e capisce ed elabora quale azione l’ha causato.
È tipo reverse engineering. Il robot vede il risultato (la tazza si è spostata) e deduce il movimento (qualcuno l’ha spostata).
I ricercatori hanno addestrato un Transformer spaziotemporale da 700 milioni di parametri per estrarre “azioni proxy” semanticamente significative direttamente dai cambiamenti visivi tra i frame.
10 FPS real-time: non è più solo simulazione
E qui arriva la parte davvero bella.
Uno dei risultati tecnici notevoli è la velocità. Attraverso la distillazione, il team ha raggiunto interazioni real-time a 10 FPS per oltre un minuto, abilitando teleoperazioni dal vivo e pianificaziole al volo.
Attraverso una pipeline di distillazione Self Forcing, il modello è accelerato a 10.81 FPS, abilitando applicazioni interattive come teleoperazioni dal vivo e simulazioni stabili a lungo orizzonte per oltre 1 minuto.
Praticamente puoi: teleoperare un robot virtuale in VR con controller PICO, pianificare azioni in tempo reale, simulare 1 minuto di azioni continue senza lag.
Il team Nvidia ha dimostrato questo usando un controller VR PICO e un desktop locale con una NVIDIA RTX 5090.
Quindi sì, se hai una RTX 5090, puoi giocare con un robot virtuale che ha imparato da 44.000 ore di vita umana.
È tipo The Sims, ma il Sim è un robot. E ha davvero imparato come funziona il mondo.
I numeri pazzeschi dietro DreamDojo
Il pretraining ha usato 100.000 ore GPU NVIDIA H100 per costruire varianti da 2B e 14B.
Centomila ore GPU. Di H100. Che costano tipo 30.000 dollari l’una.
Facciamo due conti veloci: anche se ha usato solo 100 GPU H100 per 1.000 ore, sono 3 milioni di dollari solo di hardware time.
E il dataset? I dati coprono 9.869 scene uniche e 43.237 oggetti unici.
Quarantatremila oggetti diversi. Da tazze a martelli. Da magliette a chiavi inglesi.
Entrambi un modello da 2 miliardi di parametri e uno da 14 miliardi di parametri sono stati pre-addestrati per 140.000 step con una batch size effettiva di 1024, utilizzando 256 GPU NVIDIA H100.
Duecentocinquantasei H100. Contemporaneamente. Per giorni.
Questo non è un esperimento universitario. È potenza di fuoco industriale.
Applicazioni pratiche: simulare prima di costruire
Per chi deve valutare l’implementazione di robot umanoidi in contesti aziendali, il valore più immediato di DreamDojo risiede nelle sue capacità di simulazione. I ricercatori evidenziano applicazioni downstream tra cui “valutazione affidabile delle policy senza deployment nel mondo reale e pianificazione basata su modelli per miglioramenti in fase di test“.
Tradotto: testa il robot virtualmente PRIMA di spendere milioni in hardware.
I tassi di successo simulati di DreamDojo mostrano una correlazione di Pearson di r=0.995 con risultati nel mondo reale. Il Mean Maximum Rank Violation (MMRV) è solo 0.003.
99.5% di correlazione tra simulazione e realtà.
Praticamente: se funziona in DreamDojo, funzionerà nel mondo reale.
In un compito di imballaggio frutta, questo ha migliorato i tassi di successo nel mondo reale del 17%. Rispetto al campionamento casuale, ha fornito un aumento di 2x nel successo.
Il team: Jim Fan e la visione Nvidia
Il paper è firmato da Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu e altri collaboratori da UC Berkeley, Stanford, l’Università del Texas ad Austin.
E coordinato da Linxi “Jim” Fan, Senior Research Manager di Nvidia GEAR Lab.
Jim Fan non è nuovo a progetti ambiziosi. È lo stesso che ha coordinato MineDojo (IA che impara da video di Minecraft) e Voyager (primo agente IA completamente autonomo in Minecraft).
Ora? Dr. Jim Fan lo descrive come “Simulation 2.0“.
Jensen Huang: “robotica = opportunità di una generazione”
E tutto questo non è casuale.
Durante il World Economic Forum di Davos del mese scorso, il CEO Jensen Huang ha definito la robotica basata su IA un’opportunità che si presenta “una volta in una generazione“, particolarmente promettente per regioni con solide basi manifatturiere.
E i numeri? Le startup del settore robotico hanno raccolto la cifra record di 26,5 miliardi di dollari nel 2025, secondo i dati di Dealroom.
“*Ventisei miliardi di dollari.*”
E Nvidia? Nvidia ha già investito 10 miliardi di dollari in Anthropic e segnalato l’intenzione di investire massicciamente nel prossimo round di finanziamento di OpenAI.
Come osservato da Kyle Barr su Gizmodo all’inizio di questo mese, Nvidia ora considera “tutto ciò che riguarda il gaming e il personal computer” come “anomalie nei fogli di calcolo trimestrali dell’azienda“.
Gaming = passato. Robotica = futuro.
Open source: tutto su GitHub
E il bello? Nvidia ha rilasciato sia il codice di pretraining che di post-training, tutti i checkpoint pre-addestrati e post-addestrati (2B e 14B), i dataset di post-training GR-1 e i set di valutazione.
Tutto open source. Su GitHub. Ora.
Repository: https://github.com/NVIDIA/DreamDojo
Nvidia ha rilasciato tutti i pesi, il codice di training e i benchmark di valutazione.
Quindi se hai:
- Un robot compatibile (GR-1, G1, AgiBot, YAM)
- Accesso a GPU H100 (o tanta pazienza)
- Voglia di sperimentare
Puoi addestrare il tuo robot usando DreamDojo. Oggi.
Il mio verdict da vecchio smanettone robotico
Guardate, io sono cresciuto programmando robot LEGO Mindstorms su PC Windows 98. Dovevi dirgli esattamente cosa fare. Gira 90 gradi. Vai avanti 10cm. Stop.
E ora? I robot possono acquisire competenze generali prima ancora di essere attivati fisicamente.
Un robot può imparare cosa significa “piegare una maglietta” guardando migliaia di ore di video umani. E quando viene acceso per la prima volta, già sa come approcciare il problema.
Non deve iniziare da zero. Ha 44.711 ore di esperienza pre-caricata.
È tipo nascere con la memoria di migliaia di vite precedenti.
E sì, è inquietante. Ma anche incredibile.
Perché addestrando su 44.000 ore di video umani diversificati che coprono migliaia di scene e quasi 100 abilità distinte, DreamDojo punta a costruire quel tipo di intuizione fisica generale che rende i robot adattabili invece che rigidi.
Adattabili invece che rigidi.
Questo è il salto. Da “robot che fa UN compito perfettamente in UN ambiente” a “robot che capisce fisica e si adatta a QUALSIASI situazione”.
E personalmente? Voglio vedere quando il primo robot umanoide DreamDojo-trained inizierà a lavorare in una fabbrica vera.
Perché Elon Musk ha dichiarato che l’80% del valore futuro di Tesla deriverà dai suoi robot umanoidi Optimus.
E se Tesla usa DreamDojo (o qualcosa di simile), siamo a un passo da robot domestici che davvero capiscono cosa stai facendo e come aiutarti.
Non più “Alexa, accendi la luce”. Ma “il robot vede che stai cucinando, capisce che ti serve sale, e te lo passa senza che tu lo chieda“.
Questo è il futuro. E DreamDojo è il primo mattone.
E voi? Pensate che i robot addestrati guardando video umani siano il futuro, o preferite il vecchio approccio “programma ogni singolo movimento”?
Se ti è piaciuto l’articolo, seguimi su FullStackGarage per altri pezzi su robotica, IA, e futuri dove le macchine imparano guardandoci vivere.
E lascia un commento: voglio sapere se anche voi pensate che tra 10 anni avremo robot domestici DreamDojo-trained, o se è ancora fantascienza.
Al prossimo articolo!
Ciucci Gilberto
