Come funzionano davvero i modelli video IA

Scrivete una frase, aspettate un minuto o due, e appare una breve clip: la macchina da presa si muove, un volto si gira, la pioggia cade. L’output sembra fotografia, ma nulla è stato fotografato. Tra la frase e la clip c’è uno stack di componenti appresi, e sapere all’incirca che cosa fa ognuno cambia come scrivete i prompt, come giudicate una take sbagliata e quanta fiducia date a una buona.

Questa non è una guida a un singolo prodotto. È un giro in linguaggio semplice nella macchina che la maggior parte dei generatori video commerciali condivide — con l’avvertenza che i fornitori tengono privati i dettagli e che il campo si muove in fretta.

Si parte dal rumore, non dalle immagini

Un modello di diffusione viene addestrato in due direzioni. Prima, un’immagine reale viene progressivamente distrutta aggiungendo rumore finché non resta nulla di riconoscibile. Poi una rete neurale viene addestrata a annullare quella distruzione un piccolo passo alla volta. Al momento della generazione il processo corre al contrario: si parte dal rumore puro e si fa denoising ripetutamente finché appare un’immagine.

Era il progetto esposto da Ho, Jain e Abbeel nel 2020, e spiega molto del comportamento di questi strumenti. Il modello non recupera un’immagine da una libreria. Ha imparato una distribuzione di come sono fatte le immagini, e cammina dal caso verso un campione plausibile. Chiedete due volte la stessa cosa e ottenete due take diverse, perché il rumore di partenza è diverso. Il modello non ha nemmeno memoria del tentativo precedente; ogni generazione è una nuova camminata.

Gran parte del lavoro avviene in uno spazio più piccolo

I pixel a piena risoluzione costano troppo da generare, così i sistemi moderni raramente lavorano a livello di pixel. L’approccio della diffusione latente introdotto da Rombach e colleghi comprime un’immagine con un autoencoder preaddestrato in una rappresentazione latente compatta, vi esegue il denoising, poi decodifica il risultato in pixel. Lo stesso articolo ha aggiunto i livelli di cross-attention, il meccanismo che permette a una descrizione testuale di orientare il denoising.

La conseguenza pratica è una divisione del lavoro: una rete gestisce la struttura compressa, un’altra gestisce il linguaggio, e un decoder fa il render finale. La parte che influenzate più direttamente — l’encoder di testo — parla al modello attraverso l’attenzione, non attraverso istruzioni che un umano riconoscerebbe.

Il transformer ha preso il centro

Per anni il denoiser è stato una U-Net. Peebles e Xie l’hanno sostituita con un transformer che opera su patch latenti — il Diffusion Transformer, o DiT — e hanno mostrato che la qualità migliorava in modo prevedibile con l’aumentare del calcolo. Da allora la maggior parte dei grandi sistemi si è mossa in quella direzione.

Un esempio ben documentato di questa evoluzione è Stable Diffusion 3, il cui articolo descrive un addestramento con rectified flow, una formulazione che collega dati e rumore lungo un percorso più dritto, e un’architettura transformer che mantiene pesi separati per i token di immagine e di testo lasciando scorrere l’informazione in entrambe le direzioni. Gli autori riportano uno scaling prevedibile nell’intervallo testato.

Il video aggiunge una dimensione, e la dimensione costa

Estendere la diffusione dalle immagini al video è concettualmente semplice: prevedere lo stesso tipo di rumore, ma per una sequenza di fotogrammi. Ho e colleghi l’hanno fatto esattamente in un articolo del 2022, addestrando congiuntamente su immagini e video e riportando che quella miscela riduceva la varianza degli aggiornamenti di addestramento e accelerava l’ottimizzazione. Hanno anche introdotto il campionamento condizionale per estendere il video nello spazio e nel tempo — l’antenato del workflow estendi-e-ingrandisci che si vede negli strumenti attuali.

La parte difficile è la coerenza nel tempo. Ogni fotogramma può essere convincente singolarmente mentre la sequenza fallisce: un volto va alla deriva, una giacca cambia colore, una mano si dissolve nello sfondo. Ciò che lo corregge è l’attenzione tra i fotogrammi — il modello deve vedere il personaggio nell’inquadratura uno mentre disegna la due. Quando si parla di «coerenza temporale», è quel meccanismo che si intende.

Il prompt raggiunge il modello solo attraverso il linguaggio

Il testo viene codificato in embedding e il denoiser vi presta attenzione mentre disegna. È per questo che i prompt che nominano cose visibili superano quelli che nominano sensazioni. «Un uomo è triste» non dà quasi nulla da disegnare al modello. «Un uomo solo a un tavolo di cucina, testa bassa, luce fredda della finestra da sinistra, piano medio, macchina fissa» gli dà un soggetto, una messa in scena, un obiettivo e un’atmosfera.

Spiega anche una frustrazione comune: il modello non segue indicazioni come farebbe una troupe. Viene spinto, fotogramma per fotogramma, verso una regione della sua distribuzione di addestramento che le vostre parole e le vostre immagini di riferimento indicano.

Il suono ora è dentro il modello

Fino a poco tempo fa si generavano clip mute e si costruiva la colonna sonora in post. Nel 2025 Veo 3 di Google è diventato il primo modello video dell’azienda a generare dialogo, effetti sonori e musica sincronizzati con l’immagine in un’unica passata. Anche la ricetta multi-inquadratura di Runway genera l’audio per impostazione predefinita. L’audio nativo è davvero nuovo, e cambia la pianificazione: una battuta parlata dentro una clip generata è una scelta di performance che si fa al momento del prompt, non in montaggio.

Alza anche l’asticella: un’inquadratura con suono nativo deve essere giudicata su sincronizzazione labiale, room tone e intelligibilità, non solo su quanto è bello il fotogramma.

Che cosa il modello non è

Cinque limiti vale la pena tenerli a mente, perché ognuno corrisponde a un fallimento diverso che incontrerete in pratica:

• Non è un motore fisico. Prevede pixel plausibili. Contatto, peso, tessuto e fluidi sono abitudini apprese, non simulazione, ed è per questo che gli oggetti che cadono e le mani che afferrano si rompono ancora.
• Non è una macchina da presa. Il linguaggio della macchina da presa funziona come suggerimento, non come foglio di istruzioni. Aspettatevi di iterare sul movimento invece di impostarlo una volta sola.
• Non è deterministico. Lo stesso prompt dà risultati diversi. La riproducibilità vive nei seed, nei riferimenti fissi e nelle versioni del modello bloccate, non nella vostra prosa.
• Non è un database. Non può recuperare il volto del vostro attore o la vostra location reale a meno che non lo condizioniate con immagini di riferimento o un primo fotogramma.
• Non è un servizio di clearing dei diritti. Un modello che sa disegnare qualcosa non vi dice se potete usarlo. Dati di addestramento, somiglianza e diritti sugli output sono questioni separate con risposte proprie.

Perché l’impianto conta sul set

Una volta che vedete la pipeline come una sequenza di stadi appresi, il workflow segue. Dirigete inquadrature invece di scene, perché l’inquadratura è l’unità che il modello sa tenere. Generate molte variazioni economiche e selezionate, perché il campionamento è l’unico modo di vedere la distribuzione. Bloccate i riferimenti per tutto ciò che deve persistere tra le inquadrature, perché la coerenza è un problema di attenzione, non di formulazione.

La versione pratica di questo articolo — come scrivere l’inquadratura, che cosa dare al modello, come correggere la take che avete quasi ottenuto — è nei consigli e trucchi per la generazione video IA. Per vedere come queste tecniche compaiono in un lavoro finito, vedete la guida ai cortometraggi generati dall’IA.