Comment fonctionnent vraiment les modèles vidéo IA

Vous tapez une phrase, attendez une minute ou deux, et un court clip apparaît : la caméra bouge, un visage se tourne, la pluie tombe. La sortie ressemble à de la photographie, mais rien n’a été photographié. Entre la phrase et le clip se trouve une pile de composants appris, et savoir grossièrement ce que fait chacun change votre façon d’écrire des prompts, de juger une mauvaise prise et de faire confiance à une bonne.

Ce n’est pas un guide d’un produit particulier. C’est une visite en langage clair de la machinerie que partagent la plupart des générateurs vidéo commerciaux — avec la réserve que les fournisseurs gardent les détails privés et que le domaine évolue vite.

Cela commence par du bruit, pas par des images

Un modèle de diffusion est entraîné dans deux directions. D’abord, une vraie image est progressivement détruite par ajout de bruit jusqu’à ce qu’il n’en reste rien de reconnaissable. Ensuite, un réseau de neurones est entraîné à annuler cette destruction une petite étape à la fois. Au moment de la génération, le processus s’inverse : on part du bruit pur et on débruité à répétition jusqu’à ce qu’une image apparaisse.

C’était la conception exposée par Ho, Jain et Abbeel en 2020, et elle explique beaucoup du comportement de ces outils. Le modèle ne récupère pas une image dans une bibliothèque. Il a appris une distribution de ce à quoi ressemblent les images, et il marche du hasard vers un échantillon plausible. Demandez deux fois la même chose et vous obtenez deux prises différentes, parce que le bruit de départ diffère. Le modèle n’a pas non plus de mémoire de votre essai précédent ; chaque génération est une nouvelle marche.

L’essentiel du travail se fait dans un espace plus petit

Les pixels en pleine résolution coûtent cher à générer, aussi les systèmes modernes travaillent-ils rarement au niveau du pixel. L’approche de la diffusion latente introduite par Rombach et ses collègues comprime une image avec un autoencodeur préentraîné en une représentation latente compacte, y exécute le débruitage, puis décode le résultat en pixels. Le même article a ajouté les couches d’attention croisée, le mécanisme qui permet à une description textuelle d’orienter le débruitage.

La conséquence pratique est une division du travail : un réseau gère la structure compressée, un autre gère le langage, et un décodeur fait le rendu final. La partie que vous influencez le plus directement — l’encodeur de texte — parle au modèle par l’attention, pas par des instructions qu’un humain reconnaîtrait.

Le transformeur a pris le milieu

Pendant des années, le débruiteur était un U-Net. Peebles et Xie l’ont remplacé par un transformeur opérant sur des patchs latents — le Diffusion Transformer, ou DiT — et ont montré que la qualité s’améliorait de façon prévisible à mesure que le calcul augmentait. Depuis, la plupart des grands systèmes se sont orientés dans cette direction.

Un exemple bien documenté de cette évolution est Stable Diffusion 3, dont l’article décrit un entraînement avec rectified flow, une formulation qui relie données et bruit par un chemin plus droit, et une architecture de transformeur qui garde des poids séparés pour les tokens d’image et de texte tout en laissant l’information circuler dans les deux sens. Les auteurs rapportent une mise à l’échelle prévisible dans la plage qu’ils ont testée.

La vidéo ajoute une dimension, et cette dimension coûte cher

Étendre la diffusion des images à la vidéo est conceptuellement simple : prédire le même type de bruit, mais pour une séquence d’images. Ho et ses collègues l’ont fait exactement dans un article de 2022, en entraînant conjointement sur images et vidéo et en rapportant que ce mélange réduisait la variance des mises à jour d’entraînement et accélérait l’optimisation. Ils ont aussi introduit l’échantillonnage conditionnel pour étendre une vidéo dans l’espace et le temps — l’ancêtre du workflow étendre-puis-suréchantillonner que l’on voit dans les outils actuels.

La difficulté est la cohérence dans le temps. Chaque image peut être individuellement convaincante alors que la séquence échoue : un visage dérive, une veste change de couleur, une main se dissout dans l’arrière-plan. Ce qui corrige cela, c’est l’attention entre les images — le modèle doit voir le personnage au plan un en dessinant le plan deux. Quand on parle de « cohérence temporelle », c’est ce mécanisme que l’on désigne.

Le prompt n’atteint le modèle que par le langage

Le texte est encodé en plongements, et le débruiteur y prête attention pendant qu’il dessine. C’est pourquoi les prompts qui nomment des choses visibles surpassent les prompts qui nomment des sensations. « Un homme est triste » ne donne presque rien à dessiner au modèle. « Un homme seul à une table de cuisine, tête baissée, lumière froide de fenêtre venant de la gauche, plan moyen, caméra fixe » lui donne un sujet, une mise en scène, un objectif et une humeur.

Cela explique aussi une frustration courante : le modèle ne suit pas des consignes comme le ferait une équipe de tournage. Il est poussé, image par image, vers une région de sa distribution d’entraînement que vos mots et vos images de référence désignent.

Le son est désormais dans le modèle

Jusqu’à récemment, on générait des clips muets et on construisait la bande-son en postproduction. En 2025, Veo 3 de Google est devenu le premier modèle vidéo de l’entreprise à générer dialogue, effets sonores et musique synchronisés avec l’image en une seule passe. La recette multi-plans de Runway génère de même l’audio par défaut. L’audio natif est réellement nouveau, et il change la planification : une réplique parlée dans un clip généré est un choix de performance que l’on fait au moment du prompt, pas au montage.

Cela élève aussi la barre : un plan avec du son natif doit être jugé sur la synchronisation labiale, l’ambiance de la pièce et l’intelligibilité, pas seulement sur la beauté du cadre.

Ce que le modèle n’est pas

Cinq limites méritent d’être gardées en tête, car chacune correspond à un échec différent que vous rencontrerez en pratique :

• Pas un moteur physique. Il prédit des pixels plausibles. Le contact, le poids, le tissu et les fluides sont des habitudes apprises, pas une simulation, ce qui explique pourquoi les objets qui tombent et les mains qui saisissent cassent encore.
• Pas une caméra. Le langage caméra fonctionne comme une suggestion, pas comme une feuille de consignes. Attendez-vous à itérer sur le mouvement plutôt qu’à le régler une fois.
• Pas déterministe. Le même prompt donne des résultats différents. La reproductibilité vit dans les graines, les références fixes et les versions de modèle figées, pas dans votre prose.
• Pas une base de données. Il ne peut pas récupérer le visage de votre acteur ou votre lieu réel à moins que vous ne le conditionniez avec des images de référence ou une première image.
• Pas un service de clearing de droits. Un modèle capable de dessiner quelque chose ne vous dit pas si vous pouvez l’utiliser. Données d’entraînement, apparence et droits sur les sorties sont des questions séparées avec leurs propres réponses.

Pourquoi la plomberie compte sur le plateau

Une fois que vous voyez le pipeline comme une séquence d’étapes apprises, le workflow en découle. Vous dirigez des plans plutôt que des scènes, parce que le plan est l’unité que le modèle peut tenir. Vous générez beaucoup de variations bon marché et vous sélectionnez, parce que l’échantillonnage est le seul moyen de voir la distribution. Vous figez des références pour tout ce qui doit persister entre les plans, parce que la cohérence est un problème d’attention, pas de formulation.

La version pratique de cet article — comment écrire le plan, ce qu’il faut donner au modèle, comment corriger la prise que vous avez presque obtenue — se trouve dans les astuces de génération vidéo IA. Pour voir comment ces techniques apparaissent dans un travail fini, voir le guide des courts métrages générés par IA.