Prompting pour le cinéma IA : ce qui marche vraiment

Le prompting pour le cinéma n’est pas un concours d’écriture. C’est du design de plan fait avec des mots, et l’essentiel du métier consiste à décider ce qui doit figurer dans le prompt. Deux modes d’échec expliquent la plupart des générations décevantes : le prompt qui décrit une sensation et laisse la caméra dans l’ombre, et le prompt qui décrit toute la scène, y compris ce qui est déjà visible dans l’image de référence, jusqu’à ce que le modèle n’ait plus d’espace pour bouger. Un prompt qui fonctionne se situe entre les deux. Il nomme un sujet, une action, une caméra et une lumière, puis s’arrête.

Un prompt par plan

Chaque génération doit correspondre à un plan que vous comptez monter. Le guide vidéo Gen-4 de Runway décrit des clips de cinq et dix secondes et suggère de penser chaque clip comme une scène, non comme une séquence compressée. Ce n’est pas une limitation à contourner ; c’est une discipline qui améliore le film. Si un plan exige trois actions distinctes, c’est probablement trois plans.

Écrivez le prompt dans le vocabulaire du montage. Si vous ne pouvez pas dire ce que le plan apporte à la scène, aucun détail de prompt ne le corrigera.

Quatre cases, puis on s’arrête

Un prompt vidéo fiable comporte quatre cases, à peu près dans cet ordre :

1. Sujet et action. Qui est dans le cadre et ce qu’il fait physiquement. Écrivez-le comme une action visible unique, pas comme une intention.
2. Caméra. Taille et mouvement : un plan moyen, un lent travelling avant, un plan large fixe, un travelling à l’épaule. Ces termes méritent d’être appris correctement, et la référence caméra de Runway associe chacun à un exemple de rendu.
3. Lumière et atmosphère. Direction, qualité et couleur : soleil bas venant de la gauche du cadre, une seule lampe pratique, lumière diffuse par temps couvert, brume. Les mots de lumière changent une image plus que les mots de style.
4. Style et optique, brièvement. Émulsion, grain, caractère d’objectif, palette. Un ou deux descripteurs suffisent généralement ; un paragraphe d’adjectifs a tendance à rivaliser avec le plan.

Le prompt d’image a un travail légèrement différent. Le guide image Gen-4 de Runway liste sujet, scène, composition, éclairage, couleur, style, mise au point, angle, texte et humeur comme éléments utilisables, et note que des phrases plus complètes offrent plus de contrôle tandis que des prompts courts offrent plus de variation. Aucun n’est faux. Ce qui compte, c’est de savoir lequel vous choisissez.

Décrivez le mouvement, pas la photographie

Quand une génération part d’une image d’entrée, reformuler l’image en mots a tendance à réduire le mouvement : le modèle reçoit deux fois la même information et devient prudent. Les consignes de Runway sont directes à ce sujet — utilisez le prompt texte pour décrire ce qui doit bouger, et désignez les sujets existants par des termes généraux comme « le sujet » ou « elle ». Gardez la description détaillée pour les éléments que vous voulez ajouter ou modifier.

C’est aussi pourquoi les meilleurs prompts de mouvement sont modestes. « Elle tourne la tête vers la fenêtre, puis baisse les yeux » battra généralement une phrase qui tente de chorégraphier six secondes de performance. Vous dirigez un geste, pas une scène.

Dites ce qui doit se passer, pas ce qui ne doit pas

La formulation négative est un piège dans la plupart des modèles actuels. Les guides de Runway indiquent que les prompts négatifs ne sont pas pris en charge pour l’image ou la vidéo Gen-4, et que décrire ce qui ne doit pas apparaître peut produire l’effet inverse. « Pas de mouvement de caméra » est une mauvaise instruction ; « caméra fixe, le sujet reste immobile » en est une bonne. « Un homme sans cheveux » devient « un homme chauve ».

La règle pratique : chaque phrase du prompt doit décrire quelque chose de visible dans le cadre. Si une phrase ne décrit qu’une absence, réécrivez-la comme une présence.

Séparez l’identité du style

La cohérence vient des références et de la répétition, pas de descriptions plus longues. Les systèmes de référence actuels peuvent maintenir un personnage à travers des éclairages et des lieux différents, et le guide Références de Runway recommande d’utiliser une image propre, uniformément éclairée et à expression neutre comme base — et autorise jusqu’à trois images de référence par génération. Utilisez une référence pour la personne, une pour le lieu, une pour l’étalonnage, et gardez-les identiques tout au long du film.

Tenez aussi une fiche de personnage écrite : tranche d’âge, carrure, cheveux, garde-robe, deux ou trois traits distinctifs. Quand une prise dérive, comparez-la à la fiche avant de blâmer le modèle. La dérive vient généralement d’un prompt qui a changé sans qu’on le remarque.

Tenez un journal qui rend les prises reproductibles

Chaque prise approuvée doit pouvoir être reconstruite. Notez le modèle et la version, les réglages, les images de référence, le prompt exact, et une ligne sur ce qui a changé par rapport à l’essai précédent. Cela transforme le prompting en un processus doté d’une mémoire, plutôt qu’en une machine à sous.

Ne changez qu’une variable à la fois. Si vous modifiez à la fois la caméra, la lumière et la garde-robe, vous n’apprenez rien du résultat, sinon s’il vous plaît. La même logique s’applique aux séries : générez des variations qui diffèrent sur une seule dimension pour que la comparaison soit honnête.

Promptez pour le montage

Un prompt peut produire un beau plan inutilisable au montage. Protégez-vous en promptant ce dont le montage a besoin : une entrée, une sortie, un regard, une révélation, une réaction. Un mouvement qui commence et finit dans le clip est plus facile à monter qu’un mouvement encore en accélération quand le clip s’arrête. Les plans statiques sont réalisables, mais il faut les demander clairement et les renforcer, car les modèles sont conçus pour bouger.

Si un plan échoue sans cesse, ne relancez pas le même prompt indéfiniment. Changez l’une de trois choses : le prompt (rendez l’action plus physique), la référence (rendez l’identité plus forte) ou le plan (coupez-le, ou scindez-le en deux). La troisième option est celle que la plupart des cinéastes oublient, et c’est généralement la plus rapide. Quand le prompting fonctionne, le reste du workflow est couvert dans le guide pas à pas du premier film ; quand il ne fonctionne pas, les astuces de génération vidéo IA couvrent les correctifs courants. Dans un cas comme dans l’autre, gardez le prompt assez court pour pouvoir le dire à voix haute à un acteur et qu’il comprenne le plan.