Wie AI-Videomodelle wirklich funktionieren
Diffusion, Latents, Transformer und nativer Ton in einfacher Sprache: was zwischen Prompt-Eingabe und brauchbarem Shot tatsächlich passiert.
Tipps & Tricks
Praktische Gewohnheiten für AI-Video: Prompts auf Shot-Ebene, Referenzbilder, Negative Prompts, Kontinuitätstricks und ehrliche Take-Auswahl.

Jedes AI-Video-Werkzeug demonstriert wunderbar und scheitert konkret. Die Fehler sind nicht zufällig: Sie ballen sich um Hände, Text, Menschenmengen, schnelle Bewegung, lange Kamerafahrten und alles, was von einem Shot zum nächsten gleich bleiben muss. Brauchbare Shots zu bekommen ist vor allem eine Frage der Planung um diese Ballungen herum, statt zu hoffen, dass das Modell endlich gelernt hat, Finger zu zeichnen.
Das sind die Gewohnheiten, die den Kontakt mit einer Deadline überleben. Für die zugrunde liegende Mechanik lies wie AI-Videomodelle funktionieren; für die Prompt-Handwerkskunst im Allgemeinen gehen die Prompting-Best-Practices tiefer.
Die Generierungseinheit ist ein Shot, keine Szene. Wenn du einen Absatz Handlung schreibst, wird das Modell versuchen, ihn in wenige Sekunden zu quetschen, und ein Durcheinander produzieren. Schreib stattdessen ein Kamera-Setup: wer oder was im Bild ist, was sie tun, wo sie sind, wie es beleuchtet ist, was die Optik macht.
Lumas eigene Dokumentation zu Ray2 gibt dafür eine nützliche Reihenfolge: Hauptmotiv, Handlung, Details, Szene, Stil, Kamera, Verstärker. Runways Multi-Shot-Anleitung sagt dasselbe deutlicher — halte den Prompt jedes Shots auf eine einzige Szene konzentriert, und wenn du eine Sequenz willst, gib eine Shotlist statt einer ausufernden Beschreibung.
Deshalb hilft auch ein Storyboard, selbst wenn nichts gezeichnet ist: Eine Shotlist mit drei bis fünf Setups, jedes mit einer einzigen Handlung, ist ein besserer Input als ein Treatment.
Text ist die schwächste Form der Kontrolle. Wenn eine Figur, ein Produkt oder ein Ort richtig aussehen muss, gib dem Modell ein Referenzbild oder einen ersten Frame. Die meisten ernsthaften Werkzeuge unterstützen das inzwischen, und die Notizen der Anbieter sind sich einig, was eine gute Referenz ausmacht:
Eine Warnung, die die Dokumentation klar ausspricht: Du bist für die Rechte an jeder Ähnlichkeit verantwortlich, die du einreichst. Eine Referenz einer realen Person ohne Erlaubnis zu verwenden, ist zuerst ein rechtliches Problem und dann ein künstlerisches.
Generierungen driften zum Durchschnitt dessen, was das Modell gesehen hat, deshalb erscheinen unerwünschte Gesichter in Menschenmengen und fremde Objekte an den Bildrändern. Negative Prompts sind die billigste Korrektur. Googles eigenes Veo-API-Beispiel übergibt einen Negative Prompt, um unerwünschte Geräusche zu unterdrücken, parallel zum positiven Prompt; dieselbe Logik funktioniert visuell.
Große Bewegungen — ein Kran hinauf und durch ein Fenster, ein Whip-Pan, ein Orbit um ein fallendes Objekt — sind der Ort, an dem zeitliche Konsistenz zusammenbricht. Ein langsamer Push, eine kleine Handkamera-Drift oder ein statisches Bild halten weit zuverlässiger zusammen, weil großzügige Bewegung dem Modell mehr Frames gibt, in denen es sich irren kann.
Kamerasprache funktioniert: Googles veröffentlichte Veo-Beispiele beschreiben Einstellungsgrößen, Bewegungen und Linsenverhalten in Folge, und die Ergebnisse folgen. Der Trick ist, eine kohärente Bewegung zu verlangen, nicht drei im selben Clip.
Generiere mit den niedrigsten Kosten und der kürzesten Dauer, die die Frage „ist das der richtige Shot?“ beantworten kann. Lange, teure Renderings sind für Shots, die du bereits bewiesen hast. Die Veo-3-API wurde pro Ausgabesekunde berechnet, mit günstigeren schnellen Stufen genau für diese Schleife; Lumas Ray2 erzeugt kurze Basisclips, die sich verlängern lassen, sodass du einen Shot beurteilen kannst, bevor du für Länge zahlst.
Pinne deine Modellversion, wenn ein Kundenprojekt von einem Look abhängt. Die API-Dokumentation von Runway lässt dich eine datierte Workflow-Version pinnen statt der neuesten zu folgen, was der Unterschied zwischen einer reproduzierbaren Pipeline und einem beweglichen Ziel ist.
Konsistenz über Shots hinweg ist kein Prompt-Problem; es ist ein Pipeline-Problem. Drei Techniken erledigen das meiste:
Ein Take, der in Bewegung gut aussieht, stirbt oft im Schnitt. Prüfe jeden Kandidaten auf die Dinge, die einen Shot beenden: eine Hand, die schmilzt, ein Mund, der aus dem Sync driftet, Text, der zu Glyphen wird, ein Statist, der durch eine Wand geht. Sieh einmal in Normalgeschwindigkeit, dann scrubbe den ersten und den letzten Frame — das sind deine In- und Out-Punkte.
Führe eine Shortlist, nicht einen Favoriten: Take drei mit einer leicht anderen Kamera ist oft das, was der Schnitt braucht.
Nativer Ton — Dialog, Effekte und Musik, mit dem Bild in einem einzigen Durchgang erzeugt — verändert den Workflow. Veo 3 war Googles erstes Modell, das das konnte, und Multi-Shot-Rezepte erzeugen Audio inzwischen standardmäßig. Er ist nützlich für Scratch-Tracks und Lip-Sync-Tests.
Aber behandle generiertes Audio als ersten Durchgang. Verständlichkeit der Dialoge, Raumklang und Musikrechte brauchen weiterhin menschliches Urteil, und ein Shot kann visuell perfekt und unbrauchbar sein, weil die Zeile verhunzt ist.
Zwei Dinge laufen zusammen. Plattformen etikettieren aggressiver: YouTube versieht fotorealistische AI-Inhalte mit deutlichen Labels und kennzeichnet inzwischen automatisch Inhalte, die seine Systeme als erheblich AI-generiert erkennen. Auch Regulierung kommt: Artikel 50 des EU AI Act verlangt von Anbietern, synthetische Ausgaben in maschinenlesbarem Format zu markieren, und von Betreibern, Deepfakes offenzulegen, wenn sie sie verwenden.
Die praktische Gewohnheit ist einfach. Bewahre die Herkunft — Content Credentials, der C2PA-Standard, hängt eine signierte Aufzeichnung von Ursprung und Bearbeitungen an eine Datei — und führe ein Projektlog mit Prompts, Referenzen, Modellversionen und Seeds. Wenn ein Kunde oder ein Festival fragt, wie ein Shot gemacht wurde, ist dieses Log die Antwort.
Der häufigste Fehler ist, den Prompt zum zehnten Mal umzuschreiben. Wenn ein Shot wiederholt scheitert, verlangt er etwas, was das Modell nicht zuverlässig kann. Teile ihn in zwei. Beweg die Kamera. Schneide, bevor die schwierige Handlung passiert. Setz das Objekt außer Fokus. Beschränkung ist hier kein Kompromiss; sie ist das Handwerk.