Wie AI-Videomodelle wirklich funktionieren

Du tippst einen Satz, wartest ein oder zwei Minuten, und ein kurzer Clip erscheint: Die Kamera bewegt sich, ein Gesicht dreht sich, Regen fällt. Das Ergebnis sieht aus wie Fotografie, aber nichts wurde fotografiert. Zwischen dem Satz und dem Clip liegt ein Stapel gelernter Komponenten, und grob zu wissen, was jede tut, verändert, wie du Prompts schreibst, wie du einen schlechten Take beurteilst und wie sehr du einem guten traust.

Dies ist kein Leitfaden für ein einzelnes Produkt. Es ist eine Tour in einfacher Sprache durch die Maschinerie, die die meisten kommerziellen Videogeneratoren teilen — mit dem Vorbehalt, dass Anbieter die Details geheim halten und sich das Feld schnell bewegt.

Es beginnt mit Rauschen, nicht mit Bildern

Ein Diffusionsmodell wird in zwei Richtungen trainiert. Zuerst wird ein echtes Bild schrittweise zerstört, indem Rauschen hinzugefügt wird, bis nichts Erkennbares mehr übrig ist. Dann wird ein neuronales Netz darauf trainiert, diese Zerstörung in kleinen Schritten rückgängig zu machen. Zur Generierungszeit läuft der Prozess rückwärts: Starte bei reinem Rauschen und entrausche wiederholt, bis ein Bild erscheint.

Das war das Design, das Ho, Jain und Abbeel 2020 vorlegten, und es erklärt eine Menge darüber, wie diese Werkzeuge sich verhalten. Das Modell ruft kein Bild aus einer Bibliothek ab. Es hat eine Verteilung darüber gelernt, wie Bilder aussehen, und wandert von Zufälligkeit zu einer plausiblen Stichprobe. Frag zweimal dasselbe und du bekommst zwei verschiedene Takes, weil das Ausgangsrauschen unterschiedlich ist. Das Modell hat auch kein Gedächtnis für deinen vorherigen Versuch; jede Generierung ist ein frischer Weg.

Der größte Teil der Arbeit findet in einem kleineren Raum statt

Pixel in voller Auflösung sind teuer zu generieren, deshalb arbeiten moderne Systeme selten auf Pixelebene. Der von Rombach und Kollegen eingeführte Latent-Diffusion-Ansatz komprimiert ein Bild mit einem vortrainierten Autoencoder zu einer kompakten latenten Repräsentation, führt dort den Entrauschungsprozess aus und dekodiert das Ergebnis zurück in Pixel. Dieselbe Arbeit ergänzte Cross-Attention-Schichten — den Mechanismus, mit dem eine Textbeschreibung das Entrauschen lenkt.

Die praktische Konsequenz ist eine Arbeitsteilung: Ein Netz kümmert sich um komprimierte Struktur, ein anderes um Sprache, und ein Decoder erledigt das finale Rendering. Der Teil, den du am direktesten beeinflusst — der Text-Encoder —, spricht über Attention mit dem Modell, nicht über Anweisungen, wie ein Mensch sie erkennen würde.

Der Transformer übernahm die Mitte

Jahrelang war der Denoiser ein U-Net. Peebles und Xie ersetzten ihn durch einen Transformer, der auf latenten Patches arbeitet — den Diffusion Transformer, kurz DiT —, und zeigten, dass die Qualität mit steigender Rechenleistung vorhersehbar besser wurde. Seitdem sind die meisten großen Systeme in diese Richtung gegangen.

Ein gut dokumentiertes Beispiel für diesen Weg ist Stable Diffusion 3, dessen Paper das Training mit Rectified Flow beschreibt — einer Formulierung, die Daten und Rauschen auf einem geraderen Pfad verbindet —, dazu eine Transformer-Architektur, die getrennte Gewichte für Bild- und Text-Token behält, während Information in beide Richtungen fließt. Die Autorinnen und Autoren berichten von vorhersehbarer Skalierung in dem von ihnen getesteten Bereich.

Video fügt eine Dimension hinzu, und diese Dimension ist teuer

Diffusion von Bildern auf Video zu erweitern ist konzeptionell einfach: dieselbe Art von Rauschen vorhersagen, aber für eine Folge von Frames. Ho und Kollegen taten genau das in einer Arbeit von 2022, trainierten gemeinsam auf Bildern und Video und berichteten, dass die Mischung die Varianz der Trainingsschritte verringerte und die Optimierung beschleunigte. Sie führten außerdem Conditional Sampling ein, um Video in Raum und Zeit zu verlängern — der Vorfahr des Extend-and-Upscale-Workflows, den man heute in Werkzeugen sieht.

Der schwierige Teil ist die Kohärenz über die Zeit. Jeder einzelne Frame kann überzeugend sein, während die Sequenz trotzdem scheitert: Ein Gesicht driftet, eine Jacke ändert die Farbe, eine Hand löst sich in den Hintergrund auf. Was das behebt, ist Attention über Frames hinweg — das Modell muss die Figur in Einstellung eins sehen, während es Einstellung zwei zeichnet. Wenn Leute von „zeitlicher Konsistenz“ sprechen, meinen sie diesen Mechanismus.

Der Prompt erreicht das Modell nur über Sprache

Text wird in Embeddings kodiert, und der Denoiser beachtet sie, während er zeichnet. Deshalb übertreffen Prompts, die sichtbare Dinge benennen, Prompts, die Gefühle benennen. „Ein Mann ist traurig“ gibt dem Modell fast nichts zum Zeichnen. „Ein Mann allein an einem Küchentisch, Kopf gesenkt, kaltes Fensterlicht von links, Halbtotale, statische Kamera“ gibt ihm ein Motiv, eine Anordnung, eine Optik und eine Stimmung.

Das erklärt auch eine häufige Frustration: Das Modell folgt nicht in der Weise Anweisungen wie ein Kamerateam. Es wird Frame für Frame in eine Region seiner Trainingsverteilung geschubst, auf die deine Wörter und Referenzbilder zeigen.

Ton steckt jetzt im Modell

Bis vor Kurzem generierte man stumme Clips und baute den Soundtrack im Post. 2025 wurde Googles Veo 3 das erste Videomodell des Unternehmens, das Dialog, Soundeffekte und Musik synchron zum Bild in einem einzigen Durchgang erzeugt. Runways Multi-Shot-Rezept erzeugt Audio ebenfalls standardmäßig. Nativer Ton ist wirklich neu, und er verändert die Planung: Eine gesprochene Zeile in einem generierten Clip ist eine Performance-Entscheidung, die du beim Prompting triffst, nicht im Schnitt.

Er hebt auch die Messlatte: Ein Shot mit nativem Ton muss an Lip-Sync, Raumklang und Verständlichkeit gemessen werden, nicht nur daran, wie hübsch das Bild ist.

Was das Modell nicht ist

Fünf Grenzen sollte man im Kopf behalten, denn jede entspricht einem anderen Fehler, dem man in der Praxis begegnet:

• Keine Physik-Engine. Es sagt plausible Pixel voraus. Kontakt, Gewicht, Stoff und Flüssigkeiten sind gelernte Gewohnheiten, keine Simulation — deshalb brechen immer noch fallende Objekte und greifende Hände.
• Keine Kamera. Kamerasprache funktioniert als Vorschlag, nicht als Cue-Sheet. Rechne damit, die Bewegung zu iterieren, statt sie einmal festzulegen.
• Nicht deterministisch. Derselbe Prompt liefert unterschiedliche Ergebnisse. Reproduzierbarkeit liegt in Seeds, festen Referenzen und gepinnten Modellversionen, nicht in deiner Prosa.
• Keine Datenbank. Es kann das Gesicht deines Schauspielers oder deinen tatsächlichen Drehort nicht abrufen, es sei denn, du konditionierst es mit Referenzbildern oder einem ersten Frame.
• Kein Rechteklärungsdienst. Ein Modell, das etwas zeichnen kann, sagt dir nicht, ob du es verwenden darfst. Trainingsdaten, Ähnlichkeit und Ausgaberechte sind getrennte Fragen mit eigenen Antworten.

Warum die Leitungen am Set zählen

Sobald du die Pipeline als Folge gelernter Stufen siehst, folgt der Workflow daraus. Du inszenierst Shots statt Szenen, weil der Shot die Einheit ist, die das Modell halten kann. Du generierst viele billige Varianten und wählst aus, weil Sampling der einzige Weg ist, die Verteilung zu sehen. Du fixierst Referenzen für alles, was zwischen Shots bestehen bleiben muss, weil Konsistenz ein Attention-Problem ist, kein Formulierungsproblem.

Die praktische Version dieses Artikels — wie man den Shot schreibt, was man dem Modell füttert, wie man den Take repariert, den man fast bekommen hätte — steht in den Tipps zur AI-Videogenerierung. Wie diese Techniken in fertigen Arbeiten auftauchen, zeigt der Leitfaden zu AI-generierten Kurzfilmen.