Как на самом деле работают видеомодели ИИ

Вы вводите фразу, ждёте минуту или две, и появляется короткий клип: камера движется, лицо поворачивается, идёт дождь. Результат похож на фотографию, но ничего не было снято. Между фразой и клипом стоит набор обученных компонентов, и примерное понимание того, что делает каждый из них, меняет то, как вы пишете промпты, как оцениваете неудачный дубль и насколько доверяете удачному.

Это не руководство по одному продукту. Это рассказ простыми словами о механике, общей для большинства коммерческих видеогенераторов, — с оговоркой, что компании держат детали в секрете, а область меняется быстро.

Всё начинается с шума, а не с картинок

Диффузионная модель обучается в двух направлениях. Сначала реальное изображение постепенно разрушается добавлением шума, пока не остаётся ничего узнаваемого. Затем нейросеть учится отменять это разрушение маленькими шагами. При генерации процесс идёт в обратную сторону: начните с чистого шума и раз за разом удаляйте шум, пока не появится изображение.

Эта схема была описана Хо, Джайном и Аббилом в 2020 году, и она многое объясняет в поведении этих инструментов. Модель не достаёт изображение из библиотеки. Она выучила распределение того, как выглядят изображения, и движется от случайности к правдоподобному образцу. Попросите одно и то же дважды — получите два разных дубля, потому что стартовый шум различается. У модели также нет памяти о вашей предыдущей попытке; каждая генерация — новый путь.

Большая часть работы происходит в меньшем пространстве

Генерировать пиксели полного разрешения дорого, поэтому современные системы редко работают на уровне пикселей. Подход с латентной диффузией, предложенный Ромбахом и коллегами, сжимает изображение предобученным автоэнкодером в компактное латентное представление, запускает там процесс удаления шума и декодирует результат обратно в пиксели. Та же работа добавила слои cross-attention — механизм, позволяющий текстовому описанию управлять удалением шума.

Практическое следствие — разделение труда: одна сеть отвечает за сжатые структуры, другая — за язык, а декодер выполняет финальный рендер. Та часть, на которую вы влияете напрямую, — текстовый энкодер — общается с моделью через attention, а не через инструкции, которые узнал бы человек.

Трансформер занял середину

Годами денойзером был U-Net. Пиблз и Се заменили его трансформером, работающим с латентными патчами, — Diffusion Transformer, или DiT, — и показали, что качество предсказуемо растёт с увеличением вычислений. С тех пор большинство крупных систем двинулись в эту сторону.

Один хорошо задокументированный пример этого пути — Stable Diffusion 3, статья о котором описывает обучение с rectified flow, формулировкой, соединяющей данные и шум более прямым путём, и архитектуру трансформера, которая держит отдельные веса для токенов изображения и текста, позволяя информации течь в обе стороны. Авторы сообщают о предсказуемом масштабировании в проверенном диапазоне.

Видео добавляет измерение, и это измерение дорогое

Расширить диффузию с изображений на видео концептуально просто: предсказывать тот же вид шума, но для последовательности кадров. Хо и коллеги сделали именно это в работе 2022 года, обучаясь одновременно на изображениях и видео, и сообщили, что смесь снизила дисперсию обучающих шагов и ускорила оптимизацию. Они также ввели условную выборку для продолжения видео в пространстве и времени — предка нынешнего подхода extend-and-upscale, который виден в инструментах.

Сложная часть — связность во времени. Каждый отдельный кадр может быть убедительным, а последовательность при этом проваливается: лицо дрейфует, куртка меняет цвет, рука растворяется в фоне. Это исправляет attention между кадрами — модель должна видеть персонажа в первом кадре, пока рисует второй. Когда говорят о «временной согласованности», имеют в виду именно этот механизм.

Промпт доходит до модели только через язык

Текст кодируется в эмбеддинги, и денойзер обращается к ним во время рисования. Поэтому промпты, называющие видимые вещи, работают лучше промптов, называющих чувства. «Мужчине грустно» почти ничего не даёт модели для рисования. «Мужчина один за кухонным столом, голова опущена, холодный свет окна слева, средний план, статичная камера» даёт ей объект, построение, оптику и настроение.

Это объясняет и частую досаду: модель не следует указаниям так, как это делала бы съёмочная команда. Её кадр за кадром подталкивают к области её обучающего распределения, на которую указывают ваши слова и референсные изображения.

Звук теперь внутри модели

До недавнего времени вы генерировали немые клипы, а саундтрек собирали на посте. В 2025 году Google Veo 3 стала первой видеомоделью компании, генерирующей диалог, звуковые эффекты и музыку синхронно с изображением за один проход. Рецепт мультикадровой генерации Runway также по умолчанию создаёт звук. Нативный звук действительно нов, и он меняет планирование: произнесённая строка внутри сгенерированного клипа — решение об игре, которое принимается на этапе промпта, а не в монтаже.

Он также поднимает планку: кадр с нативным звуком нужно оценивать по липсинку, тону помещения и разборчивости, а не только по красоте изображения.

Чем модель не является

Пять ограничений стоит держать в голове, потому что каждое соответствует отдельному типу поломки, с которым вы встретитесь на практике:

• Не физический движок. Она предсказывает правдоподобные пиксели. Контакт, вес, ткань и жидкости — выученные привычки, а не симуляция, поэтому падающие предметы и хватающие руки по-прежнему ломаются.
• Не камера. Язык камеры работает как предложение, а не как схема. Рассчитывайте итерации над движением, а не одну установку.
• Не детерминирована. Один и тот же промпт даёт разные результаты. Воспроизводимость живёт в сидах, фиксированных референсах и закреплённых версиях модели, а не в вашей прозе.
• Не база данных. Она не может достать лицо вашего актёра или вашу реальную локацию, если вы не зададите их референсными изображениями или первым кадром.
• Не служба по правам. Модель, умеющая что-то нарисовать, не говорит, можно ли это использовать. Обучающие данные, сходство и права на результат — отдельные вопросы с отдельными ответами.

Почему эта механика важна на площадке

Когда вы видите конвейер как последовательность обученных стадий, рабочий процесс следует сам. Вы режиссируете кадры, а не сцены, потому что кадр — та единица, которую модель удерживает. Вы делаете много дешёвых вариантов и отбираете, потому что выборка — единственный способ увидеть распределение. Вы фиксируете референсы для всего, что должно сохраниться между кадрами, потому что согласованность — это вопрос attention, а не формулировок.

Практическая версия этой статьи — как писать кадр, что подавать модели и как исправить дубль, который почти получился, — изложена в советах по генерации видео с ИИ. О том, как эти приёмы проявляются в готовых работах, рассказывает путеводитель по короткометражкам, созданным с ИИ.