AI動画モデルは実際どう動いているのか

一文を打ち、1〜2分待つと短いクリップが現れる。カメラが動き、顔が振り向き、雨が降る。出力は写真のように見えるが、何も撮影されていない。文とクリップの間には学習された部品の積み重ねがあり、それぞれがおおよそ何をするのかを知っておくと、プロンプトの書き方、悪いテイクの判断の仕方、良いテイクをどこまで信じるかが変わる。

これは特定の製品のガイドではない。市販の動画生成ツールの多くが共有する機械の構造を、平易な言葉で巡るツアーである。ただしベンダーは詳細を非公開にしており、この分野は動きが速い。

始まりは画像ではなくノイズ

拡散モデルは二つの方向で訓練される。まず、本物の画像をノイズを加えて段階的に破壊し、認識できるものが何も残らなくする。次に、その破壊を少しずつ元に戻すようニューラルネットワークを訓練する。生成時にはプロセスが逆に走る。純粋なノイズから始め、画像が現れるまで繰り返しノイズを取り除く。

これは Ho、Jain、Abbeel が2020年に示した設計で、これらのツールの振る舞いの多くを説明してくれる。モデルはライブラリから画像を取り出すのではない。画像がどのようなものかという分布を学習し、ランダム性から尤もらしいサンプルへと歩いていく。同じことを二度頼むと、始まりのノイズが違うので二つの異なるテイクが返る。モデルは前回の試行の記憶も持たない。生成のたびに新しい歩みだ。

作業の大半はより小さな空間で起きる

フル解像度のピクセルは生成コストが高いので、現代のシステムがピクセル単位で作業することはほとんどない。Rombach らが導入した潜在拡散のアプローチは、事前学習済みのオートエンコーダで画像をコンパクトな潜在表現に圧縮し、そこでノイズ除去を行い、結果をピクセルに戻す。同じ論文はクロスアテンション層も加えた。テキスト記述がノイズ除去を導く仕組みである。

実務上の帰結は分業だ。一つのネットワークが圧縮された構造を、別のネットワークが言語を扱い、デコーダが最終レンダリングを行う。あなたが最も直接的に影響を与える部分、つまりテキストエンコーダは、人間が分かる指示ではなくアテンションを通じてモデルと話す。

中間を Transformer が引き継いだ

長年、ノイズ除去器は U-Net だった。Peebles と Xie はそれを潜在パッチ上で動く Transformer、Diffusion Transformer（DiT）に置き換え、計算量が増えるほど品質が予測可能に向上することを示した。以降、大規模システムの多くがその方向へ移った。

その行き先をよく記録した例が Stable Diffusion 3 だ。論文は rectified flow での訓練——データとノイズをよりまっすぐな経路で結ぶ定式化——と、画像トークンとテキストトークンに別々の重みを持ちながら情報を双方向に流す Transformer アーキテクチャを説明している。著者らはテストした範囲で予測可能なスケーリングを報告している。

動画は次元を一つ増やし、その次元は高くつく

拡散を画像から動画へ広げるのは概念的には単純だ。同じ種類のノイズを、ただし一連のフレームについて予測する。Ho らは2022年の論文でまさにそれを行い、画像と動画で共同訓練し、その混合が訓練更新の分散を下げ、最適化を速めたと報告した。彼らは空間と時間の両方向に動画を延長する条件付きサンプリングも導入した。今のツールにある「延長してアップスケールする」ワークフローの祖先である。

難しいのは時間方向の一貫性だ。各フレームは単体では説得力があるのに、シーケンスとしては破綻する。顔が漂流し、ジャケットの色が変わり、手が背景に溶ける。これを直すのがフレーム間のアテンションであり、モデルは2ショット目を描くときに1ショット目の人物を見ていなければならない。人が「時間的一貫性」と言うとき、指しているのはこの仕組みだ。

プロンプトは言語を通してしかモデルに届かない

テキストは埋め込みに符号化され、ノイズ除去器は描画中にそれへアテンションを向ける。だからこそ、見えるものを名指すプロンプトは感情を名指すプロンプトに勝る。「男は悲しい」はモデルにほとんど描くものを与えない。「キッチンのテーブルに一人で座る男、うつむき、左からの冷たい窓の光、ミディアムショット、固定カメラ」は、被写体、配置、レンズ、ムードを与える。

これはよくある苛立ちも説明する。モデルは撮影クルーのように指示に従っているのではない。フレームごとに、あなたの言葉と参照画像が指す訓練分布の領域へと押されているのだ。

音がモデルの内側に入った

つい最近まで、無音のクリップを生成し、ポストでサウンドトラックを組んでいた。2025年、Google の Veo 3 は同社の動画モデルとして初めて、セリフ、効果音、音楽を1パスで映像と同期して生成した。Runway のマルチショットのレシピも同様にデフォルトで音声を生成する。ネイティブ音声は本当に新しいもので、計画の仕方を変える。生成クリップ内のセリフは、編集ではなくプロンプトの時点で決める演技の選択なのだ。

ハードルも上がる。ネイティブ音声付きのショットは、映像の美しさだけでなく、リップシンク、ルームトーン、聞き取りやすさで判断されなければならない。

モデルではないもの

五つの限界を覚えておきたい。それぞれが実務で出会う別の失敗に対応している。

• 物理エンジンではない。 尤もらしいピクセルを予測する。接触、重さ、布、流体は学習された習慣でありシミュレーションではない。だから落ちる物や握る手は今も破綻する。
• カメラではない。 カメラの言葉は指示ではなく提案として効く。一度設定して終わりではなく、動きを反復するつもりでいること。
• 決定論的ではない。 同じプロンプトでも結果は変わる。再現性はシード、固定した参照、固定したモデルバージョンに宿り、文章には宿らない。
• データベースではない。 参照画像か最初のフレームで条件づけない限り、あなたの俳優の顔や実際のロケ地を引き出すことはできない。
• 権利処理サービスではない。 何かを描けるモデルは、それを使ってよいかは教えてくれない。訓練データ、肖像、出力の権利はそれぞれ別の問いで、それぞれ別の答えがある。

なぜこの配管が現場で効くのか

パイプラインを学習された段階の連なりとして見ると、ワークフローは自然についてくる。シーンではなくショットを演出する。ショットこそモデルが保持できる単位だからだ。安いバリエーションを大量に生成して選ぶ。サンプリングだけが分布を見る方法だからだ。ショット間で持続すべきものには参照を固定する。一貫性は言い回しの問題ではなくアテンションの問題だからだ。

この記事の実践版——ショットの書き方、モデルに何を渡すか、あと少しで手に入ったテイクの直し方——はAI動画生成のコツにある。これらの技術が完成作品でどう現れるかは、AI生成短編映画ガイドを参照。