AI视频模型究竟如何工作

你输入一句话，等上一两分钟，一个短片出现了：摄影机在动，一张脸转过来，雨在下。输出看起来像摄影，但实际上什么都没被拍摄。在句子与片段之间，隔着一叠学出来的部件；大致知道每个部件做什么，会改变你写提示词的方式、判断一条坏镜头的方式，以及你对一条好镜头的信任程度。

这不是任何单一产品的指南。它是对大多数商用视频生成器共有的机器结构的一次平实导览——需要说明的是，厂商把细节留在私有领域，而这个领域变化很快。

它从噪声开始，而不是从图像开始

扩散模型用两个方向训练。首先，一张真实图像被逐步加入噪声，直到没有任何可辨认的东西留下。然后，训练一个神经网络，一步一步地把这种破坏还原回去。生成时这个过程反过来运行：从纯噪声开始，反复去噪，直到图像浮现。

这就是 Ho、Jain 与 Abbeel 在 2020 年给出的设计，它解释了这类工具的许多行为。模型并不是从图库里检索一张图。它学到了关于“图像长什么样”的分布，然后从随机性走向一个可信的样本。把同一件事要求两次，你会得到两条不同的镜头，因为起始噪声不同。模型对你上一次的尝试也没有记忆；每次生成都是新的一趟。

大部分工作在更小的空间里完成

全分辨率像素的生成成本很高，所以现代系统很少直接在像素层面工作。Rombach 及其同事提出的潜扩散方法，用一个预训练自编码器把图像压缩成紧凑的潜表示，在潜空间里跑去噪过程，再把结果解码回像素。同一篇论文还加入了交叉注意力层，正是这个机制让一段文字描述能够引导去噪。

实际的后果是一种分工：一个网络处理压缩后的结构，另一个网络处理语言，一个解码器完成最终渲染。你能最直接影响的部分——文本编码器——是通过注意力与模型对话的，而不是通过人类能识别的指令。

Transformer 接管了中段

多年来，去噪器是一个 U-Net。Peebles 与 Xie 用运行在潜块上的 Transformer 取代了它——即 Diffusion Transformer，或称 DiT——并证明随着算力增加，质量会可预测地提升。此后大多数大型系统都朝这个方向迁移。

一个有充分文档记录的例证是 Stable Diffusion 3，其论文描述了用 rectified flow 训练——这种表述让数据与噪声沿一条更直的路径相连——以及一种 Transformer 架构，它为图像与文本 token 保留各自独立的权重，同时允许信息双向流动。作者报告在他们测试的范围内缩放表现可预测。

视频增加了一个维度，而这个维度很贵

把扩散从图像扩展到视频，概念上很简单：预测同样类型的噪声，只不过对象是一连串帧。Ho 及其同事在 2022 年的一篇论文里正是这么做的，在图像和视频上联合训练，并报告这种混合降低了训练更新的方差、加快了优化。他们还引入了在空间和时间上扩展视频的条件采样——这就是如今工具里那种“先扩展再放大”工作流的祖先。

难的部分是时间上的一致性。每一帧单独看都可以很有说服力，而整个序列仍然失败：一张脸漂移，一件夹克变色，一只手融进背景。能修正这一点的是跨帧注意力——模型在画第二镜时必须看得见第一镜里的角色。人们谈论“时间一致性”时，指的就是这个机制。

提示词只能通过语言抵达模型

文本被编码成嵌入，去噪器在绘制时对其施加注意力。这就是为什么点明可见之物的提示词胜过点明感受的提示词。“一个男人很悲伤”几乎没给模型任何可画的东西。“一个男人独自坐在厨房桌边，低着头，来自左侧的冷色窗光，中景，固定摄影机”则给了它主体、调度、镜头和情绪。

这也解释了一种常见的挫败感：模型并不是像摄影组那样遵循指令。它是在被一帧一帧地推向训练分布中的某个区域，而你的文字与参考图指向那里。

声音现在在模型内部

直到不久前，你还只能生成无声片段，再在后期搭建声轨。2025 年，Google 的 Veo 3 成为该公司第一个在单次生成中产出与画面同步的对白、音效和音乐的视频模型。Runway 的多镜头方案同样默认生成音频。原生音频确实是新事物，它改变了规划方式：生成片段里的一句台词，是你在提示词阶段就要做出的表演选择，而不是剪辑阶段。

它也抬高了门槛：带原生声音的镜头必须在口型同步、室内环境音和可懂度上接受评判，而不只是画面漂不漂亮。

模型不是什么

有五个限制值得记住，因为每一个都对应你在实践中会遇到的一类失败：

• 不是物理引擎。 它预测的是可信的像素。接触、重量、布料和流体是学来的习惯，而不是模拟，所以坠落物体和抓握的手仍然会崩。
• 不是摄影机。 摄影机语言起的是建议的作用，而不是场记单。要做好反复迭代运动，而不是设定一次就完事。
• 不是确定性的。 同一条提示词给出不同结果。可复现性存在于种子、固定参考图和锁定的模型版本里，而不在你的文笔里。
• 不是数据库。 除非你用参考图或首帧去约束它，否则它无法调取你演员的脸，或你真实的外景地。
• 不是版权清理服务。 一个模型能画出某样东西，并不意味着告诉你是否有权使用它。训练数据、肖像权和输出权利是各自独立的问题，各有各的答案。

为什么这套管线在片场很重要

一旦你把这条流程看成一系列学出来的阶段，工作流就跟着来了。你导演的是镜头而不是场景，因为镜头才是模型能握住的单位。你生成大量便宜的变体再挑选，因为采样是看见这个分布的唯一方式。你为任何必须在镜头之间延续的东西锁定参考，因为一致性是注意力的问题，而不是措辞的问题。

这篇文章的实用版本——如何写镜头、给模型喂什么、如何补救你差一点就拿到的镜头——在AI视频生成技巧里。至于这些技术如何在成片中出现，见AI生成短片指南。