文生视频AI是怎么工作的？

按下“生成”之后发生了什么

大多数文生视频系统都是把图像扩散模型扩展到视频上。Ho 等人 2022 年的论文《Video Diffusion Models》展示了基本思路：把视频当作一块帧的集合，训练时给真实视频加噪声，再教网络把噪声去掉。生成时，模型从每一帧的纯噪声开始，一起去噪，所以运动和外观是同时确定的。

有三个想法让它在大规模上变得可行。

• 潜空间（latent space）。模型处理的是视频的压缩表示，而不是原始像素，再由单独的解码器把结果还原成帧。Stable Video Diffusion 是这种潜空间方法的一个开源例子。
• 空间和时间一起建模。网络既看每一帧内部，也看帧与帧之间，所以第 1 帧和第 40 帧里的脸会被当作同一张脸。OpenAI 的 Sora 技术报告描述了把视频切成时空块（spacetime patches）交给 Transformer 处理。
• 文本条件。语言编码器把你的提示词变成数字，引导每一步去噪。有些系统还会在生成前，先根据你的提示词扩写成更丰富的描述。

Google 的 Imagen Video 加入了级联思路：先生成小尺寸、短时长、低帧率的视频，再用后续模型提升分辨率和帧率。许多产品至今仍沿用某种形式的两阶段思路，这也是为什么草稿模式通常比最终渲染更快、质量更低。

从想法到可用视频的工作流程

1. 先定镜头。一个主体、一个动作、一种运镜。需要更多内容，就规划多个镜头。
2. 写提示词，包含主体、动作与时间、运镜、场景与光线、风格和声音。结构可参考视频提示词指南。
3. 在界面里设置技术选项：时长、画幅、分辨率，以及声音开或关。
4. 同一条提示词生成 2 到 4 条。不同随机种子之间的结果差别很大。
5. 挑出最好的一条；如果还要改，每次只改提示词里的一处。
6. 如果人脸或产品必须精确，改用图生视频，给模型一个起始帧。
7. 在剪辑软件里修剪。如果开头和结尾几帧有抖动，就裁掉。

最费钱的错误，是靠越写越长的提示词去补救一个糟糕的镜头。如果试了三次都不行，说明这个镜头对模型来说多半太复杂了。简化动作，或者拆开。

关键设置

时长、分辨率和价格的具体限制经常变化，而且各工具不同，请查看你所用工具的最新文档。

示例：把15秒视频拆成三个镜头

与其要求一条15秒的晨间日常长镜头，不如规划三个各约五秒的镜头。每个镜头只负责一件事，并用同一行风格描述让它们保持一致。

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

每个镜头里原样重复主体描述和风格那一行，是最简单的连贯手段。想要更强的一致性，可以先为角色做一张静态图，再把它当作起始帧。

用文生视频还是图生视频？

文生视频完全靠文字决定一切，适合探索创意，也适合对具体样貌要求不高的场景。图生视频从你提供的图片出发，样貌已经固定，提示词只需描述运动。

常见的混合做法，是先用图像模型生成一张静态图，再让它动起来。例如，cv.cm 的 ai-image-generator 能在你自己的 GPU 上快速生成一张 384 px 的草图，然后再用完整的视频模型让它的大尺寸版本动起来。

需要提前考虑的局限

文生视频进步很快，但有些弱点是结构性的。截至目前，请预先考虑这些情况：

• 物理。倒水、破碎、碰撞和布料经常不对劲。Sora 报告自己就举过玻璃碎裂这个例子，说明模型没有做对。让物理事件保持简单，或者放在画外。
• 手和小物件。手指会粘在一起，物体会穿过手。让手部动作简单，避免精细手指动作的特写。
• 画面里的文字。招牌和字幕经常变成乱码。文字在后期加。
• 身份漂移。同一个片段里，脸从头到尾可能变样，跨片段时更明显。使用起始图或参考图。
• 数量和人群。“三只狗”可能变成两只或四只；人群里的人会糊在一起。
• 长镜头。片段越长，质量和遵循提示词的程度就越差。改为剪辑多个短镜头。