图生视频AI是怎么工作的？

与文生视频有什么不同

在文生视频里，模型要凭空编出一切：脸、衣服、房间、光线和运动。在图生视频里，第一帧由你提供，模型只需要编出接下来发生什么。Google 的 Veo 文档把它描述为用现有图片作为新视频的第一帧；OpenAI 的 Sora 指南则称之为锚定第一帧。

这改变了提示词的用途。图片已经回答了谁、在哪里、什么风格。提示词要回答的是：什么在动、往哪个方向、多快，以及镜头做什么。

在模型内部，起始图会被编码，与文字一起作为条件输入。开源模型 Stable Video Diffusion 发布时就同时有文生视频和图生视频两个版本，建立在同一个潜空间视频扩散基础之上。

怎么选起始图

起始图比提示词更能决定结果。多数失败的图生视频，都能追溯到一张没有给运动留出空间的起始图。

• 匹配输出画幅。如果工具输出 16:9 或 9:16，就给它这个形状的图；其他尺寸可能被裁切或缩放。Google 的 Veo 文档建议输入至少 720p、16:9 或 9:16。
• 给运动留出空间。如果人物要向右走，就在右边留白；如果镜头要推进，脸就不应该已经占满画面。
• 让姿势处在动作开始之前。“她转头看向镜头”，起始图就应该是她望向别处。
• 主体清晰锐利。模糊或很小的脸，动起来只会更差。
• 手要简单。藏起来的、放松的或什么都没拿的手，动起来更干净。
• 不要有需要保留的文字。标志和招牌在画面开始运动后可能变形。

如果起始图是用图像模型做的，要按镜头需求来生成，而不是当作成品海报：自然的姿势、可信的光源，以及主体周围留有空间。

怎么写运动提示词

只描述变化的部分。重复描述图片内容，会增加模型不需要的文字，还可能让画面静止不动。Google 图生视频文档里的示例都是简短的运动语句，比如动物自然地移动、花朵轻轻摇摆。

Weak:
A beautiful woman with long red hair in a green dress standing in a field
of flowers at sunset, highly detailed.

Strong:
She slowly turns her head toward the camera and smiles. A light breeze
moves her hair and the flowers. Slow dolly in. Audio: wind, distant birds.

1. 主体运动：一个动作，写明速度和终点。
2. 次要运动：让场景活起来的小东西，比如头发、树叶、蒸汽、水面。
3. 运镜：一种运镜或固定镜头。参见运镜术语指南。
4. 声音，如果模型会生成声音的话。

运动必须在起始姿势下物理上可行。图中坐着的人不可能在两秒内干净利落地跑起来。如果动作幅度很大，请使用首尾帧工具，并同时给出结束姿势。

2.5D视差法：深度图加镜头移动

还有第二种让照片动起来的方法，简单得多，而且根本不是生成式视频。它常被称为3D肯·伯恩斯效应（3D Ken Burns effect），得名于 Niklaus 等人 2019 年的一篇论文。

1. 估计深度。深度模型（如 Depth Anything V2）为每个像素预测它离镜头有多远。
2. 把照片变成3D图层。每个像素按其深度向后推，照片就从一张平面变成一块浅浮雕。
3. 移动虚拟镜头。镜头推进、拉出、环绕或摇动。近处的像素比远处的位移更大，这就是视差，大脑会把它读成深度。
4. 补上空缺。镜头移动时，会看到原本被主体挡住的区域。简单工具会拉伸邻近像素或稍微放大来藏住边缘；3D Ken Burns 论文这类研究系统则会把被挡住的区域修补（inpaint）出来。

cv.cm 的 v 工具用的就是这种方法。它在你的浏览器中运行 Depth Anything V2，用GPU沿着推、拉、环绕、摇或升的路径渲染视差，并导出 MP4。镜头在动，主体不会眨眼、走路或说话。你也可以先用 cv.cm 的 depth-map 工具看一看深度图本身。

视差法最适合有清晰景深层次的照片：远处背景前的人物、桌上的产品、向远处延伸的街道。对平面的对象效果很差，比如文档或一面墙，因为没有深度可供镜头去展现。

常见问题与解决办法