AI对口型的原理是什么？怎么做出干净的效果？

音频驱动对口型的原理

语音的声音对应一小组可见的口型，常称为视位（viseme）。p、b、m 会让双唇闭合；f、v 让下唇贴上牙齿；张口的“啊”则让下颌下落。对口型AI从大量说话的视频里学到这种对应关系，于是给它新的音频，它就能预测每一帧嘴该是什么形状。

一个著名的例子是 Prajwal 等人在2020年发表的 Wav2Lip。它的生成器接收一帧遮住下半张脸的人脸画面、同一个人的参考帧，以及一小段音频窗口，然后画出与声音匹配的新下半脸。另有一个单独的网络，也就是预训练的对口型“专家”，负责判断嘴型和音频是否匹配，生成器要按它的标准来训练。论文指出，正是这位专家，使得模型在不受限制的视频里，对任意人脸都能保持同步。

更新的系统走得更远。基于扩散模型和数字人的方案，会生成整张脸或整个头部，眨眼、头部动作和表情都由音频驱动，一张照片就是这样变成会说话的视频的。一些视频生成器现在还能根据提示词同时生成语音和口型。核心思路不变：输入声音，输出匹配的嘴部动作，而质量在很大程度上取决于你喂进去什么。

三种用法：说话照片、译配、唱歌

说话照片最容易做出来，却最难做得让人信服，因为每一帧动作都是模型凭空生成的。给真人视频译配，保留的是真实动作，只替换嘴部，所以更自然，但对质量差的源视频也更不宽容。唱歌要求最高：元音拖得长，嘴比说话时张得更大，时间还要对上音乐，而不只是对上词。完整的歌曲工作流程，见我们的AI MV指南。

对人脸和音频的输入要求

大多数失败都能追溯到输入。生成之前先检查下面这些。

• 人脸角度：正面，或最多约四分之三侧面。侧脸经常失败，因为模型看到的嘴部太少。
• 嘴部可见：嘴唇前不能有手、麦克风、头发或口罩，也不能有严重的运动模糊。
• 光线：脸上光线均匀柔和。嘴部有硬阴影，重绘区域就会很显眼。
• 人脸大小：人脸应占画面相当一部分。远景里的小脸，模型可用的像素很少，结果会发虚。
• 音频：单人声、干声（房间回声少）、底下没有音乐、没有削波。
• 时长：先查工具的限制。许多工具会限制片段长度或音频总长，片段越长越容易漂移。短片段更容易检查和重做。

准备音频与一个完整示例

把音频当作母版，视频是跟着它走的。下面是一个完整示例：把一段口播视频里12秒的英文台词，译配成西班牙语并对口型，做成竖屏短视频。

1. 导出原始语音并转写。基于 Whisper 的转写工具，比如 cv.cm 的语音转文字工具，可以给出每句话的时间戳。
2. 翻译这句话，并缩短到念出来约12秒。西班牙语通常比英语花更多时间，所以要删词，而不是加快语速。
3. 生成西班牙语的声音，或者自己录。选声音和修正发音，见我们的AI配音指南。
4. 清理：去掉背景噪音，保持人声干净，并裁掉开头的静音，让第一个声音正好落在说话人第一次张嘴的位置。
5. 用音频裁剪工具，把音频剪到工具要用的那个准确片段，不要让工具自己从一个长文件里截取一段。
6. 转换成工具接受的普通格式，然后对12秒的视频片段运行对口型。
7. 把干净的音频放回成片，全屏检查同步，并在 p、b、m 的发音处逐帧核对。

# 1. Extract a mono 48 kHz WAV from the source clip
ffmpeg -i source.mp4 -vn -ac 1 -ar 48000 speech.wav

# 2. Cut the dubbed voice to exactly 12 seconds, starting at 0.25 s
ffmpeg -ss 0.25 -t 12 -i dub_es.wav -ac 1 -ar 48000 dub_es_12s.wav

# 3. Replace whatever audio the tool returned with your own clean track
ffmpeg -i lipsync.mp4 -i dub_es_12s.wav -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

第3步比看上去更重要。工具重新生成或重新编码音轨时，音频可能比画面晚一点开始，而画面仍按原始时间走。对于自己渲染音频的视频模型，我们实测过约一秒的偏移。在断定同步有问题之前，先用上面的命令把你自己的音频放回片段，再检查一次。

说话照片也适用同样的音频处理步骤。有些工具还支持用一段声音样本来确定音色，通常一段干净的3秒样本就够。选最响、最连贯的一句话，并且注意有些工具会限制所有参考音频的总时长。

常见瑕疵与修复办法

放大能改善发虚的结果，但只在剪辑完成后做一次，并保留一份母版导出。每多一次编码，包括社交App上传时的那一次，都会在嘴部周围增加瑕疵，而观众最先看的正是那里。

授权、深度伪造规则和标注

对口型改变的是一个人看起来说了什么。这恰恰是深度伪造规则要管的事，所以要把授权和标注当作流程的一部分，而不是事后补救。

• 只使用你拥有或有书面许可的人脸和声音，并写明用途。把客户的视频译配成其他语言，是明确的合规情形；让公众人物说出新的话，则不是。
• YouTube要求创作者披露逼真的篡改或合成内容，包括让真人看起来说了或做了他们没有说过、做过的事。YouTube还为部分频道的自动配音视频提供自家的实验性对口型功能。
• 欧盟《人工智能法》（第50条）要求部署者披露构成深度伪造的AI生成或篡改的音频和视频。对明显属于艺术、创作、讽刺或虚构的作品，义务限于以不破坏作品的方式披露该内容的存在。
• 中国《人工智能生成合成内容标识办法》自2025年9月1日起施行，要求对合成视频加显式标识，包括在开头位置，并要求用户在抖音、快手、小红书或微信视频号等平台发布时声明AI内容。
• 避免使用未成年人的脸，也绝不要用对口型制作色情、诽谤或欺诈内容。这些用途在主要平台上被禁止，在许多地方也违法，不管有没有标注。

各平台的AI标注怎么运作，见我们的AI内容标注指南。