AI 對嘴是怎麼運作的？如何做出乾淨的結果？

音訊驅動的對嘴原理

說話的聲音對應到一小組看得見的嘴型，常稱為視素（viseme）。p、b、m 會讓雙唇閉合；f、v 是下唇碰上牙；張大的「啊」則會讓下巴落下。對嘴 AI 從大量人物說話的影片中學會這種對應關係，所以拿到新的音訊時，就能預測每一格畫面的嘴型。

知名的例子是 Prajwal 等人在 2020 年發表的 Wav2Lip。它的生成器接收下半臉被遮住的臉部畫面、同一個人的參考畫面，以及一小段音訊，然後畫出符合聲音的新下半臉。另一個獨立網路，也就是預先訓練好的對嘴「專家」，負責判斷嘴型是否與音訊相符，生成器就以讓它滿意為目標來訓練。論文指出，這個專家正是模型能在不受限的影片中，對任意人臉保持同步的主因。

較新的系統走得更遠。以擴散模型為基礎的模型與虛擬人模型會生成整張臉甚至整顆頭，眨眼、頭部動作和表情都由音訊驅動，一張照片因此能變成會說話的影片。有些影片生成器現在也能依提示詞同時產出語音與嘴部動作。核心概念是一樣的：輸入聲音，輸出對應的嘴部動作，而品質高度取決於你餵進去的素材。

三種用途：說話照片、配音、唱歌

說話照片最容易做，卻也最難做得讓人信服，因為每一格動作都是模型憑空創造的。替真實影片配音則保留真實動作，只替換嘴部，所以看起來更自然，但對素材品質比較不寬容。唱歌的難度最高：母音拉得長，嘴張得比說話更大，而且時間還要對上音樂，而不只是歌詞。完整的歌曲製作流程，請看我們的 AI MV 教學。

臉部與音訊的輸入要求

大多數失敗都能追溯到輸入素材。生成之前，請先檢查這些項目。

• 臉部角度：正面，或最多大約四分之三側面。側臉經常失敗，因為模型看到的嘴部太少。
• 嘴巴要看得見：嘴唇上不能有手、麥克風、頭髮或口罩，也不要有嚴重的動態模糊。
• 光線：臉上要均勻柔和。嘴巴上的強烈陰影會讓重繪的區域特別突兀。
• 臉的大小：臉要佔畫面相當比例。遠景裡的小臉能給模型的像素很少，結果會偏軟。
• 音訊：單一人聲，乾淨無殘響（房間回音少），底下沒有音樂，也沒有爆音。
• 長度：留意工具的限制。許多工具會限制片段長度或音訊總長，而且片段越長越容易漂移。較短的片段更容易檢查，也更容易重做。

準備音訊與完整範例

把音訊當成主軌，影片則是跟著它走的東西。以下是完整範例：把一段說話頭像影片中 12 秒的英文台詞，配成帶對嘴的西班牙文版本，用在直式短影音上。

1. 匯出原始語音並轉成逐字稿。以 Whisper 為基礎的轉錄工具，例如 cv.cm 的語音轉文字工具，可以提供每句話的時間碼。
2. 翻譯該句，並縮短到口說大約 12 秒。西班牙文通常比英文花更多時間，所以請刪字，不要把聲音加速。
3. 生成西班牙文語音，或自己錄音。選聲音與修正發音的方法，請看我們的 AI 配音教學。
4. 清理音訊：去除背景噪音，保持人聲乾淨無殘響，並剪掉開頭的靜音，讓第一個聲音剛好落在說話者第一次張嘴的位置。
5. 用音訊裁切工具，把音訊剪成工具要用的確切片段，而不是讓工具自己從長檔案裡挑一段。
6. 轉成工具接受的單純格式，然後對這支 12 秒的影片片段執行對嘴。
7. 把乾淨的音訊放回結果上，全螢幕播放並逐格檢查 p、b、m 這幾個音是否同步。

# 1. Extract a mono 48 kHz WAV from the source clip
ffmpeg -i source.mp4 -vn -ac 1 -ar 48000 speech.wav

# 2. Cut the dubbed voice to exactly 12 seconds, starting at 0.25 s
ffmpeg -ss 0.25 -t 12 -i dub_es.wav -ac 1 -ar 48000 dub_es_12s.wav

# 3. Replace whatever audio the tool returned with your own clean track
ffmpeg -i lipsync.mp4 -i dub_es_12s.wav -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

第 3 步的重要性比看起來更大。當工具重新生成或重新編碼音軌時，聲音可能稍微晚出現，而畫面卻仍照原本的時間走。對於自己生成音訊的影片模型，我們曾量到約一秒的偏移。在斷定對嘴不同步之前，先用上面的指令把你自己的音訊放回影片，再檢查一次。

說話照片的音訊處理步驟也是一樣。有些工具還能用語音樣本來決定聲音，通常一段乾淨的 3 秒樣本就夠了。選最響亮、最連貫的一句，並記得有些工具會限制所有參考音訊加起來的總長度。

常見瑕疵與解決方法

放大可以改善偏軟的結果，但只做一次，並且放在剪輯完成之後，同時保留一份主檔。每多一次編碼，包含社群 App 上傳時做的那次，都會在嘴部周圍增加瑕疵，而那正是觀眾最先看的地方。

授權、深度偽造規範與標示

對嘴會改變一個人看起來在說什麼，而這正是深度偽造規範要處理的事，所以請把授權與標示視為流程的一部分，而不是事後補充。

• 只使用你擁有，或有書面授權的臉和聲音，並寫明用途。替客戶的影片做多語配音是明確可行的例子；讓公眾人物說出新的話則不是。
• YouTube 要求創作者揭露擬真的修改或合成內容，包括讓真人看起來說了或做了他們沒做過的事的內容。YouTube 也為部分頻道的自動配音影片提供自家實驗性的對嘴功能。
• 歐盟《人工智慧法》（第 50 條）要求部署者揭露構成深度偽造的 AI 生成或經操控的音訊與影片。對於明顯屬於藝術、創作、諷刺或虛構的作品，義務僅限於以不妨礙作品的方式揭露此內容的存在。
• 中國《人工智慧生成合成內容標識辦法》自 2025 年 9 月 1 日起施行，要求合成影片加上明顯標識（包括在開頭），並要求使用者在抖音、快手、小紅書或微信視頻號等平台發布時，主動聲明為 AI 內容。
• 避免使用未成年人的臉，也絕不能用對嘴製作色情、誹謗或詐欺內容。這些用途在主要平台上被禁止，在許多地方也屬違法，不管有沒有標示。

各平台的 AI 標示如何運作，請看我們的 AI 內容標示教學。