cv.cm

AI · AI 短影音創作

AI 配音怎麼做,才能聽起來自然?

閱讀約 9 分鐘

簡答

先挑一個符合受眾的聲音,把講稿改成適合聽的版本(短句、不要連續報數字),再逐句生成,發音不對就改寫拼法,或在工具支援時使用 SSML。剪輯時配合聲音走,社群平台的音量調到約 -14 LUFS,而且只複製你有書面授權的聲音。

開啟線上錄音機

AI 配音的八個步驟

AI 配音是由神經網路語音合成(TTS)的聲音取代麥克風所產出的旁白。但聲音模型只是其中一環,品質大半取決於講稿、節奏與混音。無論是短影音還是說明型影片,可靠的流程如下:

  1. 先定稿,並親自計時朗讀一遍。
  2. 選好聲音後,用稿子裡最難念的兩句來測試,而不是用範例段落。
  3. 改寫念起來彆扭的句子:長句、縮寫、數字、品牌名稱。
  4. 分段生成配音,一個段落或一句話為一個單位,這樣某一段不好可以單獨重做,不影響其他部分。
  5. 用改寫拼法或 SSML 標籤修正發音。
  6. 先把聲音放上時間軸,再把畫面剪到聲音上。
  7. 清理並標準化人聲音量,再把音樂混到下層。
  8. 匯出後,分別用手機喇叭和耳機聽一遍;平台要求時,加上 AI 標示。

本頁談的是如何把 AI 聲音用在影片上。至於語音是怎麼合成出來的,請看我們的文字轉語音教學。

怎麼替影片選聲音

ElevenLabs、剪映(CapCut)內建的聲音,或大型雲端平台的 TTS,多半都提供數十種聲音可選。請依用途挑選,不要被試聽樣本牽著走:試聽文字是為了襯托聲音而寫的,而你的講稿裡會有產品名、數字和簡短有力的句子。

影片類型要找的聲音特質避免
快節奏小技巧與清單明亮、中音域、咬字清楚、語速稍快氣音重或太低沉、語速一快就糊掉的聲音
故事旁白溫暖、音域寬、停頓自然平板的「播報員」腔調
教學與螢幕錄影沉穩、中性、速度平均會干擾步驟閱讀的強烈情緒
產品或品牌影片年齡層與地區口音符合品牌容易讓人誤以為是代言的名人式聲音
角色或喜劇音色鮮明、表情豐富聽起來像真實公眾人物的聲音

一個頻道或系列固定用同一個聲音。觀眾會慢慢記住它,如果每集換聲音,系列就會像一支支各自獨立的上傳。請把聲音名稱和所有設定(語速、穩定度或風格數值、模型)記在筆記裡,因為服務商會更新模型,同樣的設定也可能出現偏差。

寫給耳朵聽的稿,並對齊剪輯點

在紙上讀起來順的文字,念出來常常顯得生硬,因為聽眾沒辦法往回捲。寫稿時要讓每一句在第一次聽到時就聽得懂。

  • 一句只講一個想法,最好不超過 15 個字(詞)。
  • 把重要的詞放在句尾,聲音自然會落在那裡。
  • 數字照口說的方式寫:用「大約兩千」,不要寫「~2,000」。
  • 縮寫要拆開寫出來,除非大家本來就用字母唸。
  • 用逗號和句號控制節奏。大多數聲音在句號會停頓,在逗號幾乎不停。
Before (written):
  Our app supports 4K/60fps export, HDR & batch processing (Win/Mac).

After (for the ear):
  You can export in 4K at sixty frames per second.
  It handles HDR. And it works in batches, on Windows and Mac.

至於節奏,清晰的英文旁白大約抓每秒 2.5 到 3 個字。做短影音時,是畫面配合聲音剪,而不是反過來:先把配音放上時間軸,再讓每一刀剪在新句子的開頭或關鍵字上。如果一段聲音比它的鏡頭長,就把句子改短,不要把聲音加速。實務上,速度調整超過約 10% 時,AI 聲音就容易聽起來趕、不自然。

想在付費生成前先聽節奏,可以用裝置的聲音念稿,例如 cv.cm 的文字轉語音工具,它使用瀏覽器內建的聲音並可調整語速。它不能匯出音檔,也不是專業配音等級的聲音,只是用來確認時間。如果你想用自己的聲音當參考音軌,可以用錄音工具錄下來,再照著它剪。

修正發音:改寫拼法、停頓與音素

人名、品牌、縮寫和外來語,是 AI 聲音最常出錯的地方。請由簡單到精確依序嘗試以下做法。

  1. 在稿子裡用諧音或拼音改寫該詞:例如把「Nguyen」寫成「Win」,「GIF」依你的選擇寫成「jif」或「gif」。每個專案都留一份改寫清單。
  2. 加標點來強制停頓或改變重音:在人名前加逗號,或在複合詞中加連字號。
  3. 工具支援的話就用 SSML。SSML(語音合成標記語言)是 W3C 標準:break 元素可插入停頓,並以 time 指定長度,例如 400ms;sub 可把書面文字替換成實際要念的內容;phoneme 則透過 ph 屬性,用 IPA 指定精確發音。
  4. 如果工具有發音詞典,就善用它,讓這個修正套用到之後的每一份稿子。
<speak>
  Welcome to <sub alias="see vee dot see em">cv.cm</sub>.
  <break time="400ms"/>
  Today we test the <phoneme alphabet="ipa" ph="ˈkiːnwɑː">quinoa</phoneme> recipe.
</speak>

社群影片的音量目標

響度以 LUFS(相對於滿刻度的響度單位)衡量,採用 ITU-R BS.1770 的演算法,這也是歐洲廣播聯盟 EBU R 128 建議背後的量測方式。EBU R 128 規定廣播節目為 -23 LUFS。串流與社群平台不一定公開自己的目標,但對線上影片來說,整合響度約 -14 LUFS、真實峰值不高於約 -1 dBTP,是常見的實用目標。

多數大型平台會對播放音量做標準化,所以母帶做得很大聲,只會被調小而得不到好處,為了做大聲而過度壓縮,還會讓人聲聽起來刺耳。母帶太小聲的影片,也可能不會被調大到你預期的程度。把目標抓在常見數值附近,就能同時避開這兩個問題。

# Pass 1: measure. Note the measured_* values in the JSON it prints.
ffmpeg -i voice.wav -af loudnorm=I=-14:TP=-1:LRA=11:print_format=json -f null -
# Pass 2: normalize with your measured values (the numbers below are examples)
ffmpeg -i voice.wav -af loudnorm=I=-14:TP=-1:LRA=11:measured_I=-19.6:measured_TP=-3.2:measured_LRA=6.1:measured_thresh=-30.0:offset=0.4:linear=true -ar 48000 voice_norm.wav

請標準化最終混音,而不只是人聲。實務上,說話時的音樂要明顯低於人聲;先壓低約 12 到 20 dB 是合理的起點,等兩句話之間再拉高。一定要用手機喇叭檢查,因為低音量的音樂在那裡會消失,刺耳的高頻則會特別突出。

AI 多語配音

AI 配音會翻譯講稿,並以另一種語言生成語音,聲音通常也與原聲相近。實際最大的問題是時間:同一句話用西班牙文或德文說,通常比英文久,所以照著英文剪輯點做的配音,往往會超時。

  • 原始腳本要預留空間。如果英文剛好塞滿時段,翻譯版就放不下。在原版每個段落留下 10% 到 20% 的空白,配音會輕鬆許多。
  • 為口說而翻譯,不要逐字翻。請譯者或 LLM 把句子縮短到指定秒數內。
  • 每種語言都要重新確認人名、單位和螢幕文字。配音說「miles」、畫面字幕卻是公里,看起來很草率。
  • 必要時重新剪輯。在鏡頭裡多加幾格,比把聲音加速到不自然划算。

各平台也在推出自己的工具。YouTube 的自動配音會建立翻譯音軌,並將這類影片標示為自動配音。官方說明頁提醒,配音在發音、專有名詞、慣用語和專業術語上可能出錯,同時讓創作者在發布前先檢查。請善用這個檢查步驟,或上傳你自己確認過的音軌。如果想讓說話者的嘴型對上新語言,請參考我們的 AI 對嘴教學。

聲音複製:授權、揭露與法規

聲音複製是用真人的錄音建立一個合成聲音。只要幾秒清晰的語音,就可能做出辨識度很高的結果,所以相關規範都集中在授權與揭露。

  • 只複製你自己的聲音,或你有書面授權的聲音。授權內容應說明聲音可用於什麼、期限多久,以及如何撤回。
  • 不要複製公眾人物、演員或創作者,讓他們「說出」沒說過的話。這可能違反平台規則,在許多國家也會牴觸人格權、公開權或詐欺相關法律。
  • YouTube 的揭露規則要求:當擬真內容讓真人看起來說了或做了他們沒做過的事時,必須加上標示。其說明頁舉例指出,為旁白或配音複製你自己的聲音,不需要揭露。
  • 歐盟《人工智慧法》(第 50 條)要求部署者揭露構成深度偽造的 AI 生成或經操控的音訊與影片;對於明顯屬於藝術、創作或諷刺性質的作品,義務較輕。
  • 中國《人工智慧生成合成內容標識辦法》自 2025 年 9 月 1 日起施行,要求服務提供者為合成音訊加上標識(例如語音提示或節奏提示),並要求發布此類內容的使用者主動聲明並使用標識功能。

一般的合成旁白念你自己的稿子,很少有法律問題;複製真人的聲音則不然。各平台的 AI 標示如何運作,請看我們的 AI 內容標示教學。

常見問題

文字轉語音和 AI 配音有什麼差別?

文字轉語音是把文字變成語音的技術。AI 配音則是影片的完成版旁白:包含挑選過的聲音、為聽覺寫的講稿、對齊剪輯點的時間,以及乾淨的混音。

有免費的 AI 配音嗎?

許多配音生成器提供免費額度,但分鐘數有限、聲音較少,或不含商用授權。發布前請先確認商用條款。

TikTok 或 Reels 的配音音量要多大?

整合響度約 -14 LUFS、真實峰值接近 -1 dBTP,是線上影片常見的實用目標。平台會標準化播放音量,所以做得再大聲也沒有好處。

為什麼 AI 聲音老是念錯人名?

模型是依拼寫和訓練資料來猜發音。請用諧音改寫該名字;如果工具支援,也可以用 SSML 的音素標籤或發音詞典。

AI 配音一定要揭露嗎?

在 YouTube 上,一般的合成旁白通常不需要標示;但若擬真聲音讓真人看起來說了沒說過的話,就必須標示,部分法律也要求為合成音訊加上標識。

全部 AI 教學