cv.cm

AI · AI 短影音創作

AI MV 製作:怎麼用 AI 做出對拍的音樂影片

閱讀約 9 分鐘

簡答

製作 AI MV,先確認手上的歌曲有使用授權,再把歌拆解成 BPM、段落與重拍時間點。依這張節拍表為每個樂句規劃一個鏡頭,鎖定角色與畫風,用自己剪好的音訊逐段生成。最後在剪輯軟體裡卡點剪接,換回原曲並檢查音畫同步。

開啟AI 音樂產生器

AI 音樂影片生成器實際上做了什麼

AI 音樂影片生成器可以把提示詞、圖片或參考影片變成短影片片段,每段通常只有幾秒。就目前而言,還沒有哪個工具能穩定地一次把整首三分鐘的歌做成完整影片。不管用 Veo、Kling、Seedance、Runway、Hailuo 還是其他類似模型,實際做法都一樣:把歌切成幾段,每段各生成一個片段,再用 CapCut、Premiere Pro 或 DaVinci Resolve 這類剪輯軟體組裝起來。

也就是說,一切由歌曲主導。模型負責讓畫面動起來,每個畫面從哪裡開始、到哪裡結束,由你決定。AI MV 看起來夠專業,功夫都在生成前後:拆解歌曲、依節拍規劃分鏡,以及最後檢查音畫同步。

步驟一:先確認這首歌能不能用

動用任何點數之前,先查清楚授權。用了無法發布的歌曲,影片可能被靜音、封鎖或被認領版權。YouTube 上每支上傳影片都會經過 Content ID 比對;一旦符合版權擁有者的參考檔案,擁有者可以決定封鎖影片、在影片上放廣告,或只追蹤數據,而且各國做法可能不同。

  • 自己創作的歌曲:沒有問題,不過若希望 Content ID 站在你這邊,建議透過發行商登記。
  • 有授權的音樂:仔細閱讀授權條款中關於影片同步,以及你預計發布的各平台的規定。授權給短影音當背景音樂,不一定涵蓋完整的音樂影片。
  • AI 生成的歌曲(例如 Suno):查看該工具的條款,確認你的方案能否商用、版權歸誰。不同方案條款不同,也會隨時間調整。
  • 不屬於你的商業流行歌:只能使用平台 App 內建的音樂庫,因為授權由平台持有。不要匯出後再上傳到別處。

YouTube 也要求創作者揭露:以 AI 生成音樂為影片主軸,或是逼真的真人、真實地點 AI 畫面。各平台與各地區的規定,請看我們的 AI 內容標示指南。

步驟二:把歌拆成節拍表

動手寫任何提示詞之前,先為這首歌排出時間軸。你需要四樣東西:速度、段落、重拍,以及幾個明顯的音樂事件。

  1. 找出 BPM。跟著副歌打拍子即可,例如 cv.cm 的節拍器有點拍測速功能,點幾下就能得出 BPM。
  2. 用時間碼標出段落:前奏、主歌、導歌、副歌、橋段、尾奏。
  3. 標出每個段落的第一個重拍、最響的那個音,以及任何停頓或 drop。切鏡和大動作就該落在這些點上。
  4. 算出一個樂句的長度。4/4 拍的一小節是 4 拍,所以一小節的秒數是 240 ÷ BPM。120 BPM 時一小節是 2 秒,兩小節的樂句(一個八拍)就是 4 秒。

4 秒的樂句是很好用的單位,因為它接近許多模型接受的最短片段長度。90 BPM 時一小節約 2.67 秒,八拍約 5.3 秒;128 BPM 時則是 3.75 秒。鏡頭長度請選整數個樂句,多出來的零點幾秒在剪輯時修掉。

步驟三:依節拍表規劃分鏡,並鎖定畫面風格

把時間軸變成分鏡表。預設一個樂句一個鏡頭就很合適;節奏快的歌,副歌可以改成一小節一個鏡頭。每一列要寫明時間範圍、所屬段落、鏡頭看到什麼,以及主要動作要對準哪個音樂事件。

時間段落鏡頭對準的點
0.0–4.0 秒前奏特寫,歌手已面向鏡頭,暖色窗光,緩慢推軌0.0 秒第一個重拍:睜眼看向鏡頭
4.0–8.0 秒主歌第 1 句中景,黃昏時走在濕漉漉的街上,手持跟拍每小節第 1 拍踏出一步
8.0–12.0 秒主歌第 2 句特寫,演唱歌詞,對嘴歌詞從 8.2 秒開始
12.0–16.0 秒導歌低角度,風起,大衣飄動15.5 秒最響的音:轉向鏡頭
16.0–20.0 秒副歌遠景,屋頂,城市燈火,向左環繞剛好在副歌重拍上切鏡

開場鏡頭最重要。實務上,觀眾會不會在前兩三秒離開,取決於第一個畫面。第一格就該是整支影片最好看的一格:明亮、臉部完整且打光清楚、主角已經在動或在笑,用特寫或中景讓主角佔滿大半畫面。從黑畫面慢慢淡入、低著頭或昏暗的房間,會讓人在歌還沒開始前就滑走。如果劇情需要鋪陳,請用道具和場景來交代,而不是用緩慢的開場。

接著鎖定視覺風格。先做一張角色設定圖(正面、側面、背面,加上服裝、髮型、配色),再寫一句簡短的風格描述,例如鏡頭、光線和調色,原封不動貼進每一段提示詞。如何做角色設定圖,可參考角色一致性教學。之後每做一張新的參考圖,都要逐個角色對照設定圖檢查:服裝、手、配件、髮型、顏色和身高比例。修圖工具會悄悄改動你沒要求的細節,影片模型再把這個錯誤複製到每一個鏡頭。

步驟四:依剪好的音訊逐段生成

每個鏡頭獨立生成一段,搭配它自己的那一小段歌曲。請自己把音訊剪成每段需要的長度,例如用 cv.cm 的音訊剪輯工具,而不是上傳整首歌讓模型自己挑片段。這樣你的時間軸和模型的時間軸才會一致。

許多模型只接受固定時長,例如整數秒,或 5、10、15 秒這幾檔。請依這些長度規劃剪輯,並讓每段音訊剛好等於你要生成的片段長度。有些工具還限制參考音訊的總長,例如所有參考片段加起來約 30 秒,提示詞也只能寫幾千字。如果還需要人聲參考,也要一併算進去:音樂片段加上人聲樣本必須放得進限制內。通常一段乾淨的 3 秒人聲樣本就夠了,挑最響、最連貫的那一句。

把提示詞寫成同時標明秒數和音樂事件的時間軸,只寫鏡頭拍得到的東西。影片模型會把比喻照字面畫出來:寫「她的聲音像鳥一樣升起」,畫面裡可能真的出現一隻鳥;寫「城市像一幅畫」,真實背景可能被壓成一張插畫。

Segment 4 (12.0-16.0 s of the song, pre-chorus), 4 seconds, 9:16.
Same woman as the reference: short black bob, cream trench coat, silver hoop earrings.
Low-angle medium shot on a rooftop at blue hour, city lights behind her, soft rim light.
0-1 s: she stands facing left, wind moves her hair and coat.
1-3 s: she turns slowly toward the camera, chin lifting, the coat swings out.
3.5 s (loudest note): she looks straight into the lens and opens her mouth to sing.
Camera: slow push in from waist to chest height. No text on screen.

演唱的歌詞要用對嘴。做法有兩種:若模型支援,把剪好的人聲當作音訊輸入來生成鏡頭;或者先生成鏡頭,再用分離出的純人聲跑一次音訊驅動的對嘴處理。正面的特寫和中景效果最好,側臉和手靠近嘴巴最容易失敗。輸入方式與修正方法,請看 AI 對嘴教學。

步驟五:卡點剪輯並檢查音畫同步

先把完整的原曲放上時間軸,再把每個片段放到預定的起點。切鏡點放在重拍或你標記的強音上。副歌 drop 時,早或晚幾格都很容易被感覺出來。

當模型自己生成或重新渲染音軌時,片段裡的音樂可能會晚一點才開始。我們實測的偏移約 1 秒,而動作仍然緊貼提示詞的時間。因此千萬不要用生成檔案裡的音訊來判斷同步,請先換回原曲:

ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

如果某個片段對著音樂還是偏早或偏晚,直接在剪輯軟體裡以整格為單位平移,不必重新生成。對嘴的歌詞請用全尺寸播放檢查;特寫時嘴型差兩三格就看得出來。

生成的片段常常是 720p 或 1080p,細節偏軟。請在剪輯完成後再放大,這樣只需放大留下來的部分,並且只保留一份母檔輸出。把這份母檔直接上傳到各平台;反覆轉檔,例如從一個 App 下載再轉貼到另一個,壓縮痕跡會越疊越重。

常見錯誤與誠實的限制

  • 一次用提示詞做整首歌。模型無法掌握三分鐘的結構,請改以樂句為單位規劃鏡頭。
  • 跟參考素材硬碰硬。參考影片或圖片比文字提示強得多,如果裡面有鏡頭光暈、道具或你不想要的光線,模型多半還是會照抄。生成前先修正參考素材(裁切、遮罩、調色)。
  • 角色漂移。沒有設定圖和固定的風格描述,臉和服裝在鏡頭之間就會變。接受每個片段之前,先對照設定圖檢查。
  • 畫面上的文字。影片內生成的歌詞和標題常常拼錯,文字請在剪輯軟體裡加。
  • 真實歌手。不要製作逼真的影片,讓真實藝人唱他沒有錄製或演出過的歌。這需要本人同意並揭露,在許多地方也會違反肖像權與人格權。

最難的鏡頭,通常是演唱特寫和副歌開場,預計要生成兩到四次才會滿意。MV 的品質大部分來自節拍表和剪輯,而不是某一次完美的生成。

常見問題

AI 可以直接用一首歌自動做出 MV 嗎?

有些工具會自動把生成的片段剪到節拍上,但就目前而言,成果偏千篇一律。想讓影片貼合歌詞和歌曲結構,還是要自己規劃鏡頭,再逐段生成。

做一支 AI MV 要多久?

一支 30 秒、六到八個鏡頭的短影片,含重做大約花一個下午。完整三分鐘的歌有 40 個以上的鏡頭,請預留好幾天,並重複使用鎖定好的角色設定圖和風格描述。

AI MV 可以用知名歌曲嗎?

必須取得授權才行。在 TikTok、Reels 或 Shorts 裡,可以使用 App 內建音樂庫的歌曲,因為版權由平台持有;自己上傳的歌曲很可能被靜音、封鎖或被認領。

AI MV 需要標示是 AI 生成的嗎?

在 YouTube 上,逼真的合成內容,以及以 AI 生成音樂為影片主軸的情況,都必須揭露。其他平台與地區各有自己的標示規定,請參考我們的 AI 內容標示指南。

為什麼我的 AI MV 音畫對不上?

常見原因是模型把生成片段裡的音樂往後挪了,有時大約一秒,而動作仍然準時。判斷同步之前,請先把音訊換成原曲,並自己把每段音訊剪成剛好等於片段的長度。

全部 AI 教學