cv.cm

AI · AI 短影音創作

AI 跳舞影片怎麼做

閱讀約 8 分鐘

簡答

AI 跳舞影片有兩種做法。動作轉移是把參考舞蹈影片的動作複製到你的角色或照片上;提示詞驅動則是依文字時間軸與音樂生成動作。無論哪一種,都要從明亮清楚的首格開始,依每個樂句描述連續的動作,自己剪好音訊,並用原曲檢查音畫同步。

開啟節拍器

兩種方法:動作轉移與提示詞驅動

動作轉移是從一支驅動影片取出身體動作,套用到另一個人或角色身上。Everybody Dance Now 這類研究系統,用姿態當作來源舞者與目標之間的橋梁;後來的擴散模型方法如 Animate Anyone,則能根據姿態序列讓單張靜態圖動起來,同時保留參考圖的外觀。市面上的舞蹈影片生成器,以及 Kling、Seedance、Runway、Hailuo 等工具的參考影片模式,原理都類似。

提示詞驅動的跳舞,是把角色圖、音樂和一份寫好的動作時間軸交給模型。沒有驅動影片,編舞完全由模型根據你的文字自己發揮。

動作轉移提示詞驅動
輸入角色圖加一支參考舞蹈影片角色圖、音樂、文字時間軸
編舞緊貼參考影片複製模型依你的文字自行編排
卡拍準確度取決於參考影片取決於提示詞的時間寫得準不準
主要風險連參考影片裡不要的細節也照抄姿勢僵硬,或動作亂跳、卡頓
適合熱門舞蹈、需要精準編舞的場合原創的柔和舞蹈或即興舞蹈

在乎編舞時用動作轉移;想做原創作品,或找不到乾淨的參考影片時,用提示詞驅動。

準備照片與首格

角色圖會成為首格或身分基準,所以它同時決定畫質與完播率。實務上,觀眾會不會在前兩三秒離開,取決於第一個畫面,它應該已經是整支影片最好看的一格。

  • 全身或膝上,站姿,全身和雙手都在畫面內。腳或手被裁掉的話,模型會亂補。
  • 光線明亮均勻,臉完整且打光清楚。不要低著頭,不要被頭髮或帽子遮臉,不要在昏暗的房間。
  • 主角已經擺出準備跳舞的姿勢或帶著笑容,而不是僵硬站著。從靜止的中立姿勢開始跳,看起來會像慢熱的開頭。
  • 9:16 直式時,舞者要佔滿大半個畫面高度。大房間裡的小人影,臉會糊,還可能多出或黏在一起的肢體。
  • 服裝要清楚好辨:有明確的腰線、袖子到手腕為止、裙子長度在腳踝以上。長長拖曳的布料是最難的情況(見下文)。

如果你用一組角色,每張新的參考圖都要逐個角色對照角色設定圖檢查:服裝、手或爪子、配件、髮型、顏色和身高比例。修圖工具會悄悄改動你沒要求的細節,影片模型再把錯誤複製到每一格。如何建立設定圖,請看角色一致性教學。

動作轉移:生成前先處理好參考影片

參考影片遠比文字提示更有影響力。如果參考影片裡有鏡頭光暈、舞者手中的道具、鏡子、特定的打光風格,或背景有第二個人,即使提示詞說不要,模型多半還是會照抄。在提示詞裡和參考影片爭辯,很少有用。

  1. 把參考影片剪到你需要的那一段編舞,音樂也剪成同樣的範圍。
  2. 裁切讓舞者置中、露出全身,比例與你的輸出相同。
  3. 遮掉或移除道具和背景中的人。如果光線很強或帶顏色,就重新調色。
  4. 確認參考舞者和你的角色身材比例相近。矮胖的吉祥物去模仿高個子舞者的長腿動作,會被拉長或變形。
  5. 然後寫一段描述你想要的結果(角色、場景、光線)的提示詞,而不是描述參考影片裡的問題。

分鏡格圖也很適合當動作參考。做一張 9:16 的圖,例如分成 12 格,每格一個節拍的姿勢,再把提示詞時間軸寫成「第 1 格(左上)= 0–2 秒」。格子上不要放數字或文字,模型會把它們當成畫面上的圖形照抄。每一格都要用全尺寸檢查,因為某一格的錯誤會被複製進影片。

這裡也要注意同意問題。只有取得本人許可,才能使用真人照片;也不要把某人的影像做成他從沒跳過的舞,還當成真的發布。編舞者的舞蹈也可能受保護;平台上開放大家重複使用的熱門舞蹈,在該平台內通常沒問題,但是以別人的編舞製作付費廣告,就需要取得許可。

提示詞驅動:寫出流暢的動作

影片模型對某些詞的反應非常精準。在我們的測試中,「定住姿勢」「凍結」「靜止」和「慢動作」會讓舞蹈變成一張張姿勢的幻燈片:舞者在不同造型之間跳來跳去,每個造型之間還會停住。這些詞請不要用,改為描述連續的動作。

每個樂句規劃一個長鏡頭,約 4 秒或一個八拍,裡面再安排幾個有時間的動作定位點。但也不要矯枉過正:每拍塞太多小動作,看起來會抽搐又滑稽。古典、現代舞或慢板流行樂這類柔和的風格,請描述動線而不是姿勢,一兩拍做一個動作,停留也不要超過半拍。

Phrase 2 (4.0-8.0 s), one continuous shot, 9:16, medium-wide, camera at chest height.
The dancer from the reference: long white sleeves, pale blue skirt, hair in a low bun.
4.0-5.0 s (downbeat): step right, weight shifts onto the right foot, both arms open low at hip height.
5.0-6.0 s: the right arm sweeps in an arc from the hip to shoulder height while the body turns a quarter left.
6.0-7.0 s: step back with the left foot, both arms float down, sleeves trail behind the hands.
7.0-8.0 s (pause in the music): a soft half turn to face the camera, arms rising to chest height, smile.
Arms stay below 45 degrees above the shoulder. Continuous movement, no stops.

布料需要另外訂規則。袖子寬大、飄帶很長或有披風時,布料會跟著手臂動,可能蓋住臉。請限制手臂高度,例如不高於肩膀上方 45 度,並把這條寫進每個樂句。

只寫鏡頭拍得到的東西。影片模型會把比喻照字面畫出來:寫「她的衣袖像毛筆在空中作畫」,她手裡可能真的出現一支毛筆。請描述動作、材質和光線,不要用比喻。

讓動作卡在拍子上

先找出 BPM,例如跟著 cv.cm 的節拍器點拍。120 BPM 時一拍是 0.5 秒,八拍是 4 秒;100 BPM 時八拍是 4.8 秒。每個定位點都以秒標示,同時寫出音樂事件,像是「第一個重拍」「最響的那個音」「停頓」。模型兩者都會參考。

許多模型只接受固定時長,例如整數秒,或 5、10、15 秒這幾檔。選擇與片段長度剛好相符的音樂片段;若分段生成,每段音訊請自己剪,不要讓模型決定。有些工具限制參考音訊總長約 30 秒,因此長舞蹈需要分成好幾段。

當模型自己生成或重新渲染音軌時,音樂可能會晚一點才開始。我們量到的偏移約 1 秒,而動作仍緊貼提示詞的時間。在斷定動作沒踩在拍子上之前,請先換回原曲:

ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

如果某個片段看起來還是差幾格,在剪輯軟體裡平移它即可,不用重新生成。

常見瑕疵與解法

瑕疵常見原因解法
姿勢幻燈片使用了定住、凍結、靜止、慢動作等詞描述連續的動線;停留最多半拍
動作抽搐、滑稽每拍的動作太多一兩拍做一個動作
袖子或頭髮蓋住臉手臂舉太高又搭配長布料每個樂句都限制手臂高度
多出或黏在一起的肢體人在畫面中太小、雙臂交叉、快速旋轉放大人物、減少交叉、放慢轉圈
跳到一半換服裝來源圖的服裝不清楚使用清楚的參考圖,每段提示詞都寫明服裝
不要的道具或光暈從參考影片複製過來先修改參考影片,再重新生成

手和腳是最弱的部分,尤其是快速的腳步和旋轉。做複雜動作時,鏡頭盡量保持穩定;鏡頭在動、身體也在動,破圖的機率會加倍。

生成的片段常是 720p 或 1080p,細節偏軟。請在剪輯完成後放大一次,並只保留一份母檔輸出,避免影片被反覆轉檔。若平台要求,逼真的成果請加上標示;請見我們的 AI 內容標示指南。

常見問題

怎麼用 AI 讓照片跳舞?

把一張清楚的全身照上傳到有舞蹈或參考影片模式的工具,加上參考舞蹈片段或有時間標記的文字描述,然後生成。請使用你自己或已經同意的人的照片。

為什麼我的 AI 跳舞看起來像一連串姿勢?

提示詞裡很可能有「凍結」「定住」「慢動作」這類詞,模型會非常照字面執行。請在有時間標記的定位點之間描述連續動作,任何停留都控制在半拍以內。

可以做名人的 AI 跳舞影片嗎?

請避免。未經同意製作逼真的真人舞蹈,在許多國家可能侵犯肖像權與人格權,而且平台要求揭露逼真的合成人物。

用 AI 複製 TikTok 熱門舞蹈合法嗎?

在同一個平台上,搭配平台內建音效重現熱門舞蹈是常見做法。如果把別人的編舞或參考影片用在廣告或其他商業用途,就需要取得許可。

AI 舞蹈片段的最佳長度是多少?

每個鏡頭對應一個樂句,約 4 到 5 秒,是最穩定的單位。要做 15 到 30 秒的短影音,再用剪輯軟體把幾個樂句接起來。

全部 AI 教學