cv.cm

AI · AI短视频创作

AI跳舞视频怎么做

阅读约 8 分钟

简短回答

AI跳舞视频有两种做法。动作迁移是把参考舞蹈视频里的动作套到你的角色或照片上;提示词编舞则是根据文字时间线和音乐生成动作。不管哪种,都要从明亮清晰的首帧开始,按乐句描述连续的动作,自己剪好音频,并用原曲检查音画是否同步。

打开节拍器

两种方法:动作迁移,还是提示词编舞

动作迁移是从驱动视频里提取身体动作,再用到另一个人或角色身上。Everybody Dance Now这类研究系统用姿态作为源舞者与目标之间的桥梁;后来的扩散方法,如Animate Anyone,则能根据姿态序列让一张静态图动起来,同时保持参考图的外观。面向普通用户的AI跳舞视频生成器,以及可灵(Kling)、Seedance、Runway、海螺(Hailuo)等工具里的参考视频模式,思路都是一样的。

提示词编舞是把角色图、音乐和写好的动作时间线交给模型。没有驱动视频,舞蹈由模型根据你的文字自己编。

动作迁移提示词编舞
输入角色图加一段参考舞蹈视频角色图、音乐、文字时间线
编舞紧贴参考视频复制模型根据你的文字自己编
卡点准确度取决于参考视频取决于提示词里的时间写得怎么样
主要风险连参考里不想要的细节也复制姿势僵硬,或动作随机、生硬
适合热门舞蹈、需要精确还原的舞原创的柔美舞或自由舞

舞蹈动作很重要时用动作迁移。想做原创作品,或找不到干净的参考视频时,用提示词编舞。

准备照片和首帧

角色图会成为首帧或身份锚点,所以它同时决定画质和完播率。实际经验是,第一帧决定了有多少观众在头两三秒就划走,所以它应该已经是整段视频里最好看的一帧。

  • 全身或膝盖以上,站姿,整个身体和双手都在画面内。被裁掉的脚和手,会被模型乱编。
  • 光线明亮均匀,脸部完整且打光清楚。不要低头,不要头发或帽子遮脸,不要昏暗的房间。
  • 主体已经是准备起舞的姿势,或已经在笑,而不是僵直站着。从静止的中性姿势开始跳,看起来像慢热的开头。
  • 竖屏9:16里,舞者应占画面高度的大部分。大房间里的小人,脸会发糊,还会多出手脚或让肢体粘在一起。
  • 衣服轮廓要清楚:有明确的腰线,袖子到手腕为止,裙摆在脚踝以上。拖得很长的布料最难处理(见下文)。

如果你用的是一组角色,每张新的参考图都要逐个角色对照人设图检查:服装、手或爪子、配饰、发型、颜色和身高比例。图像编辑工具会悄悄改掉你没要求改的细节,视频模型再把这个错误复制进每一帧。如何做人设图,见我们的AI角色一致性指南。

动作迁移:先处理参考视频,再生成

参考视频比文字的约束力强得多。如果参考里有镜头光晕、舞者手里的道具、镜子、某种特定的灯光,或者背景里有第二个人,即使提示词写了不要,模型也往往照样复制。在提示词里和参考视频较劲,很少奏效。

  1. 把参考视频裁到你需要的那段舞蹈,音乐也剪到同样的范围。
  2. 裁剪画面,让舞者居中、全身入镜,画幅比例与你的输出一致。
  3. 遮盖或去掉道具和背景里的人。如果光线很强或带颜色,就重新调色。
  4. 检查参考舞者和你的角色体型是否相近。矮胖的吉祥物去模仿高个舞者的长腿动作,会被拉伸或崩坏。
  5. 然后写提示词,描述你想要的结果(角色、场景、光线),而不是参考里的问题。

分镜格也可以当动作参考。做一张9:16的图,比如分成12格,每格一个卡点姿势,提示词时间线写成“第1格(左上)= 0–2 s”。格子上不要放数字或文字,模型会把它们当成屏幕图形复制出来。每一格都要用全尺寸检查,因为一格里的错误会被复制进视频。

这里要注意授权。只有在真人同意的前提下才能使用其照片,也不要把别人的形象做成他们从没跳过的舞,还当成真的发布。编舞者的舞蹈也可能受保护;平台上提供给大家翻跳的热门舞蹈,在该平台内使用通常没问题,但用别人的编舞做付费广告需要许可。

提示词编舞:让动作流动起来

视频模型对某些词会执行得非常精确。我们的测试中,“保持姿势”“定格”“静止”和“慢动作”会让舞蹈变成姿势幻灯片:舞者在不同造型之间跳变,并在中间停住。去掉这些词,改为描述连续的动作。

每个乐句安排一个长镜头,约4秒或一个八拍,镜头里放几个有时间的动作锚点。但不要矫枉过正:每一拍都塞很多小动作,看起来会又生硬又滑稽。对于古典、现代舞或慢节奏流行这类柔和的风格,描述的是轨迹而不是姿势,每一两拍只写一个动作,停顿控制在半拍以内。

Phrase 2 (4.0-8.0 s), one continuous shot, 9:16, medium-wide, camera at chest height.
The dancer from the reference: long white sleeves, pale blue skirt, hair in a low bun.
4.0-5.0 s (downbeat): step right, weight shifts onto the right foot, both arms open low at hip height.
5.0-6.0 s: the right arm sweeps in an arc from the hip to shoulder height while the body turns a quarter left.
6.0-7.0 s: step back with the left foot, both arms float down, sleeves trail behind the hands.
7.0-8.0 s (pause in the music): a soft half turn to face the camera, arms rising to chest height, smile.
Arms stay below 45 degrees above the shoulder. Continuous movement, no stops.

布料需要单独的规则。宽袖、长飘带或披风会跟着手臂走,可能盖住脸。限制手臂高度,例如不高于肩膀以上45度,并写进每个乐句。

只写镜头能拍到的东西。视频模型会把比喻当成字面意思:“她的衣袖像毛笔在空中作画”可能让她手里真的出现一支毛笔。描述动作、材质和光线,不要用比喻。

让动作踩在拍子上

先找出BPM,例如跟着cv.cm的节拍器点击测速。120 BPM时一拍0.5秒,一个八拍4秒;100 BPM时一个八拍4.8秒。每个动作锚点用秒来标时间,同时写出音乐事件:“第一个重拍”“最响的那个音”“停顿”。模型两种信息都会用。

许多模型只接受固定时长,比如整数秒,或5、10、15秒这样的档位。选择与片段时长完全吻合的音乐片段;分段生成时,每一段音频要自己剪,不要让模型来选。有些工具把所有参考片段的参考音频总长限制在约30秒,所以长舞蹈需要分成多段。

当模型生成或重新渲染音轨时,音乐可能晚起。我们测到约1秒的偏移,而画面动作基本按提示词的时间走。在认定动作没踩点之前,先把原曲换回去:

ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

如果某一段仍然差几帧,在剪辑软件里平移它,不必重新生成。

常见瑕疵和解决办法

瑕疵常见原因解决办法
姿势幻灯片出现“保持”“定格”“静止”“慢动作”等词描述连续的运动轨迹;停顿最多半拍
动作生硬、滑稽每拍的动作太多每一两拍一个动作
衣袖或头发盖住脸长布料配上举得过高的手臂每个乐句都限制手臂高度
多出或粘在一起的手脚人在画面里太小、双臂交叉、快速旋转在画面里放大,少交叉,转得慢一点
跳到一半衣服变了源图里的服装不清楚用清晰的参考图,每条提示词都写明服装
出现不想要的道具或光晕从参考视频里复制来的先改参考视频,再重新生成

手和脚是最薄弱的部分,尤其是快速的脚步和旋转。复杂动作时让镜头基本保持稳定;镜头在动、身体也在动,会让画面崩坏的概率翻倍。

生成的片段常常是720p或1080p,细节偏软。放大一次就好,放在剪辑之后,并只保留一份母版导出,避免反复转码。平台要求标注时,逼真的成品要标注;见我们的AI内容标识指南。

常见问题

怎么用AI让照片跳舞?

把一张清晰的全身照上传到带有舞蹈或参考视频模式的工具,加上一段参考舞蹈视频或带时间的文字描述,然后生成。照片请用你自己的,或已经同意的人的。

为什么我的AI跳舞像一连串的姿势?

提示词里很可能有“定格”“保持”“慢动作”这样的词,模型会非常字面地执行。改为在有时间的锚点之间描述连续的动作,停顿控制在半拍以内。

可以做明星的AI跳舞视频吗?

不要这样做。未经同意制作真人逼真的舞蹈视频,在许多国家可能侵犯肖像权和人格权,平台也要求披露逼真的合成人物。

用AI翻跳抖音热门舞蹈合法吗?

在同一平台上,用平台内的原声翻跳热门舞蹈是常见做法。在广告或其他商业场景中使用别人的编舞或参考视频,则需要许可。

AI跳舞片段多长最合适?

每个镜头一个乐句,约4到5秒,是最稳定的单位。想做15到30秒的短视频,就在剪辑软件里把几个乐句拼起来。

全部AI教程