AI · AI短视频创作
AI跳舞视频怎么做
简短回答
AI跳舞视频有两种做法。动作迁移是把参考舞蹈视频里的动作套到你的角色或照片上;提示词编舞则是根据文字时间线和音乐生成动作。不管哪种,都要从明亮清晰的首帧开始,按乐句描述连续的动作,自己剪好音频,并用原曲检查音画是否同步。
打开节拍器两种方法:动作迁移,还是提示词编舞
动作迁移是从驱动视频里提取身体动作,再用到另一个人或角色身上。Everybody Dance Now这类研究系统用姿态作为源舞者与目标之间的桥梁;后来的扩散方法,如Animate Anyone,则能根据姿态序列让一张静态图动起来,同时保持参考图的外观。面向普通用户的AI跳舞视频生成器,以及可灵(Kling)、Seedance、Runway、海螺(Hailuo)等工具里的参考视频模式,思路都是一样的。
提示词编舞是把角色图、音乐和写好的动作时间线交给模型。没有驱动视频,舞蹈由模型根据你的文字自己编。
| 动作迁移 | 提示词编舞 | |
|---|---|---|
| 输入 | 角色图加一段参考舞蹈视频 | 角色图、音乐、文字时间线 |
| 编舞 | 紧贴参考视频复制 | 模型根据你的文字自己编 |
| 卡点准确度 | 取决于参考视频 | 取决于提示词里的时间写得怎么样 |
| 主要风险 | 连参考里不想要的细节也复制 | 姿势僵硬,或动作随机、生硬 |
| 适合 | 热门舞蹈、需要精确还原的舞 | 原创的柔美舞或自由舞 |
舞蹈动作很重要时用动作迁移。想做原创作品,或找不到干净的参考视频时,用提示词编舞。
准备照片和首帧
角色图会成为首帧或身份锚点,所以它同时决定画质和完播率。实际经验是,第一帧决定了有多少观众在头两三秒就划走,所以它应该已经是整段视频里最好看的一帧。
- 全身或膝盖以上,站姿,整个身体和双手都在画面内。被裁掉的脚和手,会被模型乱编。
- 光线明亮均匀,脸部完整且打光清楚。不要低头,不要头发或帽子遮脸,不要昏暗的房间。
- 主体已经是准备起舞的姿势,或已经在笑,而不是僵直站着。从静止的中性姿势开始跳,看起来像慢热的开头。
- 竖屏9:16里,舞者应占画面高度的大部分。大房间里的小人,脸会发糊,还会多出手脚或让肢体粘在一起。
- 衣服轮廓要清楚:有明确的腰线,袖子到手腕为止,裙摆在脚踝以上。拖得很长的布料最难处理(见下文)。
如果你用的是一组角色,每张新的参考图都要逐个角色对照人设图检查:服装、手或爪子、配饰、发型、颜色和身高比例。图像编辑工具会悄悄改掉你没要求改的细节,视频模型再把这个错误复制进每一帧。如何做人设图,见我们的AI角色一致性指南。
动作迁移:先处理参考视频,再生成
参考视频比文字的约束力强得多。如果参考里有镜头光晕、舞者手里的道具、镜子、某种特定的灯光,或者背景里有第二个人,即使提示词写了不要,模型也往往照样复制。在提示词里和参考视频较劲,很少奏效。
- 把参考视频裁到你需要的那段舞蹈,音乐也剪到同样的范围。
- 裁剪画面,让舞者居中、全身入镜,画幅比例与你的输出一致。
- 遮盖或去掉道具和背景里的人。如果光线很强或带颜色,就重新调色。
- 检查参考舞者和你的角色体型是否相近。矮胖的吉祥物去模仿高个舞者的长腿动作,会被拉伸或崩坏。
- 然后写提示词,描述你想要的结果(角色、场景、光线),而不是参考里的问题。
分镜格也可以当动作参考。做一张9:16的图,比如分成12格,每格一个卡点姿势,提示词时间线写成“第1格(左上)= 0–2 s”。格子上不要放数字或文字,模型会把它们当成屏幕图形复制出来。每一格都要用全尺寸检查,因为一格里的错误会被复制进视频。
这里要注意授权。只有在真人同意的前提下才能使用其照片,也不要把别人的形象做成他们从没跳过的舞,还当成真的发布。编舞者的舞蹈也可能受保护;平台上提供给大家翻跳的热门舞蹈,在该平台内使用通常没问题,但用别人的编舞做付费广告需要许可。
提示词编舞:让动作流动起来
视频模型对某些词会执行得非常精确。我们的测试中,“保持姿势”“定格”“静止”和“慢动作”会让舞蹈变成姿势幻灯片:舞者在不同造型之间跳变,并在中间停住。去掉这些词,改为描述连续的动作。
每个乐句安排一个长镜头,约4秒或一个八拍,镜头里放几个有时间的动作锚点。但不要矫枉过正:每一拍都塞很多小动作,看起来会又生硬又滑稽。对于古典、现代舞或慢节奏流行这类柔和的风格,描述的是轨迹而不是姿势,每一两拍只写一个动作,停顿控制在半拍以内。
Phrase 2 (4.0-8.0 s), one continuous shot, 9:16, medium-wide, camera at chest height.
The dancer from the reference: long white sleeves, pale blue skirt, hair in a low bun.
4.0-5.0 s (downbeat): step right, weight shifts onto the right foot, both arms open low at hip height.
5.0-6.0 s: the right arm sweeps in an arc from the hip to shoulder height while the body turns a quarter left.
6.0-7.0 s: step back with the left foot, both arms float down, sleeves trail behind the hands.
7.0-8.0 s (pause in the music): a soft half turn to face the camera, arms rising to chest height, smile.
Arms stay below 45 degrees above the shoulder. Continuous movement, no stops.布料需要单独的规则。宽袖、长飘带或披风会跟着手臂走,可能盖住脸。限制手臂高度,例如不高于肩膀以上45度,并写进每个乐句。
只写镜头能拍到的东西。视频模型会把比喻当成字面意思:“她的衣袖像毛笔在空中作画”可能让她手里真的出现一支毛笔。描述动作、材质和光线,不要用比喻。
让动作踩在拍子上
先找出BPM,例如跟着cv.cm的节拍器点击测速。120 BPM时一拍0.5秒,一个八拍4秒;100 BPM时一个八拍4.8秒。每个动作锚点用秒来标时间,同时写出音乐事件:“第一个重拍”“最响的那个音”“停顿”。模型两种信息都会用。
许多模型只接受固定时长,比如整数秒,或5、10、15秒这样的档位。选择与片段时长完全吻合的音乐片段;分段生成时,每一段音频要自己剪,不要让模型来选。有些工具把所有参考片段的参考音频总长限制在约30秒,所以长舞蹈需要分成多段。
当模型生成或重新渲染音轨时,音乐可能晚起。我们测到约1秒的偏移,而画面动作基本按提示词的时间走。在认定动作没踩点之前,先把原曲换回去:
ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4如果某一段仍然差几帧,在剪辑软件里平移它,不必重新生成。
常见瑕疵和解决办法
| 瑕疵 | 常见原因 | 解决办法 |
|---|---|---|
| 姿势幻灯片 | 出现“保持”“定格”“静止”“慢动作”等词 | 描述连续的运动轨迹;停顿最多半拍 |
| 动作生硬、滑稽 | 每拍的动作太多 | 每一两拍一个动作 |
| 衣袖或头发盖住脸 | 长布料配上举得过高的手臂 | 每个乐句都限制手臂高度 |
| 多出或粘在一起的手脚 | 人在画面里太小、双臂交叉、快速旋转 | 在画面里放大,少交叉,转得慢一点 |
| 跳到一半衣服变了 | 源图里的服装不清楚 | 用清晰的参考图,每条提示词都写明服装 |
| 出现不想要的道具或光晕 | 从参考视频里复制来的 | 先改参考视频,再重新生成 |
手和脚是最薄弱的部分,尤其是快速的脚步和旋转。复杂动作时让镜头基本保持稳定;镜头在动、身体也在动,会让画面崩坏的概率翻倍。
生成的片段常常是720p或1080p,细节偏软。放大一次就好,放在剪辑之后,并只保留一份母版导出,避免反复转码。平台要求标注时,逼真的成品要标注;见我们的AI内容标识指南。
常见问题
怎么用AI让照片跳舞?
把一张清晰的全身照上传到带有舞蹈或参考视频模式的工具,加上一段参考舞蹈视频或带时间的文字描述,然后生成。照片请用你自己的,或已经同意的人的。
为什么我的AI跳舞像一连串的姿势?
提示词里很可能有“定格”“保持”“慢动作”这样的词,模型会非常字面地执行。改为在有时间的锚点之间描述连续的动作,停顿控制在半拍以内。
可以做明星的AI跳舞视频吗?
不要这样做。未经同意制作真人逼真的舞蹈视频,在许多国家可能侵犯肖像权和人格权,平台也要求披露逼真的合成人物。
用AI翻跳抖音热门舞蹈合法吗?
在同一平台上,用平台内的原声翻跳热门舞蹈是常见做法。在广告或其他商业场景中使用别人的编舞或参考视频,则需要许可。
AI跳舞片段多长最合适?
每个镜头一个乐句,约4到5秒,是最稳定的单位。想做15到30秒的短视频,就在剪辑软件里把几个乐句拼起来。