AI ダンス動画の作り方

2つの方法：モーショントランスファーかプロンプト駆動のダンスか

モーショントランスファーは、ドライビング動画の身体の動きを、別の人物やキャラクターに適用する方法です。Everybody Dance Nowなどの研究システムは、元のダンサーと対象の間をつなぐものとしてポーズを使い、その後のAnimate Anyoneなどの拡散モデルによる手法は、参照画像の見た目を保ったまま、ポーズ列から1枚の静止画を動かします。一般向けのダンス動画ジェネレーターや、Kling、Seedance、Runway、Hailuoなどの参照動画モードも同じ考え方です。

プロンプト駆動のダンスでは、キャラクター画像、音楽、動きを書いたタイムラインをモデルに渡します。ドライビング動画がないので、振り付けはモデルが言葉から作り出します。

振り付けが重要ならモーショントランスファーを使いましょう。オリジナルの作品にしたいときや、きれいな参考動画がないときは、プロンプト駆動のダンスが向いています。

写真と最初のフレームを準備する

キャラクター画像は最初のフレーム、または見た目のアンカーになるので、品質と視聴維持率の両方を左右します。実際には、最初のフレームで、最初の2、3秒に離脱する視聴者の数が決まります。動画の中でいちばん魅力的なフレームにしておきましょう。

• 全身か膝上で、立った状態。全身と両手がフレームに収まっていること。足先や手が切れていると、うまく補完されません。
• 明るく均一な光で、顔がはっきり見えて光が当たっていること。うつむいた顔、髪や帽子で隠れた顔、暗い部屋は避けます。
• 被写体は、すでにダンスの構えのポーズか笑顔であること。直立で硬い姿勢では、ダンスが静止した状態から始まり、出だしが遅く見えます。
• 9:16では、ダンサーが画面の高さの大部分を占めるようにします。広い部屋の中の小さな人物は、顔がぼやけたり、手足が増えたり融合したりします。
• はっきり見える服：ウエストの位置が分かる、袖が手首で終わる、スカート丈がくるぶしより上。長く垂れる布はいちばん難しいケースです（後述）。

複数のキャラクターを使う場合は、新しい参照画像をすべてキャラクターシートと、1キャラクターずつ照合してください。衣装、手や前足、アクセサリー、髪、色、身長比です。画像編集ツールは頼んでいない細部を黙って変えてしまうことがあり、動画モデルはそのミスをすべてのフレームにコピーします。シートの作り方は「AIキャラクターの一貫性」のガイドで説明しています。

モーショントランスファー：生成する前に参考動画を直す

参考動画は、テキストよりはるかに強いアンカーです。参考動画にレンズフレア、ダンサーが持っている小道具、鏡、特徴的なライティング、背景の別の人物が含まれていると、プロンプトで「入れないで」と書いても、モデルはそれをコピーしがちです。プロンプトで参考動画と争ってもうまくいきません。

1. 参考動画を、必要な振り付けの部分にぴったりトリミングし、音楽も同じ範囲に切り出します。
2. ダンサーが中央に全身で収まり、出力と同じアスペクト比になるようにクロップします。
3. 小道具や背景の人物をマスクまたは削除します。光が強い、あるいは色付きの場合は色を補正します。
4. 参考のダンサーと自分のキャラクターの体型が近いか確認します。背の低い丸いマスコットが、背の高いダンサーの脚の長い動きをコピーすると、引き伸ばされたり崩れたりします。
5. そのうえで、参考動画の問題点ではなく、仕上がってほしい姿（キャラクター、舞台、光）を書いたプロンプトを書きます。

ストーリーボードのグリッドも動きの参考として有効です。たとえば12コマの9:16画像を1枚作り、1コマにつきビートのポーズを1つ入れます。プロンプトのタイムラインは「コマ1（左上）＝0～2秒」のように書きます。コマに数字や文字は入れないでください。モデルが画面上のグラフィックとしてコピーしてしまいます。1コマのミスが動画にコピーされるので、すべてのコマを等倍で確認しましょう。

同意も大切です。実在の人物の写真は、本人の許可を得た場合にのみ使い、その人が踊っていないダンスを本物として見せてはいけません。振付師の振り付けが保護されている場合もあります。プラットフォーム上で再利用のために共有されている流行のダンスは、そのプラットフォーム内なら通常問題ありませんが、誰かの振り付けを使った有料広告には許可が必要です。

プロンプト駆動のダンス：流れる動きを書く

動画モデルは、ある種の言葉にとても忠実に従います。私たちの検証では、「ポーズを保つ」「フリーズ」「静止」「スローモーション」と書くと、ダンスがポーズの紙芝居になりました。ダンサーが形から形へ飛び、その間で止まってしまうのです。こうした言葉は避け、途切れない動きを書きましょう。

音楽のフレーズごとに約4秒、つまり8カウントを1つの長回しショットにして、その中に時刻付きの動きのアンカーを複数入れます。ただし、やりすぎは禁物です。1拍に細かい動きを詰め込みすぎると、ぎこちなくコミカルに見えます。クラシック、コンテンポラリー、スローなポップスのようなやわらかいスタイルでは、ポーズではなく軌道を書き、動きは1～2拍に1つにして、静止があっても半拍以内にとどめます。

Phrase 2 (4.0-8.0 s), one continuous shot, 9:16, medium-wide, camera at chest height.
The dancer from the reference: long white sleeves, pale blue skirt, hair in a low bun.
4.0-5.0 s (downbeat): step right, weight shifts onto the right foot, both arms open low at hip height.
5.0-6.0 s: the right arm sweeps in an arc from the hip to shoulder height while the body turns a quarter left.
6.0-7.0 s: step back with the left foot, both arms float down, sleeves trail behind the hands.
7.0-8.0 s (pause in the music): a soft half turn to face the camera, arms rising to chest height, smile.
Arms stay below 45 degrees above the shoulder. Continuous movement, no stops.

布には専用のルールが必要です。広い袖、長いリボン、マントなどは、布が腕に追従して顔を覆うことがあります。腕の高さに上限を決め（たとえば肩から45度より上に上げない）、すべてのフレーズに書き込みましょう。

書くのは、カメラに映るものだけです。動画モデルは比喩をそのまま映像にします。「袖が筆で空中に絵を描くように動く」と書くと、手に本物の筆が現れることがあります。動作、素材、光を描写し、たとえは入れないでください。

動きをビートに合わせる

まずBPMを調べます。たとえばcv.cmのメトロノームに合わせてタップします。120 BPMでは1拍が0.5秒、8カウントが4秒で、100 BPMなら8カウントは4.8秒です。各アンカーは秒で指定し、「最初のダウンビート」「いちばん大きな音」「間（ま）」のように、音楽の出来事も併せて書きます。モデルは両方を使います。

多くのモデルは、整数秒や5、10、15秒といった固定の長さしか受け付けません。クリップの長さにぴったり合う音楽の切り出しを選び、区間ごとに生成するときは、モデルに任せず自分で区間ごとの音声を切り出しましょう。参照音声の合計を約30秒に制限するツールもあるので、長いダンスは複数の区間に分ける必要があります。

モデルがサウンドトラックを生成または再レンダリングすると、音楽の開始が遅れることがあります。私たちの検証では約1秒のズレが出ましたが、動きはプロンプトのタイミングにほぼ従っていました。動きがビートに合っていないと判断する前に、元の曲を戻しましょう。

ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

それでも区間が数フレーム早い、または遅く見える場合は、再生成せず、編集ソフトでずらしましょう。

よくあるアーティファクトと対処法

手と足は最も弱い部分で、特に素早いフットワークや回転で崩れやすくなります。複雑な動きの間は、カメラはなるべく固定しましょう。カメラが動いて身体も動くと、崩れたフレームが出る確率は2倍になります。

生成されたクリップは720pや1080pで細部が甘いことが多いので、アップスケールは編集の後に1回だけ行い、書き出しのマスターを1本にして、何度も再エンコードしないようにします。リアルな仕上がりのものは、プラットフォームが求める場合は表示しましょう。「AIコンテンツの表示ルール」のガイドを参照してください。