画像から動画を作るAI（image-to-video）の仕組みは？

テキストから動画との違い

テキストから動画では、顔、服、部屋、光、動きなど、モデルがすべてを作り出します。画像から動画では、最初のフレームをあなたが用意し、モデルはその後に起きることだけを作ればよくなります。GoogleのVeoのドキュメントはこれを、既存の画像を新しい動画の最初のフレームとして使うことと説明しており、OpenAIのSoraガイドは最初のフレームを「アンカーする」と呼んでいます。

そのため、プロンプトの役割も変わります。誰が、どこで、どんなスタイルかは、画像がすでに答えています。プロンプトが答えるのは、何がどの方向にどんな速さで動くか、そしてカメラが何をするかです。

モデル内部では、開始画像がエンコードされ、テキストとともに条件として入力されます。オープンモデルのStable Video Diffusionは、同じ潜在動画拡散モデルを土台に、テキストから動画と画像から動画の両方のバリアントとして公開されました。

開始画像の選び方

結果を左右するのは、プロンプトよりも開始画像です。画像から動画の失敗の多くは、動きの余地がない開始画像に原因があります。

• 出力のアスペクト比に合わせます。ツールの出力が16:9か9:16なら、その形で渡してください。それ以外のサイズはトリミングや拡縮されることがあります。GoogleのVeoのドキュメントは、16:9または9:16で720p以上の入力を推奨しています。
• 動きの余地を残します。人物が右へ歩くなら右側に空間を空けておきます。カメラが寄るなら、顔がすでにフレームいっぱいになっていてはいけません。
• アクションの開始時のポーズにします。「彼女が振り返ってカメラを見る」なら、最初は目をそらしている姿にします。
• 被写体をくっきりと写します。ぼやけた顔や小さな顔は、動かすとさらに悪化します。
• 手はシンプルに。隠れている、力を抜いている、何も持っていない手のほうがきれいに動きます。
• 残したい文字は入れないでおきます。ロゴや看板は、フレームが動き始めると歪むことがあります。

画像モデルで開始画像を作るなら、完成したポスターではなく、そのショットのために生成しましょう。自然なポーズ、納得のいく光源、被写体の周囲の余白がポイントです。

動きのプロンプトの書き方

変化することだけを書きます。画像の描写を繰り返すと、モデルに不要な言葉を与えるだけで、動かなくなってしまうことがあります。Googleの画像から動画のドキュメントにある例も、動物が自然に動く、花がやさしく揺れる、といった短い動きの1行です。

Weak:
A beautiful woman with long red hair in a green dress standing in a field
of flowers at sunset, highly detailed.

Strong:
She slowly turns her head toward the camera and smiles. A light breeze
moves her hair and the flowers. Slow dolly in. Audio: wind, distant birds.

1. 被写体の動き：アクションを1つ、速さと終点つきで。
2. 副次的な動き：髪、葉、湯気、水など、シーンを生き生きさせる小さな動き。
3. カメラ：動きを1つ、または固定。カメラワーク用語のガイドを参照してください。
4. モデルが音を生成する場合は、音声も。

動きは、開始時のポーズから物理的に可能な範囲にとどめます。画像で座っている人が、2秒できれいに走っているようにはなりません。アクションが大きい場合は、最初と最後のフレームを使うツールで、終了ポーズも渡しましょう。

2.5D視差の手法：深度マップとカメラの動き

写真を動かす方法はもう1つあり、こちらははるかに簡単で、生成AIによる動画ではありません。2019年のNiklausらの論文にちなみ、3D Ken Burnsエフェクトと呼ばれることがよくあります。

1. 深度を推定します。Depth Anything V2のような深度推定モデルが、各ピクセルがカメラからどれだけ離れているかを予測します。
2. 写真を3Dのレイヤーにします。各ピクセルを深度の分だけ奥に押し出すと、写真は平らな紙ではなく浅いレリーフになります。
3. 仮想カメラを動かします。カメラが寄る、引く、回り込む、パンする。近くのピクセルは遠くのものより大きくずれます。これが視差で、脳は奥行きとして認識します。
4. 隙間を埋めます。カメラが動くと、被写体の裏に隠れていた部分が見えてしまいます。簡単なツールは近くのピクセルを引き伸ばしたり少し拡大したりして端を隠し、3D Ken Burns論文のような研究システムは、隠れた領域をインペイントで補います。

cv.cm の v ツールが使っているのがこの方法です。Depth Anything V2をブラウザ内で実行し、GPUで視差をレンダリングして、押す・引く・オービット・パン・上昇の軌道に沿ってMP4に書き出します。動くのはカメラで、被写体は瞬きも歩行も発話もしません。cv.cm の depth-map ツールで、先に深度マップそのものを確認することもできます。

視差が最もよく効くのは、奥行きの層がはっきりした写真です。遠い背景の前に立つ人物、テーブルの上の商品、遠くへ伸びる通りなどが当てはまります。書類や壁のような平面的な被写体は、カメラに見せる奥行きがないため不向きです。

よくある問題と対処法