テキストから動画を作るAI（text-to-video）はどう動く？

生成ボタンを押したとき何が起きるか

テキストから動画を作るシステムの多くは、画像用の拡散モデルを動画に拡張したものです。2022年にHoらが発表した論文「Video Diffusion Models」が基本の考え方を示しました。クリップをフレームの塊として扱い、学習時に本物のクリップへノイズを加え、そのノイズを取り除くネットワークを学習させます。生成時には、全フレームを純粋なノイズから始めて同時にノイズ除去するため、動きと見た目が一緒に決まります。

これを大規模に実用化するための考え方が3つあります。

• 潜在空間：モデルは生のピクセルではなく、圧縮された動画表現上で処理します。別のデコーダーが結果をフレームに戻します。Stable Video Diffusionは、この潜在空間方式のオープンな例です。
• 空間と時間を一緒に扱う：ネットワークはフレーム内だけでなくフレーム間も見るため、1フレーム目と40フレーム目の顔を同じ顔として扱えます。OpenAIのSoraのレポートは、動画を時空間パッチに切り分けてTransformerに入力する方法を説明しています。
• テキスト条件付け：言語エンコーダーがプロンプトを数値に変換し、ノイズ除去の各ステップを誘導します。生成前にプロンプトから詳しいキャプションを書き起こすシステムもあります。

GoogleのImagen Videoはカスケード方式を加えました。まず小さく短くフレームレートの低いクリップを生成し、その後さらに別のモデルで解像度とフレームレートを上げる方法です。この2段階の考え方は今も多くの製品に使われており、ドラフトモードが速くて画質が低く、最終レンダリングが遅くて高画質なのはそのためです。

アイデアから使えるクリップまでの流れ

1. ショットを決めます。被写体1つ、アクション1つ、カメラワーク1つ。それ以上必要なら複数ショットを計画します。
2. 被写体、アクションとタイミング、カメラ、場所と照明、スタイル、音声を入れてプロンプトを書きます。構成は動画プロンプトのガイドを参照してください。
3. 画面で長さ、アスペクト比、解像度、音声のオン／オフなどの技術設定をします。
4. 同じプロンプトで2〜4テイクを生成します。シードによって結果は大きく変わります。
5. 最良のテイクを選び、まだ改善が必要ならプロンプトを1点だけ変えます。
6. 顔や商品を正確に再現したいときは、画像から動画に切り替え、開始フレームを渡します。
7. 編集ソフトでクリップをトリミングします。最初と最後の数フレームが揺れていたら切り落としましょう。

最も高くつく失敗は、出来の悪いショットをどんどん長くなるプロンプトで直そうとすることです。3回試してうまくいかないなら、そのショットはモデルにとって複雑すぎる可能性が高いです。アクションを単純にするか、分割しましょう。

重要な設定

長さ、解像度、料金の上限は頻繁に変わり、ツールによっても異なります。使うツールの最新のドキュメントで確認してください。

例：15秒のクリップを3ショットに分ける

朝の支度を15秒の1クリップで頼むのではなく、約5秒ずつの3ショットを計画します。各ショットの役割は1つで、同じスタイル行を共通にして見た目をそろえます。

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

被写体の描写とスタイル行を各ショットで一字一句同じに繰り返すのが、最も簡単な連続性の保ち方です。さらに一貫性を高めたいなら、最初にキャラクターの静止画を1枚作り、開始フレームとして使いましょう。

テキストから動画か、画像から動画か

テキストから動画は、すべてを言葉から決めます。アイデア出しや、細部の見た目にこだわらないシーンに向いています。画像から動画は、渡した画像から出発するので見た目が固定され、プロンプトは動きだけ描写すれば済みます。

よくある組み合わせは、画像生成モデルで静止画を作ってからアニメーションさせる方法です。たとえば cv.cm の ai-image-generator は自分のGPU上で384pxのドラフト画像を素早く作れます。それを元にした大きな画像を、本格的な動画モデルで動かします。

あらかじめ織り込むべき限界

テキストから動画は急速に進歩しましたが、構造的な弱点も残っています。現時点では、次の点を前提に計画してください。

• 物理：液体を注ぐ、割れる、衝突する、布の動きなどは不自然になりがちです。Soraのレポート自身も、ガラスが割れる場面をモデルが正しく扱えない物理の例に挙げています。物理的な出来事は単純にするか、画面外にしましょう。
• 手と小さな物：指が溶け合ったり、物が手をすり抜けたりします。手の動きは単純にし、指先の細かい作業のクローズアップは避けましょう。
• 画面内の文字：看板や字幕は文字化けしがちです。文字は編集で足しましょう。
• 顔のずれ：クリップの最初と最後で顔が変わることがあり、クリップ間ではさらに変わります。開始画像や参照画像を使いましょう。
• 数や群衆：「3匹の犬」が2匹や4匹になったり、群衆の人物が混ざったりします。
• 長回し：クリップが長くなるほど、画質とプロンプトへの追従性が落ちます。短いショットを編集でつなぎましょう。