AIで動画を編集する方法｜各機能でできることと使いどころ

AI動画編集ソフトにできること、できないこと

AI動画編集ソフトとは、特定の作業にモデルを組み込んだ普通の編集ソフトです。モデルは、音声を聞き取り、顔や物体を追跡し、声とノイズを分離し、あるいは新しいピクセルを生成します。執筆時点では、CapCut／剪映、Premiere Pro、DaVinci Resolve、Descriptなどの編集ソフトに、名前は違えど同様の機能が入っています。

AI編集は2つのグループに分けて考えると役に立ちます。1つは分析系の機能で、素材の中から言葉、間、顔、ビート、ショットの切り替わりを見つけます。時間を節約でき、結果も確認しやすいのが特徴です。もう1つは生成系の機能で、新しい映像や音を作ります。アップスケールによるディテール、補間フレーム、拡張した背景、新しいB-rollなどです。撮影していないものを足せるため、より慎重な確認が必要で、リアルな場合は開示も求められます。

AIは、動画が何についてのものかを決めてはくれません。長いトークのどの60秒が視聴者にとって一番面白いかはわかりませんし、どの間がドラマチックなタメで、どれがただの無音なのかも判断できません。その判断は、あなたの仕事として残ります。

AI動画編集の機能一覧

これらの機能の多くは、公開されている研究に基づいています。リアルタイムのフレーム補間にはRIFE、実世界の画像の超解像にはReal-ESRGAN、音声のソース分離にはHybrid Demucs、音声認識にはWhisperがあります。商用ツールは独自のモデルを使っていますが、得意なことや失敗の傾向は似ています。

ワークフロー：長い収録から60秒のショートを切り出す

具体例で説明します。2人でのポッドキャストを撮影した40分の横型の収録があり、ショート、TikTok、リール向けに60秒の縦型クリップを1本作りたいとします。

1. 収録全体を文字起こしします。タイムスタンプ付きの検索できるテキストになります。
2. 使う場面を探します。文字起こしを読んだり検索したりして、それだけで意味が通る箇所を見つけます。明快な質問と答え、強い意見、意外な数字などです。候補を2、3か所マークします。
3. 語数の予算を立てます。英語の話し言葉はおよそ1秒あたり2.5〜3語なので、60秒には約150〜180語が入ります。切る分があるので、200〜250語ほどの箇所を選びます。
4. 文字起こしから荒編集します。話題から外れた文と、視聴者に不要な前置きを削除します。冒頭は挨拶ではなく、一番面白い文から始めます。
5. 無音とフィラーの除去を実行して、聞き直します。意味のある間は戻してください。オチの前のタメなどがそうです。
6. 音声をクリーンアップします。ノイズ除去や音声分離を中程度の強さでかけ、ヘッドホンで元の音と聞き比べます。
7. 9:16にリフレームします。自動リフレームに話者を追わせたうえで、話者が切り替わるカットをすべて確認します。クロップが空いた椅子を映してしまう場面は直します。
8. 字幕を追加します。名前と数字を直し、文字はセーフゾーンの内側に収めます。
9. フックを入れます。最初のフレームで、話者の顔が明るく、文の途中で映っているようにします。私たちのテストでは、遅い・暗い最初の1秒で、クリップに見てもらうチャンスが来る前に視聴者が離脱しました。
10. 1080×1920の高画質マスターを1本書き出し、同じファイルを各プラットフォームに投稿します。

編集ソフトにリフレーム機能がない場合は、ffmpegで固定クロップを作れます。次のコマンドは、区間を切り出し、無音の位置を一覧にし、2人ショットの左半分を9:16にクロップします。

# 1) Cut the chosen passage (from 12:04 to 13:15) out of the recording
ffmpeg -ss 00:12:04 -to 00:13:15 -i podcast.mp4 -c:v libx264 -crf 18 -c:a aac -b:a 192k segment.mp4

# 2) List pauses longer than 0.6 s that are quieter than -35 dB
ffmpeg -i segment.mp4 -af silencedetect=noise=-35dB:d=0.6 -f null - 2>&1 | grep silence_

# 3) Fixed 9:16 crop around the left speaker of a 1920x1080 frame
ffmpeg -i segment.mp4 -vf "crop=608:1080:180:0,scale=1080:1920:flags=lanczos,setsar=1" \
  -c:v libx264 -crf 18 -pix_fmt yuv420p -c:a copy vertical.mp4

手順3の crop=608:1080:180:0 は、幅608ピクセル×高さ1080ピクセルの窓を、左から180ピクセルの位置から切り出します。608×1080は9:16に近く、scaleの手順でちょうど1080×1920にします。3番目の数字を変えると窓の位置が動きます。

正しい作業の順番

順番が大事なのは、後の工程に必要な情報を壊してしまう工程があり、早すぎる段階でやると無駄になる作業もあるからです。

1. まずコンテンツを選んでカットします。以降のすべての工程が、少ない素材で済みます。
2. 字幕の前に音声をクリーンアップします。音声認識がクリアな音声を聞き取れます。
3. 字幕の前にリフレームします。最終のフレームに文字を配置できます。
4. 書き出しの前、すべてのクリップをタイムラインに置いてからカラーマッチをします。
5. アップスケールは最後に、完成した編集に対して1回だけ行います。編集前にクリップごとにアップスケールすると、レンダリング時間が増え、設定の違いでカットの見た目が揃わなくなることもあります。
6. マスターファイルは1本だけ残します。各アプリはアップロードをもう一度圧縮し、再エンコードのたびに劣化が増えます。

生成系機能と開示

分析系の機能で問題になることはほとんどありませんが、生成系は問題になることがあります。YouTubeの開示ポリシーでは、AIで作成または変更したリアルなコンテンツへの表示を求めています。たとえば、実在の人物が言っていないことを話しているように見せる、実際の出来事の映像を改変する、実際には起きていないリアルなシーンを作る、といった場合です。同じページに、色調補正、ビューティーフィルター、字幕の作成、制作作業の補助など、開示が不要な編集も挙げられています。

実務的には、字幕、無音カット、ノイズ除去、カラーマッチは、カメラの前で起きたことを変えません。リアルな街並みの生成B-roll、人物を足したショットの延長、クリップ内の顔の差し替えは変えます。視聴者が生成された部分を本物の映像と誤認しうる場合は、ラベルを付けてください。TikTokや抖音などのプラットフォームには独自のAI生成コンテンツのラベルがあり、中国とEUにも表示ルールがあります。詳しくはAI生成コンテンツの表示に関するガイドをご覧ください。

限界とよくある失敗

• どこもかしこもジャンプカット：すべての間を削ると、話者の頭がフレームの間でジャンプします。一部のカットは約10〜15%のズームイン、B-rollのショット、字幕の切り替えで隠し、自然な間をいくつか残しましょう。
• 文脈の欠落：長いトークから切り出した短いクリップは、話者の意図を変えてしまうことがあります。クリップの前後の文を読み、引用を逆の意味になるようにカットしないでください。
• 加工しすぎた声：強いノイズ除去は声を細くしたりロボットのようにしたりします。邪魔な音が消える最小の設定を使い、ルームトーンを少し残してください。
• ディテールを作ってしまうアップスケール：超解像モデルはディテールを推測します。顔が少し変わったり、小さな文字が偽の文字になったりします。アップスケールしたマスターは、大きな画面で元の映像と見比べてください。
• 速い動きへの補間：補間で作られるフレームは推測です。手、回転する物、交差する人はよく歪みます。補間は、ゆっくりした単純な動きにだけ使いましょう。
• リフレームを信じすぎる：自動リフレームが追うのは動きと顔であって、意味ではありません。2人の会話では、違う人に張りついたままになることがあります。話者が切り替わるたびに確認してください。
• 長い生の収録をいきなりAIで編集する：重い処理をかける前に、使う箇所を選んでください。その方が速く、確認する量も減ります。

短いクリップなら、無料のAI動画編集ソフトで十分なことが多いです。比較するときは、ランキングではなく自分の用途に大事な点を確認しましょう。書き出しにウォーターマークが入るか、書き出し解像度、ファイルが端末で処理されるのかアップロードされるのか、字幕が対応している言語などです。最終ファイルの比率とサイズについては、縦型動画サイズのガイドをご覧ください。