AIリップシンクの仕組みと、きれいに仕上げるコツ

音声駆動のリップシンクの仕組み

話す音は、「ビセーム」とも呼ばれる、少数の見える口の形に対応します。p、b、mでは唇が閉じ、fとvでは下唇が歯に当たり、開いた「あー」では顎が下がります。リップシンクAIは、人が話す何時間分もの動画からこの対応関係を学習し、新しい音声が与えられたとき、各フレームで口がどの形になるかを予測します。

よく知られた例が、2020年にPrajwalらが発表したWav2Lipです。ジェネレーターは、下半分を隠した顔のフレーム、同じ人物の参照フレーム、短い音声の窓を受け取り、音に合う新しい下半分の顔を描きます。別のネットワーク、つまり学習済みのリップシンク「エキスパート」が口と音声が合っているかを判定し、ジェネレーターはそれを満たすように学習します。論文では、このエキスパートこそ、制約のない動画の任意の顔でも同期が保てる主な理由だと報告されています。

新しいシステムはさらに進んでいます。拡散モデルやアバターモデルは、顔全体や頭部を生成し、まばたき、頭の動き、表情まで音声で動かします。1枚の写真が話す動画になるのは、この仕組みのおかげです。最近は、プロンプトから音声と口の動きを同時に生成する動画生成ツールもあります。基本の考え方は同じで、音を入れると、それに合った口の動きが出てくる、というものです。そして品質は、何を入力するかに大きく左右されます。

3つの用途：トーキングフォト、吹き替え、歌

トーキングフォトは最も作りやすく、説得力を持たせるのは最も難しい用途です。モデルがすべてのフレームの動きを作り出すからです。実写映像の吹き替えは、本物の動きを残して口だけを入れ替えるので、より自然に見えますが、元の動画の質が悪いと許容されにくくなります。歌は最も難しい用途で、母音が長く、口が話すときより大きく開き、言葉だけでなく音楽にもタイミングを合わせる必要があります。曲全体のワークフローについては、AIミュージックビデオのガイドをご覧ください。

顔と音声の入力条件

失敗の多くは、入力が原因です。生成する前に、次の点を確認してください。

• 顔の角度：正面、またはおよそ斜め45度まで。横顔は、モデルから口がほとんど見えないため、よく失敗します。
• 口が見えること：唇の上に手、マイク、髪、マスクがなく、強いモーションブラーもないこと。
• 光：顔に均一でやわらかい光が当たっていること。口元にくっきりした影があると、描き直した部分が浮いてしまいます。
• 顔の大きさ：顔がフレームのかなりの部分を占めること。引きの絵の小さな顔は、モデルが使えるピクセルが少なく、ぼやけた結果になります。
• 音声：声は1人分で、ドライ（部屋の反響が少ない）、BGMなし、音割れなし。
• 長さ：ツールの制限を確認する。多くのツールはクリップや音声の合計の長さに上限があり、長いクリップほどズレやすくなります。短い区間のほうが、確認もやり直しも簡単です。

音声の準備と実践例

音声をマスターとし、映像はそれに合わせるものと考えましょう。完全な例として、縦型ショート用に、話者が映る動画の12秒分の英語のセリフを、リップシンク付きでスペイン語に吹き替える手順を示します。

1. 元の音声を書き出して文字起こしする。Whisperベースの文字起こし、たとえばcv.cmの音声文字起こしツールなら、各行のタイムスタンプが得られます。
2. セリフを翻訳し、話して約12秒に収まるよう短くする。スペイン語は英語より時間がかかることが多いので、声を速くせず、言葉を削ります。
3. スペイン語の声を生成する、または録音する。声の選び方や読み方の修正は、AIナレーションのガイドをご覧ください。
4. クリーンにする。背景ノイズを取り、声をドライに保ち、先頭の無音を削って、最初の音が話者の最初の口の動きに合うようにする。
5. 長いファイルからツールに切り出させるのではなく、音声カッターを使って、ツールが使う区間ぴったりに切る。
6. ツールが受け付けるシンプルな形式に変換し、12秒の動画クリップにリップシンクをかける。
7. 結果に、きれいな音声を戻し、フルスクリーンで、p、b、mの音をフレーム単位で見て同期を確認する。

# 1. Extract a mono 48 kHz WAV from the source clip
ffmpeg -i source.mp4 -vn -ac 1 -ar 48000 speech.wav

# 2. Cut the dubbed voice to exactly 12 seconds, starting at 0.25 s
ffmpeg -ss 0.25 -t 12 -i dub_es.wav -ac 1 -ar 48000 dub_es_12s.wav

# 3. Replace whatever audio the tool returned with your own clean track
ffmpeg -i lipsync.mp4 -i dub_es_12s.wav -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

3番目のステップは、見た目以上に大切です。ツールがサウンドトラックを再生成または再エンコードすると、映像は元のタイミングのままなのに、音声だけが少し遅れて始まることがあります。音声を自分で生成する動画モデルでは、1秒前後のズレを計測したこともあります。同期がおかしいと判断する前に、上のコマンドで自分の音声をクリップに戻し、もう一度確認してください。

トーキングフォトでも、音声の手順は同じです。声のサンプルを渡して声を決められるツールもあり、きれいな3秒のサンプルで足りることが多いです。最も音量が大きく、途切れのない1文を選んでください。なお、ツールによっては、参照音声すべての合計の長さに上限があります。

よくあるアーティファクトと直し方

アップスケールはぼやけた結果の改善に効きますが、編集後に1回だけ行い、マスターの書き出しを1つ残してください。エンコードを重ねるたびに、SNSアプリのアップロード時の再エンコードも含め、視聴者が最初に見る口の周りのアーティファクトが増えます。

同意、ディープフェイク規制、ラベル表示

リップシンクは、人が何を言っているように見えるかを変えます。ディープフェイク規制が対象にしているのはまさにこの点なので、同意とラベルは後回しにせず、ワークフローの一部として扱ってください。

• 使うのは、自分が所有している、または目的を明記して書面で許可を得た顔と声だけ。クライアントの動画を他言語に吹き替えるのは明確な例で、著名人に新しい言葉を言わせるのは該当しません。
• YouTubeは、実在の人物が言っていない、していないことをしているように見える内容を含め、リアルに加工または合成されたコンテンツの開示をクリエイターに求めています。また、一部のチャンネルでは、自動吹き替え動画向けに独自の実験的なリップシンクも提供しています。
• EUのAI法（第50条）は、ディープフェイクに当たるAI生成または加工された音声・映像について、デプロイヤーに開示を義務付けています。明らかに芸術的、創作的、風刺的、フィクションの作品では、作品を損なわない形で、コンテンツの存在を開示するだけに義務が限られます。
• 中国の《人工智能生成合成内容標識弁法》（2025年9月1日施行）は、合成動画に、冒頭を含む目に見えるラベルを付けることを求め、抖音（Douyin）、快手（Kuaishou）、小紅書（Xiaohongshu）、WeChatチャンネルなどのプラットフォームに公開する際は、AIコンテンツであると利用者が申告することを求めています。
• 未成年者の顔は避け、性的、名誉毀損、詐欺的なコンテンツを作るためにリップシンクを使ってはいけません。これらは主要なプラットフォームで禁止されており、ラベルの有無にかかわらず、多くの地域で違法です。

各プラットフォームのAIラベルの仕組みは、AIコンテンツの表示に関するガイドで解説しています。