AI 립싱크는 어떻게 작동하고, 깔끔한 결과는 어떻게 얻나요?

오디오 기반 립싱크의 원리

말소리는 소수의 눈에 보이는 입 모양에 대응하며, 이를 흔히 비젬(viseme)이라고 합니다. p, b, m은 입술을 닫고, f와 v는 아랫입술을 이에 대며, 크게 벌린 "아"는 턱을 내립니다. 립싱크 AI는 말하는 사람의 영상 수많은 시간을 보며 이 대응을 학습하고, 새 오디오가 주어지면 프레임마다 입이 어떤 모양이어야 하는지 예측합니다.

대표적인 예가 2020년 Prajwal 등이 발표한 Wav2Lip입니다. 생성기는 아래쪽 절반을 가린 얼굴 프레임, 같은 사람의 기준 프레임, 짧은 오디오 구간을 입력받아 소리에 맞는 새 아랫얼굴을 그립니다. 별도의 사전 학습된 립싱크 "전문가" 네트워크가 입이 오디오와 맞는지 판정하고, 생성기는 이를 만족하도록 학습됩니다. 논문은 이 전문가가 제약 없는 영상의 임의의 얼굴에서도 싱크를 유지하는 핵심 이유라고 보고합니다.

더 새로운 시스템은 한발 더 나아갑니다. 확산 모델 기반 아바타 모델은 얼굴 전체나 머리를 생성하고, 눈 깜빡임, 머리 움직임, 표정까지 오디오로 구동합니다. 사진 한 장이 말하는 영상이 되는 방식입니다. 프롬프트 하나에서 음성과 입 움직임을 함께 만드는 영상 생성기도 나오고 있습니다. 핵심 원리는 같습니다. 소리가 들어가면 맞는 입 움직임이 나오고, 품질은 넣는 입력에 크게 좌우됩니다.

세 가지 용도: 말하는 사진, 더빙, 노래

말하는 사진은 만들기는 가장 쉽지만 설득력 있게 만들기는 가장 어렵습니다. 모델이 움직임의 모든 프레임을 지어내기 때문입니다. 실제 영상 더빙은 실제 움직임을 유지하고 입만 바꾸기 때문에 더 자연스럽지만, 원본 영상이 나쁘면 봐주지 않습니다. 노래가 가장 까다롭습니다. 모음이 길고, 입이 말할 때보다 크게 벌어지며, 가사만이 아니라 음악에 타이밍을 맞춰야 합니다. 노래 전체 작업 흐름은 AI 뮤직비디오 가이드를 참고하세요.

얼굴과 오디오의 입력 조건

실패의 대부분은 입력에서 비롯됩니다. 생성하기 전에 아래를 확인하세요.

• 얼굴 각도: 정면이거나 최대 3/4 정도 각도까지가 좋습니다. 옆모습은 입이 너무 적게 보여서 자주 실패합니다.
• 입이 보일 것: 입술을 가리는 손, 마이크, 머리카락, 마스크가 없어야 하고 심한 모션 블러도 없어야 합니다.
• 조명: 얼굴에 고르고 부드러운 빛을 쓰세요. 입 위에 강한 그림자가 지면 다시 그린 영역이 눈에 띕니다.
• 얼굴 크기: 얼굴이 화면의 상당 부분을 차지해야 합니다. 와이드 샷의 작은 얼굴은 모델이 쓸 픽셀이 적어 결과가 뭉개집니다.
• 오디오: 목소리는 하나, 드라이(방 울림이 적음), 밑에 깔린 음악 없음, 클리핑 없음.
• 길이: 도구의 제한을 확인하세요. 클립 길이나 전체 오디오 길이에 상한을 두는 도구가 많고, 긴 클립일수록 더 밀립니다. 짧은 구간이 확인과 재작업에 유리합니다.

오디오 준비와 작업 예시

오디오가 마스터이고 영상은 그것을 따라간다고 생각하세요. 아래는 토킹 헤드 클립의 영어 12초 대사를 세로 숏폼용으로 스페인어 립싱크 더빙하는 전체 예시입니다.

1. 원본 음성을 추출해 받아 적습니다. cv.cm의 음성 인식 도구처럼 Whisper 기반 변환기를 쓰면 줄마다 타임스탬프를 얻을 수 있습니다.
2. 대사를 번역하고 말했을 때 약 12초에 맞게 줄입니다. 스페인어는 보통 영어보다 시간이 더 걸리니 목소리를 빠르게 하지 말고 단어를 덜어내세요.
3. 스페인어 목소리를 생성하거나 녹음합니다. 목소리 선택과 발음 교정은 AI 더빙 가이드를 참고하세요.
4. 정리합니다. 배경 소음을 지우고, 목소리는 드라이하게 두고, 첫 소리가 화자의 첫 입 움직임과 맞도록 시작 부분의 무음을 자릅니다.
5. 도구가 긴 파일에서 임의의 구간을 고르게 두지 말고, 오디오 컷터로 도구가 쓸 정확한 구간만 잘라 냅니다.
6. 도구가 받는 일반 포맷으로 변환한 뒤 12초 영상 클립에 립싱크를 돌립니다.
7. 결과물에 깨끗한 오디오를 다시 입히고, 전체 화면에서 p, b, m 소리를 프레임 단위로 싱크를 확인합니다.

# 1. Extract a mono 48 kHz WAV from the source clip
ffmpeg -i source.mp4 -vn -ac 1 -ar 48000 speech.wav

# 2. Cut the dubbed voice to exactly 12 seconds, starting at 0.25 s
ffmpeg -ss 0.25 -t 12 -i dub_es.wav -ac 1 -ar 48000 dub_es_12s.wav

# 3. Replace whatever audio the tool returned with your own clean track
ffmpeg -i lipsync.mp4 -i dub_es_12s.wav -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

3단계는 보기보다 중요합니다. 도구가 사운드트랙을 재생성하거나 재인코딩하면 오디오가 조금 늦게 시작하는데 화면은 원래 타이밍을 따르는 경우가 있습니다. 오디오를 직접 렌더링하는 영상 모델에서는 약 1초 정도의 어긋남을 측정한 적도 있습니다. 싱크가 틀렸다고 결론 내리기 전에 위 명령으로 내 오디오를 클립에 다시 입히고 확인하세요.

말하는 사진도 오디오 단계는 같습니다. 목소리를 정하기 위해 음성 샘플을 받는 도구도 있는데, 깨끗한 3초 샘플이면 대개 충분합니다. 가장 크고 끊김 없는 문장을 고르고, 참조 오디오 전체 합계 길이에 상한이 있는 도구도 있다는 점을 염두에 두세요.

자주 생기는 결함과 해결법

업스케일은 뭉개진 결과에 도움이 되지만, 편집이 끝난 뒤 한 번만 하고 마스터 내보내기를 하나 보관하세요. 소셜 앱이 업로드할 때 하는 것을 포함해 인코딩이 한 번 늘 때마다 시청자가 가장 먼저 보는 입 주변에 결함이 쌓입니다.

동의, 딥페이크 규정, 라벨 표시

립싱크는 사람이 하는 말처럼 보이는 내용을 바꿉니다. 바로 딥페이크 규정이 다루는 부분이므로, 동의와 라벨은 나중에 챙길 일이 아니라 작업 흐름의 일부로 다루세요.

• 내가 소유했거나 목적을 명시한 서면 허락을 받은 얼굴과 목소리만 쓰세요. 고객의 영상을 다른 언어로 더빙하는 것은 분명한 사례이고, 공인에게 새로운 말을 시키는 것은 아닙니다.
• 유튜브는 크리에이터에게 사실적으로 변형되거나 합성된 콘텐츠, 특히 실제 인물이 하지 않은 말이나 행동을 한 것처럼 보이게 하는 콘텐츠를 고지하도록 요구합니다. 유튜브는 일부 채널의 자동 더빙 영상에 자체 실험적 립싱크 기능도 제공합니다.
• EU 인공지능법(AI Act) 제50조는 딥페이크에 해당하는 AI 생성·조작 오디오와 영상을 배포자가 공개하도록 요구합니다. 명백히 예술적·창작적·풍자적·허구적인 작품이라면 작품 감상을 해치지 않는 방식으로 해당 콘텐츠의 존재를 공개하는 정도로 의무가 제한됩니다.
• 2025년 9월 1일부터 시행된 중국 《인공지능 생성 합성 콘텐츠 표시 방법》은 합성 영상에 시작 부분을 포함한 눈에 보이는 표시를 요구하고, 사용자가 더우인, 콰이서우, 샤오홍슈, 위챗 채널 같은 플랫폼에 게시할 때 AI 콘텐츠임을 신고하도록 요구합니다.
• 미성년자의 얼굴은 피하고, 성적이거나 명예훼손적이거나 사기성 콘텐츠를 만드는 데 립싱크를 절대 쓰지 마세요. 이런 용도는 주요 플랫폼에서 금지되고 많은 곳에서 불법이며, 라벨이 있어도 마찬가지입니다.

각 플랫폼의 AI 라벨이 어떻게 작동하는지는 AI 콘텐츠 표시 가이드에서 설명합니다.