자연스러운 AI 더빙(보이스오버)은 어떻게 만드나요?

AI 더빙 작업 흐름 8단계

AI 더빙은 마이크 대신 신경망 음성 합성(TTS) 목소리로 만든 내레이션입니다. 음성 모델은 작업의 한 부분일 뿐이고, 품질 대부분은 대본, 타이밍, 믹싱에서 나옵니다. 숏폼이나 설명 영상에는 아래 흐름이 안정적입니다.

1. 대본을 마무리하고 타이머를 켠 채 직접 한 번 소리 내어 읽어 봅니다.
2. 목소리를 고르고, 샘플 문단이 아니라 대본에서 가장 까다로운 두 문장으로 테스트합니다.
3. 소리 내어 읽으면 어색한 줄을 고칩니다. 긴 문장, 약어, 숫자, 브랜드명이 대상입니다.
4. 비트 하나 또는 문장 하나씩 짧게 나눠 생성합니다. 그래야 나머지를 건드리지 않고 실패한 테이크만 다시 만들 수 있습니다.
5. 표기 바꿔 쓰기나 SSML 태그로 발음을 고칩니다.
6. 타임라인에 목소리를 먼저 놓고, 그 목소리에 맞춰 화면을 자릅니다.
7. 목소리를 정리하고 정규화한 뒤 그 아래에 음악을 깝니다.
8. 내보낸 뒤 폰 스피커와 헤드폰으로 들어 보고, 플랫폼이 요구하면 AI 라벨을 붙입니다.

이 글은 영상에 AI 목소리를 쓰는 방법을 다룹니다. 음성이 내부적으로 어떻게 합성되는지는 텍스트 음성 변환 가이드를 참고하세요.

영상에 맞는 목소리 고르기

ElevenLabs, 캡컷(CapCut)이나 젠잉(Jianying)에 내장된 목소리, 대형 클라우드 플랫폼의 TTS 같은 대부분의 AI 더빙 생성기는 수십 가지 목소리를 제공합니다. 데모 영상이 아니라 용도로 고르세요. 데모 문장은 목소리가 좋게 들리도록 쓰여 있지만, 실제 대본에는 제품명, 숫자, 짧고 강한 문장이 들어갑니다.

채널이나 시리즈마다 목소리는 하나로 통일하세요. 시청자는 그 목소리를 기억하게 되고, 에피소드마다 바꾸면 시리즈가 따로 노는 영상처럼 느껴집니다. 제공사가 모델을 업데이트하면 같은 설정이라도 결과가 달라질 수 있으니, 목소리 이름과 모든 설정(속도, 안정성이나 스타일 값, 모델)을 메모해 두세요.

듣기 좋게 쓰고 컷에 맞춰 속도 조절하기

글로 읽기 좋은 문장이 소리로 들으면 딱딱한 경우가 많습니다. 듣는 사람은 앞으로 되돌아갈 수 없으니, 문장마다 한 번 듣고 이해되도록 쓰세요.

• 문장 하나에 아이디어 하나, 가급적 15단어(한국어는 한 호흡) 이내로 씁니다.
• 중요한 단어를 문장 끝에 둡니다. 목소리가 자연스럽게 내려앉는 자리입니다.
• 숫자는 말하는 대로 씁니다. "~2,000"이 아니라 "약 이천"처럼요.
• 글자로 읽는 약어가 아니라면 풀어서 씁니다.
• 쉼표와 마침표로 리듬을 조절합니다. 대부분의 목소리는 마침표에서 쉬고 쉼표에서는 거의 쉬지 않습니다.

Before (written):
  Our app supports 4K/60fps export, HDR & batch processing (Win/Mac).

After (for the ear):
  You can export in 4K at sixty frames per second.
  It handles HDR. And it works in batches, on Windows and Mac.

속도는 또렷한 영어 내레이션 기준 초당 2.5~3단어로 계획하세요. 숏폼에서는 영상을 목소리에 맞추지, 그 반대로 하지 않습니다. 타임라인에 내레이션을 먼저 놓고, 컷이 새 문장의 시작이나 핵심 단어에 떨어지게 하세요. 한 샷에 비해 목소리가 길다면 목소리를 빠르게 돌리지 말고 문장을 짧게 고쳐 쓰세요. 실제로 약 10퍼센트를 넘는 속도 변경은 AI 목소리를 급하고 부자연스럽게 들리게 하는 경향이 있습니다.

비용을 내고 생성하기 전에 속도를 듣고 싶다면 기기의 목소리로 대본을 읽어 볼 수 있습니다. 예를 들어 cv.cm의 텍스트 음성 변환 도구는 브라우저 내장 음성을 쓰고 속도 조절이 가능합니다. 오디오를 내보내지 못하고 스튜디오급 목소리도 아니며, 타이밍을 확인하는 용도입니다. 내 목소리를 가이드 트랙으로 쓰고 싶다면 녹음기로 녹음해서 그에 맞춰 컷 타이밍을 잡으세요.

발음 교정: 표기 바꾸기, 쉼, 음소

이름, 브랜드, 약어, 외래어에서 AI 목소리가 가장 많이 틀립니다. 가장 간단한 방법부터 정밀한 방법 순으로 시도해 보세요.

1. 단어를 대본에서 발음대로 다시 적습니다. "Nguyen"을 "윈"으로, "GIF"를 "지프"나 "기프"로 원하는 쪽으로 적는 식입니다. 프로젝트마다 바꿔 쓴 목록을 관리하세요.
2. 문장 부호로 쉼이나 강세를 조절합니다. 이름 앞에 쉼표를, 복합어에 하이픈을 넣어 보세요.
3. 도구가 지원하면 SSML을 씁니다. SSML(Speech Synthesis Markup Language)은 W3C 표준입니다. break 요소는 400ms 같은 time 값으로 쉼을 넣고, sub는 적힌 텍스트를 실제로 읽을 말로 바꾸며, phoneme은 ph 속성에 IPA로 정확한 발음을 지정합니다.
4. 도구에 발음 사전이 있으면 사용해서 앞으로의 모든 대본에 교정이 적용되게 합니다.

<speak>
  Welcome to <sub alias="see vee dot see em">cv.cm</sub>.
  <break time="400ms"/>
  Today we test the <phoneme alphabet="ipa" ph="ˈkiːnwɑː">quinoa</phoneme> recipe.
</speak>

소셜 영상의 음량 목표

음량은 ITU-R BS.1770 알고리즘으로 측정한 LUFS(풀스케일 대비 라우드니스 단위)로 나타냅니다. 방송 권고안 EBU R 128도 같은 측정을 쓰며, 방송 프로그램 기준은 -23 LUFS입니다. 스트리밍과 소셜 플랫폼은 목표치를 모두 공개하지는 않지만, 통합 약 -14 LUFS에 트루 피크 약 -1 dBTP 이하가 온라인 영상의 일반적인 작업 기준입니다.

대부분의 대형 플랫폼은 재생 음량을 정규화하므로, 훨씬 크게 마스터링한 영상은 낮춰서 재생되어 이득이 없고, 그 음량을 맞추려고 리미터를 세게 걸면 목소리가 거칠어집니다. 훨씬 작게 마스터링한 영상은 기대만큼 키워지지 않을 수 있습니다. 일반적인 목표 근처에 맞추면 두 문제를 모두 피할 수 있습니다.

# Pass 1: measure. Note the measured_* values in the JSON it prints.
ffmpeg -i voice.wav -af loudnorm=I=-14:TP=-1:LRA=11:print_format=json -f null -
# Pass 2: normalize with your measured values (the numbers below are examples)
ffmpeg -i voice.wav -af loudnorm=I=-14:TP=-1:LRA=11:measured_I=-19.6:measured_TP=-3.2:measured_LRA=6.1:measured_thresh=-30.0:offset=0.4:linear=true -ar 48000 voice_norm.wav

목소리만이 아니라 최종 믹스를 정규화하세요. 말하는 동안 음악은 목소리보다 훨씬 아래에 있어야 하고, 대략 12~20dB 낮게 두는 것이 무난한 시작점이며 문장 사이에서 올리면 됩니다. 반드시 폰 스피커에서 확인하세요. 작은 음악은 사라지고 거친 고음은 두드러지는 환경입니다.

AI 더빙으로 다른 언어 만들기

AI 더빙은 대본을 번역해서 다른 언어로 음성을 생성하며, 원래 목소리와 비슷한 음색을 쓰는 경우가 많습니다. 실무에서 가장 큰 문제는 시간입니다. 같은 문장이 스페인어나 독일어에서는 영어보다 길어지는 경우가 많아, 영어 컷을 따라가는 더빙은 길이가 넘치기 쉽습니다.

• 원본 대본에 여유를 두세요. 영어가 슬롯을 꽉 채우면 번역본은 들어가지 않습니다. 원본의 각 비트를 10~20퍼센트 비워 두면 더빙이 훨씬 쉬워집니다.
• 직역이 아니라 말하기 위한 번역을 하세요. 번역가나 LLM에게 정해진 초 수에 맞게 줄여 달라고 요청하세요.
• 모든 언어에서 이름, 단위, 화면 텍스트를 다시 확인하세요. 킬로미터 자막 위에 "마일"이라고 말하는 더빙은 성의 없어 보입니다.
• 필요하면 다시 편집하세요. 샷에 몇 프레임 더하는 것이 부자연스러울 만큼 목소리를 빠르게 하는 것보다 쉽습니다.

플랫폼도 자체 도구를 추가하고 있습니다. 유튜브의 자동 더빙은 번역된 오디오 트랙을 만들고 그런 영상에 자동 더빙 표시를 붙입니다. 도움말에는 더빙에 발음, 고유명사, 관용구, 전문 용어 오류가 있을 수 있다고 안내되어 있고, 크리에이터가 게시 전에 더빙을 검토할 수 있습니다. 이 검토 단계를 활용하거나 직접 확인한 트랙을 올리세요. 화자의 입 모양을 새 언어에 맞추고 싶다면 AI 립싱크 가이드를 참고하세요.

음성 복제: 동의, 고지, 법

음성 복제는 실제 사람의 녹음으로 합성 목소리를 만드는 기술입니다. 깨끗한 음성 몇 초만으로도 알아볼 수 있는 결과가 나올 수 있어서, 규칙이 동의와 고지에 초점을 맞춥니다.

• 내 목소리이거나 서면 허락을 받은 목소리만 복제하세요. 허락에는 용도, 기간, 철회 방법이 명시되어야 합니다.
• 공인, 배우, 크리에이터를 복제해서 하지 않은 말을 하게 만들지 마세요. 플랫폼 규정을 위반할 수 있고, 많은 나라에서 인격권, 퍼블리시티권, 사기 관련 법에 저촉될 수 있습니다.
• 유튜브의 고지 규정은 사실적인 콘텐츠가 실제 인물이 하지 않은 말이나 행동을 한 것처럼 보이게 할 때 라벨을 요구합니다. 도움말에는 내 목소리를 복제해 보이스오버나 더빙에 쓰는 경우가 고지가 필요 없는 예로 나와 있습니다.
• EU 인공지능법(AI Act) 제50조는 딥페이크에 해당하는 AI 생성·조작 오디오와 영상을 배포자가 공개하도록 요구하며, 명백히 예술적·창작적·풍자적인 작품에는 완화된 의무를 둡니다.
• 2025년 9월 1일부터 시행된 중국 《인공지능 생성 합성 콘텐츠 표시 방법》은 제공자가 합성 음성에 음성 안내나 리듬 신호 같은 표시를 하도록 하고, 이런 콘텐츠를 게시하는 사용자가 이를 신고하고 표시 기능을 쓰도록 요구합니다.

일반적인 합성 내레이터가 내 대본을 읽는 것은 법적으로 문제되는 일이 드뭅니다. 실제 사람의 복제 음성은 다릅니다. 플랫폼별 라벨은 AI 콘텐츠 표시 가이드에 자세히 있습니다.