TTS(텍스트 음성 변환)는 어떻게 동작할까? 신경망 TTS란?

TTS 시스템의 세 단계

1. 텍스트 정규화. 시스템이 텍스트를 소리 내어 읽을 수 있는 단어로 바꿔 씁니다. "Dr. Lee paid $25 on 3/4"는 "Doctor Lee paid twenty-five dollars on March fourth"(로케일에 따라 "the third of April") 같은 형태가 되어야 합니다. 잘못된 발음은 음성 자체보다 이 단계에서 많이 생깁니다.
2. 언어 분석. 단어를 그 언어의 소리 단위인 음소로 바꾸고, 강세, 끊어 읽기, 억양을 예측합니다. 현재형과 과거형이 다르게 읽히는 "read"처럼 철자는 같은데 소리가 다른 단어나, 읽는 법이 둘 이상인 한자는 문맥으로 판단해야 합니다.
3. 파형 생성. 소리와 그 타이밍을 오디오 샘플로 바꿉니다. 오래된 시스템은 녹음된 조각을 이어 붙이거나(연결 합성) 포먼트 모델을 써서 로봇 같은 소리가 났습니다. 신경망 시스템은 신경망으로 오디오를 예측합니다.

고전적인 신경망 설계인 Tacotron 2는 오늘날의 구조를 분명하게 보여 줍니다. 한 신경망이 텍스트를 멜 스펙트로그램(음성의 시간-주파수 그림)으로 바꾸고, 두 번째 신경망인 보코더가 그 그림을 파형으로 바꿉니다. 개발진의 청취 평가에서 이 시스템은 전문가의 녹음에 가까운 점수를 받았습니다. 최근 시스템은 단계를 합치거나 언어 모델 방식의 신경망으로 압축된 오디오 토큰을 생성하기도 하는데, 덕분에 짧은 샘플만으로 화자의 목소리를 따라 할 수 있습니다.

신경망 TTS와 브라우저 시스템 음성

웹 페이지는 자체 모델 없이도 Web Speech API로 말을 할 수 있습니다. speechSynthesis 객체가 플랫폼이 제공하는 음성 중 하나로 SpeechSynthesisUtterance를 소리 내어 읽습니다.

각 음성은 localService 플래그를 알려 줍니다. 사양에 따르면 로컬 합성기는 true, 원격 서비스는 false이며, 원격 음성은 네트워크가 필요하고 지연이 생길 수 있습니다.

const u = new SpeechSynthesisUtterance("Your order has shipped.");
u.lang = "en-GB";
u.rate = 0.9;   // 1 is normal; spec allows 0.1 to 10
u.pitch = 1.0;  // 0 to 2, 1 is the voice default
u.volume = 1.0; // 0 to 1
const voices = speechSynthesis.getVoices();
u.voice = voices.find(v => v.lang === "en-GB") || null;
speechSynthesis.speak(u);

음성은 페이지가 시작된 뒤에 로드되는 경우가 많아서 getVoices()가 처음에는 빈 목록을 반환할 수 있습니다. 이때는 voiceschanged 이벤트를 기다리세요. 예를 들어 cv.cm의 텍스트 음성 변환 도구는 바로 이 내장 음성을 쓰고 속도와 음높이 조절을 제공합니다. 초안을 빠르게 들어 보기에 좋지만 신경망 음성 생성기는 아니며, 음성 목록은 기기에 따라 달라집니다.

SSML: 쉼과 발음 제어하기

음성 합성 마크업 언어(SSML)는 W3C 표준으로, TTS 엔진에 텍스트를 어떻게 읽을지 알려 주는 XML입니다. 대부분의 클라우드 TTS 서비스가 지원합니다. Web Speech 사양은 발화에 SSML을 쓸 수 있게 하지만, 일부 태그를 지원하지 않는 엔진은 그 태그를 제거하고 남은 텍스트를 읽어야 하므로 브라우저 지원은 일관되지 않습니다.

<speak>
  Your code is <say-as interpret-as="characters">A7K</say-as>.
  <break time="500ms"/>
  Please call <sub alias="World Health Organization">WHO</sub>
  before <prosody rate="90%" pitch="+2st">Friday at noon</prosody>.
  The word is <phoneme alphabet="ipa" ph="təˈmɑːtoʊ">tomato</phoneme>,
  and it is <emphasis level="strong">not</emphasis> optional.
</speak>

서비스가 SSML을 무시하더라도 일반 텍스트로 어느 정도 조절할 수 있습니다. 쉼에는 쉼표와 마침표를, 숫자는 풀어 쓰고, 어려운 이름은 발음 그대로 다시 적으세요.

소리 내어 읽을 때 자연스러운 글쓰기

• 문장을 짧게 쓰세요. 절이 길면 음성이 자연스럽게 숨 쉴 곳을 놓칩니다.
• 중요할 때는 숫자를 읽어야 하는 방식대로 쓰세요. "two thousand twenty-six" 또는 "twenty twenty-six"처럼요.
• 듣는 사람이 들어야 하는 약어와 단위는 풀어 쓰세요. "km/h"는 글자 하나씩 읽을 수 있습니다.
• 언어와 지역을 정확히 설정하세요. en-US 음성이 스페인어 이름을 읽거나, zh-CN 음성이 영어를 읽으면 엉뚱한 발음 체계를 씁니다.
• 공개하기 전에 결과를 처음부터 끝까지 한 번 들어 보세요. 이름, 숫자, 발음이 두 가지인 단어를 확인합니다.

음성 복제: 동의와 법

최신 모델은 짧은 녹음만으로 목소리를 흉내 낼 수 있습니다. 자기 영상을 더빙하거나 목소리를 잃은 사람에게 목소리를 돌려주는 데 유용하지만, 가족이나 회사 임원을 사칭하는 전화처럼 사기에도 쓰입니다. 모든 목소리는 화자에게 속한 개인정보로 다루세요.

신뢰할 수 있는 복제 서비스는 음성을 만들기 전에 화자에게 동의 발언을 녹음하도록 요구합니다. 그런 확인 없이 아무 클립으로나 누구의 목소리든 복제할 수 있는 도구라면, 공개할 용도로는 쓰지 마세요.