Bagaimana cara kerja text-to-speech, dan apa itu neural TTS?

Tiga tahap sistem TTS

1. Normalisasi teks. Sistem menulis ulang teks menjadi kata-kata yang bisa diucapkan. "Dr. Lee paid $25 on 3/4" harus menjadi sesuatu seperti "Doctor Lee paid twenty-five dollars on March fourth" (atau "the third of April", tergantung lokal). Banyak salah ucap terjadi di tahap ini, bukan di suaranya.
2. Analisis linguistik. Kata diubah menjadi fonem, satuan bunyi suatu bahasa, dan sistem memprediksi tekanan, pemenggalan frasa, dan intonasi. Kata yang ejaannya sama tetapi diucapkan berbeda, seperti "read" dalam bentuk sekarang dan lampau, atau aksara Mandarin dengan lebih dari satu bacaan, butuh konteks untuk ditentukan.
3. Pembangkitan gelombang suara. Bunyi beserta waktunya diubah menjadi sampel audio. Sistem lama menyambung potongan rekaman (concatenative synthesis) atau memakai model formant, yang terdengar seperti robot. Sistem neural memprediksi audionya dengan jaringan.

Rancangan neural klasik, Tacotron 2, memperlihatkan pembagian modern dengan jelas: satu jaringan memetakan teks ke mel spektrogram (gambar waktu-frekuensi dari ucapan), dan jaringan kedua, vocoder, mengubah gambar itu menjadi gelombang suara. Dalam uji dengar para penulisnya, skornya mendekati rekaman profesional. Sistem yang lebih baru sering menggabungkan tahapan atau membangkitkan token audio terkompresi dengan jaringan bergaya model bahasa, yang memungkinkannya meniru suara pembicara dari contoh singkat.

Neural TTS vs suara sistem di browser Anda

Halaman web bisa berbicara lewat Web Speech API tanpa model sendiri. Objek speechSynthesis membacakan SpeechSynthesisUtterance dengan salah satu suara yang disediakan platform.

Setiap suara melaporkan flag localService. Spesifikasi menyebutkan nilainya true untuk synthesizer lokal dan false untuk layanan jarak jauh; suara jarak jauh mungkin butuh jaringan dan bisa menambah jeda.

const u = new SpeechSynthesisUtterance("Your order has shipped.");
u.lang = "en-GB";
u.rate = 0.9;   // 1 is normal; spec allows 0.1 to 10
u.pitch = 1.0;  // 0 to 2, 1 is the voice default
u.volume = 1.0; // 0 to 1
const voices = speechSynthesis.getVoices();
u.voice = voices.find(v => v.lang === "en-GB") || null;
speechSynthesis.speak(u);

Suara sering dimuat setelah halaman dimulai, sehingga getVoices() bisa mengembalikan daftar kosong pada awalnya; dengarkan event voiceschanged. Misalnya, alat text-to-speech di cv.cm memakai tepat suara bawaan ini dengan kontrol kecepatan dan nada. Alat ini cara cepat untuk mendengarkan draf, bukan generator suara neural, dan daftar suaranya bergantung pada perangkat Anda.

SSML: mengatur jeda dan pelafalan

Speech Synthesis Markup Language (SSML), standar W3C, adalah XML yang memberi tahu mesin TTS cara membaca teks. Kebanyakan layanan TTS cloud menerimanya. Spesifikasi Web Speech mengizinkan SSML dalam utterance, tetapi mesin yang tidak mendukung sebagian tag harus membuangnya dan membaca teks yang tersisa, sehingga dukungan di browser tidak konsisten.

<speak>
  Your code is <say-as interpret-as="characters">A7K</say-as>.
  <break time="500ms"/>
  Please call <sub alias="World Health Organization">WHO</sub>
  before <prosody rate="90%" pitch="+2st">Friday at noon</prosody>.
  The word is <phoneme alphabet="ipa" ph="təˈmɑːtoʊ">tomato</phoneme>,
  and it is <emphasis level="strong">not</emphasis> optional.
</speak>

Jika layanan mengabaikan SSML, Anda tetap bisa mengarahkannya dengan teks biasa: koma dan titik untuk jeda, angka yang dieja, dan penulisan ulang secara fonetik untuk nama yang sulit.

Menulis teks yang enak didengar saat diucapkan

• Pakai kalimat pendek. Klausa panjang membuat suara kehabisan titik napas yang alami.
• Tulis angka sesuai cara pengucapannya bila itu penting: "two thousand twenty-six" atau "twenty twenty-six".
• Uraikan singkatan dan satuan yang perlu didengar pendengar: "km/h" mungkin dibaca huruf demi huruf.
• Atur bahasa dan wilayah yang benar. Suara en-US yang membaca nama Spanyol, atau suara zh-CN yang membaca bahasa Inggris, akan memakai sistem bunyi yang salah.
• Dengarkan seluruh hasilnya sekali sebelum memublikasikan. Periksa nama, angka, dan kata yang punya dua pelafalan.

Kloning suara: persetujuan dan hukum

Model modern bisa meniru suara dari rekaman singkat. Itu berguna untuk mendubbing video Anda sendiri atau mengembalikan suara bagi orang yang kehilangannya, dan juga dipakai untuk penipuan, misalnya panggilan yang menirukan kerabat atau direktur perusahaan. Perlakukan setiap suara sebagai data pribadi milik si pembicara.

Layanan kloning yang bereputasi baik meminta pembicara merekam pernyataan persetujuan sebelum suara dibuat. Jika sebuah alat membiarkan Anda mengkloning suara siapa pun dari klip apa pun tanpa pemeriksaan seperti itu, jangan pakai untuk apa pun yang Anda publikasikan.