Bagaimana lip sync AI bekerja dan cara mendapat hasil bersih

Cara kerja lip sync berbasis audio

Bunyi ucapan terpetakan ke sekumpulan kecil bentuk mulut yang terlihat, sering disebut viseme. Bunyi p, b, dan m menutup bibir; f dan v menempelkan bibir bawah ke gigi; "a" yang terbuka menurunkan rahang. Lip sync AI mempelajari pemetaan ini dari ribuan jam video orang berbicara, sehingga untuk audio baru ia bisa memprediksi bentuk mulut di tiap frame.

Contoh terkenal adalah Wav2Lip, terbit pada 2020 oleh Prajwal dan rekan-rekannya. Generatornya menerima frame wajah dengan separuh bawah disembunyikan, frame referensi dari orang yang sama, dan jendela audio singkat, lalu melukis wajah bagian bawah baru yang cocok dengan suara. Jaringan terpisah, "pakar" lip sync yang sudah dilatih, menilai apakah mulut cocok dengan audio, dan generator dilatih untuk memuaskannya. Makalahnya melaporkan bahwa pakar ini menjadi alasan utama model menjaga sinkronisasi pada wajah sembarang dalam video tanpa batasan.

Sistem yang lebih baru melangkah lebih jauh. Model berbasis difusi dan avatar menghasilkan seluruh wajah atau kepala, dengan kedipan, gerak kepala, dan ekspresi yang digerakkan audio, sehingga satu foto bisa menjadi video bicara. Sebagian generator video kini menghasilkan ucapan dan gerak bibir sekaligus dari prompt. Ide intinya sama: suara masuk, gerak mulut yang cocok keluar, dan kualitasnya sangat bergantung pada apa yang Anda masukkan.

Tiga pemakaian: foto bicara, dubbing, bernyanyi

Foto bicara paling mudah dibuat tetapi paling sulit dibuat meyakinkan, karena model mengarang setiap frame gerakan. Dubbing rekaman asli mempertahankan gerak sungguhan dan hanya mengganti mulut, jadi terlihat lebih natural tetapi kurang toleran terhadap video sumber yang buruk. Bernyanyi paling menuntut: vokalnya panjang, mulut terbuka lebih lebar daripada saat bicara, dan timing harus cocok dengan musik, bukan hanya kata. Untuk alur kerja lagu penuh, lihat panduan video musik AI kami.

Syarat input untuk wajah dan audio

Sebagian besar kegagalan berasal dari input. Periksa hal berikut sebelum menghasilkan video.

• Sudut wajah: frontal atau sampai kira-kira tampak tiga perempat. Tampak samping sering gagal karena model melihat terlalu sedikit bagian mulut.
• Mulut terlihat: tidak ada tangan, mikrofon, rambut, atau masker yang menutupi bibir, dan tidak ada motion blur berat.
• Cahaya: cahaya merata dan lembut di wajah. Bayangan keras melintasi mulut membuat area yang digambar ulang mencolok.
• Ukuran wajah: wajah sebaiknya mengisi bagian besar frame. Wajah kecil di shot lebar memberi model sedikit piksel untuk dikerjakan, dan hasilnya lembek.
• Audio: satu suara, kering (sedikit gema ruangan), tanpa musik di bawahnya, tanpa clipping.
• Durasi: periksa batas tool. Banyak tool membatasi panjang klip atau total audio, dan klip panjang lebih mudah bergeser. Segmen yang lebih pendek lebih mudah dicek dan diulang.

Menyiapkan audio dan contoh kerja

Perlakukan audio sebagai master dan video sebagai pengikutnya. Berikut contoh lengkap: satu kalimat bahasa Inggris 12 detik dari klip talking head, di-dubbing ke bahasa Spanyol dengan lip sync untuk video pendek vertikal.

1. Ekspor ucapan asli dan transkripsikan. Transkriber berbasis Whisper, misalnya tool speech-to-text cv.cm, memberi timestamp untuk tiap baris.
2. Terjemahkan kalimatnya dan pangkas agar pas sekitar 12 detik saat diucapkan. Bahasa Spanyol biasanya butuh waktu lebih lama daripada bahasa Inggris, jadi kurangi kata alih-alih mempercepat suara.
3. Hasilkan suara Spanyol, atau rekam sendiri. Lihat panduan voice over AI kami untuk pemilihan suara dan perbaikan pelafalan.
4. Bersihkan: hilangkan noise latar, jaga suara tetap kering, dan potong hening di awal agar bunyi pertama jatuh tepat pada gerak mulut pertama pembicara.
5. Potong audio ke segmen tepat yang akan dipakai tool dengan audio cutter, alih-alih membiarkan tool memilih potongan dari file yang lebih panjang.
6. Ubah ke format sederhana yang diterima tool, lalu jalankan lip sync pada klip video 12 detik.
7. Pasang kembali audio bersih ke hasilnya dan cek sinkronisasi layar penuh, frame demi frame pada bunyi p, b, dan m.

# 1. Extract a mono 48 kHz WAV from the source clip
ffmpeg -i source.mp4 -vn -ac 1 -ar 48000 speech.wav

# 2. Cut the dubbed voice to exactly 12 seconds, starting at 0.25 s
ffmpeg -ss 0.25 -t 12 -i dub_es.wav -ac 1 -ar 48000 dub_es_12s.wav

# 3. Replace whatever audio the tool returned with your own clean track
ffmpeg -i lipsync.mp4 -i dub_es_12s.wav -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

Langkah 3 lebih penting daripada kelihatannya. Saat tool membuat ulang atau meng-encode ulang soundtrack, audio bisa mulai sedikit terlambat sementara gambar tetap mengikuti timing asli. Pada model video yang merender audio sendiri, kami pernah mengukur pergeseran sekitar satu detik. Sebelum menyimpulkan sinkronisasinya salah, pasang audio Anda sendiri ke klip dengan perintah di atas dan cek lagi.

Untuk foto bicara, langkah audio yang sama berlaku. Sebagian tool juga menerima sampel suara untuk menentukan suaranya; sampel bersih 3 detik biasanya cukup. Ambil kalimat paling keras dan paling berkesinambungan, dan ingat bahwa sebagian tool membatasi total panjang seluruh audio referensi.

Artefak umum dan cara memperbaikinya

Upscaling membantu hasil yang lembek, tetapi lakukan sekali, setelah editing, dan simpan satu ekspor master. Setiap encode tambahan, termasuk yang dilakukan aplikasi sosial saat unggah, menambah artefak di sekitar mulut, tempat penonton pertama kali melihat.

Izin, aturan deepfake, dan pelabelan

Lip sync mengubah apa yang tampak diucapkan seseorang. Itulah yang diatur aturan deepfake, jadi perlakukan izin dan label sebagai bagian dari alur kerja, bukan renungan belakangan.

• Pakai hanya wajah dan suara yang Anda miliki atau yang izin tertulisnya Anda punya, dengan tujuan yang dinyatakan. Men-dubbing video klien ke bahasa lain adalah kasus yang jelas; membuat tokoh publik mengucapkan kata-kata baru bukan.
• YouTube meminta kreator mengungkapkan konten yang diubah atau sintetis yang realistis, termasuk konten yang membuat orang sungguhan tampak mengatakan atau melakukan sesuatu yang tidak mereka lakukan. YouTube juga menawarkan lip sync eksperimental sendiri untuk video auto-dubbed di kanal tertentu.
• EU AI Act (Pasal 50) mewajibkan deployer mengungkapkan audio dan video buatan AI atau hasil manipulasi yang merupakan deepfake. Untuk karya yang jelas bersifat seni, kreatif, satir, atau fiksi, kewajibannya terbatas pada mengungkapkan keberadaan konten itu dengan cara yang tidak merusak karyanya.
• Peraturan Tiongkok tentang pelabelan konten sintetis buatan AI (Measures for Labeling AI-Generated Synthetic Content), berlaku sejak 1 September 2025, mewajibkan label yang terlihat pada video sintetis, termasuk di awal, dan mewajibkan pengguna mendeklarasikan konten AI saat memublikasikannya di platform seperti Douyin, Kuaishou, Xiaohongshu, atau WeChat Channels.
• Hindari wajah anak di bawah umur, dan jangan pernah memakai lip sync untuk membuat konten seksual, pencemaran nama baik, atau penipuan. Pemakaian itu dilarang di platform besar dan melanggar hukum di banyak tempat, dengan atau tanpa label.

Panduan pelabelan konten AI kami menjelaskan cara kerja label AI di tiap platform.