Làm sao để lồng tiếng AI nghe tự nhiên?

Quy trình lồng tiếng AI trong tám bước

Lồng tiếng AI là phần thuyết minh do giọng chuyển văn bản thành giọng nói (text-to-speech) dùng mạng nơ-ron tạo ra, thay cho micro. Mô hình giọng chỉ là một phần của công việc. Phần lớn chất lượng đến từ kịch bản, nhịp và bản mix. Một quy trình đáng tin cậy cho video ngắn hoặc video giải thích như sau:

1. Hoàn thiện kịch bản và tự đọc to một lần, có bấm giờ.
2. Chọn giọng và thử trên hai câu khó nhất của kịch bản, không phải đoạn mẫu.
3. Viết lại những câu nghe sai khi đọc thành tiếng: câu dài, từ viết tắt, con số, tên thương hiệu.
4. Tạo giọng theo từng đoạn ngắn, mỗi lần một nhịp hoặc một câu, để làm lại bản lỗi mà không đụng đến phần còn lại.
5. Sửa phát âm bằng cách viết lại theo cách đọc hoặc dùng thẻ SSML.
6. Đặt giọng lên timeline trước, rồi cắt hình theo giọng.
7. Làm sạch và chuẩn hóa giọng, sau đó mix nhạc nền bên dưới.
8. Xuất file, nghe thử trên loa điện thoại và tai nghe, rồi thêm nhãn AI nếu nền tảng yêu cầu.

Trang này nói về dùng giọng AI cho video. Về cách giọng nói được tổng hợp bên trong, xem hướng dẫn chuyển văn bản thành giọng nói của chúng tôi.

Chọn giọng cho video

Hầu hết công cụ tạo giọng lồng tiếng, như ElevenLabs, các giọng tích hợp trong CapCut hay Jianying, hoặc TTS trên các nền tảng đám mây lớn, đều có hàng chục giọng. Hãy chọn theo công việc, đừng chọn theo bản demo. Văn bản demo được viết để làm giọng nghe hay; kịch bản của bạn sẽ có tên sản phẩm, con số và những câu ngắn dứt khoát.

Mỗi kênh hay mỗi series nên dùng một giọng. Người xem quen dần với giọng đó, còn đổi giọng giữa các tập khiến series giống như những video rời rạc. Hãy ghi lại tên giọng và mọi thiết lập (tốc độ, giá trị ổn định hoặc phong cách, mô hình) vào một ghi chú, vì nhà cung cấp cập nhật mô hình và cùng thiết lập đó có thể cho kết quả lệch đi.

Viết cho tai nghe và khớp nhịp với cảnh cắt

Văn bản đọc trên trang giấy hay thường nghe cứng khi nói thành tiếng. Người nghe không thể cuộn ngược lại. Hãy viết sao cho mỗi câu nghe một lần là hiểu.

• Mỗi câu một ý, tốt nhất dưới 15 từ.
• Đặt từ quan trọng ở cuối câu, nơi giọng tự nhiên hạ xuống.
• Viết con số đúng như cách đọc: “khoảng hai nghìn” thay vì “~2.000”.
• Viết đầy đủ các từ viết tắt, trừ khi người ta đọc chúng từng chữ cái.
• Dùng dấu phẩy và dấu chấm để điều khiển nhịp. Hầu hết giọng ngắt ở dấu chấm và gần như không ngắt ở dấu phẩy.

Before (written):
  Our app supports 4K/60fps export, HDR & batch processing (Win/Mac).

After (for the ear):
  You can export in 4K at sixty frames per second.
  It handles HDR. And it works in batches, on Windows and Mac.

Về nhịp, hãy tính khoảng 2,5 đến 3 từ mỗi giây cho lời đọc tiếng Anh rõ ràng. Với video ngắn, hãy cắt hình theo giọng chứ không làm ngược lại: đặt giọng lên timeline trước, rồi để mỗi cú cắt rơi đúng vào đầu một câu mới hoặc vào từ khóa. Nếu một đoạn giọng quá dài so với cảnh, hãy viết câu ngắn lại thay vì tăng tốc giọng. Trên thực tế, tăng tốc quá khoảng 10 phần trăm thường làm giọng AI nghe vội và thiếu tự nhiên.

Để nghe nhịp trước khi trả tiền tạo giọng, bạn có thể đọc kịch bản bằng giọng của thiết bị, ví dụ trong công cụ chuyển văn bản thành giọng nói của cv.cm, dùng các giọng có sẵn của trình duyệt và cho phép đổi tốc độ. Công cụ này không xuất âm thanh và không phải giọng phòng thu; nó chỉ để kiểm tra nhịp. Nếu muốn dùng giọng của chính mình làm bản dẫn, hãy thu bằng ứng dụng ghi âm rồi cắt theo đó.

Sửa phát âm: viết lại cách đọc, ngắt và phiên âm

Tên riêng, thương hiệu, từ viết tắt và từ mượn là nơi giọng AI hay sai nhất. Hãy thử các cách sửa sau theo thứ tự, từ đơn giản nhất đến chính xác nhất.

1. Viết lại từ theo cách đọc ngay trong kịch bản: “Nguyen” thành “Win”, “GIF” thành “jif” hoặc “gif” tùy lựa chọn của bạn. Giữ một danh sách các cách viết lại cho từng dự án.
2. Thêm dấu câu để buộc ngắt hoặc đổi trọng âm: dấu phẩy trước một cái tên, hoặc dấu gạch nối trong từ ghép.
3. Dùng SSML nếu công cụ hỗ trợ. SSML (Speech Synthesis Markup Language) là chuẩn của W3C. Phần tử break chèn một quãng ngắt với time như 400ms, sub thay chữ viết bằng nội dung cần đọc, và phoneme cho phát âm chính xác bằng IPA qua thuộc tính ph.
4. Dùng từ điển phát âm của công cụ nếu có, để cách sửa áp dụng cho mọi kịch bản sau này.

<speak>
  Welcome to <sub alias="see vee dot see em">cv.cm</sub>.
  <break time="400ms"/>
  Today we test the <phoneme alphabet="ipa" ph="ˈkiːnwɑː">quinoa</phoneme> recipe.
</speak>

Mức âm lượng chuẩn cho video mạng xã hội

Độ lớn âm thanh được đo bằng LUFS (đơn vị độ ồn so với toàn thang) theo thuật toán trong ITU-R BS.1770, cũng là phép đo đứng sau khuyến nghị phát sóng EBU R 128. EBU R 128 đặt -23 LUFS cho chương trình phát sóng. Không phải nền tảng phát trực tuyến và mạng xã hội nào cũng công bố mức mục tiêu, nhưng khoảng -14 LUFS tích hợp với đỉnh thực (true peak) không quá khoảng -1 dBTP là mức làm việc phổ biến cho video trực tuyến.

Hầu hết nền tảng lớn đều chuẩn hóa âm lượng phát lại, nên video làm to hơn nhiều sẽ bị hạ xuống mà chẳng được lợi gì, còn việc nén giới hạn mạnh để đạt mức đó khiến giọng nghe gắt. Video làm nhỏ hơn nhiều có thể chỉ được tăng lên ít hơn bạn nghĩ. Nhắm gần mức mục tiêu phổ biến sẽ tránh được cả hai vấn đề.

# Pass 1: measure. Note the measured_* values in the JSON it prints.
ffmpeg -i voice.wav -af loudnorm=I=-14:TP=-1:LRA=11:print_format=json -f null -
# Pass 2: normalize with your measured values (the numbers below are examples)
ffmpeg -i voice.wav -af loudnorm=I=-14:TP=-1:LRA=11:measured_I=-19.6:measured_TP=-3.2:measured_LRA=6.1:measured_thresh=-30.0:offset=0.4:linear=true -ar 48000 voice_norm.wav

Hãy chuẩn hóa bản mix cuối chứ không chỉ riêng giọng. Trên thực tế, nhạc nền dưới lời nói nên nhỏ hơn giọng khá nhiều; để nhỏ hơn khoảng 12 đến 20 dB khi có người nói là điểm khởi đầu hợp lý, rồi tăng lên giữa các câu. Luôn kiểm tra trên loa điện thoại, nơi nhạc nhỏ biến mất và tần số cao chói tai lộ rõ.

Lồng tiếng AI sang ngôn ngữ khác

Lồng tiếng AI dịch kịch bản và tạo giọng nói bằng ngôn ngữ khác, thường với giọng gần giống bản gốc. Vấn đề thực tế chính là thời gian. Cùng một câu thường dài hơn trong tiếng Tây Ban Nha hay tiếng Đức so với tiếng Anh, nên bản lồng tiếng theo các cú cắt của bản tiếng Anh dễ bị tràn.

• Viết kịch bản gốc có chừa dư địa. Nếu bản tiếng Anh dùng hết khung thời gian thì bản dịch sẽ không vừa. Để trống 10 đến 20 phần trăm mỗi nhịp trong bản gốc giúp việc lồng tiếng dễ hơn nhiều.
• Dịch để nói, không dịch từng chữ. Yêu cầu người dịch hoặc mô hình ngôn ngữ rút gọn câu cho vừa số giây nhất định.
• Kiểm tra lại tên, đơn vị và chữ trên màn hình ở mọi ngôn ngữ. Bản lồng tiếng đọc “miles” trong khi chú thích ghi kilômét trông rất cẩu thả.
• Cắt lại khi cần. Thêm vài khung hình cho một cảnh rẻ hơn nhiều so với tăng tốc giọng đến mức nghe thiếu tự nhiên.

Các nền tảng đang bổ sung công cụ riêng. Tính năng lồng tiếng tự động của YouTube tạo các track âm thanh đã dịch và đánh dấu những video đó là lồng tiếng tự động. Trang trợ giúp của YouTube lưu ý rằng bản lồng tiếng có thể có lỗi về phát âm, tên riêng, thành ngữ và thuật ngữ, và cho phép nhà sáng tạo xem lại trước khi xuất bản. Hãy tận dụng bước xem lại này, hoặc tải lên track do chính bạn đã kiểm tra. Nếu muốn khẩu hình người nói khớp với ngôn ngữ mới, xem hướng dẫn lip sync AI của chúng tôi.

Nhân bản giọng: sự đồng ý, công khai và pháp luật

Nhân bản giọng tạo ra giọng tổng hợp từ bản ghi âm của một người thật. Vài giây giọng nói sạch có thể đủ để cho kết quả nhận ra được, vì vậy các quy tắc tập trung vào sự đồng ý và công khai.

• Chỉ nhân bản giọng của chính bạn hoặc giọng bạn có văn bản cho phép sử dụng. Văn bản cho phép nên nêu giọng được dùng vào việc gì, trong bao lâu và có thể rút lại bằng cách nào.
• Không nhân bản giọng người của công chúng, diễn viên hay nhà sáng tạo để bắt họ nói những điều họ không nói. Việc đó có thể vi phạm quy định nền tảng và, ở nhiều quốc gia, vi phạm luật về nhân thân, quyền hình ảnh hoặc lừa đảo.
• Quy tắc công khai của YouTube yêu cầu gắn nhãn khi nội dung chân thực khiến một người thật có vẻ nói hoặc làm điều họ không làm. Trang trợ giúp của YouTube nêu việc nhân bản giọng của chính bạn để lồng tiếng là ví dụ không cần công khai.
• Đạo luật AI của EU (Điều 50) yêu cầu bên triển khai phải công bố âm thanh và video do AI tạo ra hoặc bị chỉnh sửa cấu thành deepfake, với nghĩa vụ nhẹ hơn đối với tác phẩm rõ ràng mang tính nghệ thuật, sáng tạo hoặc châm biếm.
• Biện pháp gắn nhãn nội dung tổng hợp do trí tuệ nhân tạo tạo ra của Trung Quốc, có hiệu lực từ ngày 1 tháng 9 năm 2025, yêu cầu nhà cung cấp gắn nhãn âm thanh tổng hợp, chẳng hạn bằng tín hiệu đọc thành lời hoặc nhịp điệu, và yêu cầu người dùng đăng nội dung đó phải khai báo và dùng chức năng gắn nhãn.

Một người dẫn chuyện tổng hợp chung chung đọc kịch bản của chính bạn hiếm khi là vấn đề pháp lý. Giọng nhân bản của một người thật thì có. Hướng dẫn gắn nhãn nội dung AI của chúng tôi trình bày chi tiết hơn về nhãn của các nền tảng.