Text-to-video AI hoạt động như thế nào?

Chuyện gì xảy ra khi bạn bấm tạo

Hầu hết hệ thống text-to-video là mô hình khuếch tán (diffusion model) được mở rộng từ ảnh sang video. Bài báo Video Diffusion Models năm 2022 của Ho và cộng sự đã cho thấy ý tưởng cơ bản: coi clip là một khối khung hình, thêm nhiễu vào clip thật khi huấn luyện, rồi dạy mạng nơ-ron gỡ nhiễu đó. Khi tạo, mô hình bắt đầu bằng nhiễu thuần cho mọi khung hình và gỡ nhiễu tất cả cùng lúc, nên chuyển động và hình dạng được quyết định đồng thời.

Ba ý tưởng giúp việc này khả thi ở quy mô lớn.

• Không gian tiềm ẩn (latent space). Mô hình làm việc trên bản nén của video chứ không phải điểm ảnh thô. Một bộ giải mã riêng biến kết quả thành các khung hình. Stable Video Diffusion là một ví dụ mã nguồn mở của cách tiếp cận latent này.
• Không gian và thời gian cùng lúc. Mạng nhìn xuyên các khung hình chứ không chỉ trong từng khung, nên khuôn mặt ở khung 1 và khung 40 được coi là cùng một khuôn mặt. Báo cáo Sora của OpenAI mô tả việc cắt video thành các mảnh không-thời gian (spacetime patch) cho transformer.
• Điều kiện từ văn bản. Một bộ mã hóa ngôn ngữ biến prompt thành các con số dẫn hướng cho từng bước gỡ nhiễu. Một số hệ thống còn viết thêm chú thích phong phú hơn từ prompt của bạn trước khi tạo.

Imagen Video của Google bổ sung một chuỗi tầng: tạo trước một clip nhỏ, ngắn, tốc độ khung hình thấp, rồi nâng độ phân giải và tốc độ khung hình bằng các mô hình tiếp theo. Nhiều sản phẩm vẫn dùng một dạng của ý tưởng hai giai đoạn này, nên chế độ bản nháp thường nhanh hơn và chất lượng thấp hơn bản render cuối.

Quy trình từ ý tưởng đến clip dùng được

1. Chốt cảnh quay. Một chủ thể, một hành động, một chuyển động máy. Nếu cần nhiều hơn, hãy lên kế hoạch nhiều cảnh.
2. Viết prompt gồm chủ thể, hành động và thời gian, máy quay, bối cảnh và ánh sáng, phong cách, và âm thanh. Xem hướng dẫn prompt video để biết cấu trúc.
3. Đặt các tùy chọn kỹ thuật trong giao diện: độ dài, tỷ lệ khung hình, độ phân giải, bật hoặc tắt âm thanh.
4. Tạo 2 đến 4 bản cho cùng một prompt. Kết quả giữa các seed khác nhau rất nhiều.
5. Chọn bản tốt nhất, rồi đổi một thứ trong prompt nếu vẫn cần cải thiện.
6. Nếu khuôn mặt hoặc sản phẩm phải giống chính xác, chuyển sang image-to-video và đưa cho mô hình một khung hình mở đầu.
7. Cắt clip trong phần mềm dựng. Bỏ vài khung hình đầu và cuối nếu chúng bị rung.

Sai lầm tốn kém nhất là cố sửa một cảnh hỏng bằng prompt ngày càng dài. Nếu ba lần thử đều thất bại, nhiều khả năng cảnh quá phức tạp so với mô hình. Hãy đơn giản hóa hành động hoặc tách ra.

Những cài đặt quan trọng

Giới hạn chính xác về độ dài, độ phân giải và giá thay đổi thường xuyên và khác nhau giữa các công cụ, nên hãy xem tài liệu hiện hành của công cụ bạn dùng.

Ví dụ: clip 15 giây chia thành ba cảnh

Thay vì yêu cầu một clip 15 giây về buổi sáng thường ngày, hãy lên kế hoạch ba cảnh, mỗi cảnh khoảng năm giây. Mỗi cảnh có một nhiệm vụ, và cùng một dòng phong cách giúp chúng đồng bộ.

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

Lặp lại nguyên văn mô tả chủ thể và dòng phong cách ở mỗi cảnh là công cụ giữ tính liền mạch đơn giản nhất. Để nhất quán chặt hơn, hãy tạo trước một ảnh tĩnh của nhân vật và dùng nó làm khung hình mở đầu.

Text-to-video hay image-to-video?

Text-to-video quyết định mọi thứ chỉ từ chữ. Điều đó tốt để khám phá ý tưởng và cho những cảnh mà vẻ ngoài chính xác không quan trọng. Image-to-video bắt đầu từ bức ảnh bạn đưa vào, nên vẻ ngoài đã cố định và prompt chỉ cần mô tả chuyển động.

Một cách kết hợp phổ biến là tạo ảnh tĩnh bằng mô hình ảnh, rồi làm cho nó chuyển động. Ví dụ, ai-image-generator của cv.cm có thể tạo nhanh ảnh nháp 384 px ngay trên GPU của bạn; sau đó một mô hình video đầy đủ sẽ làm động phiên bản lớn hơn của ảnh đó.

Những giới hạn cần tính đến

Text-to-video đã tiến bộ nhanh, nhưng một số điểm yếu mang tính cấu trúc. Tại thời điểm viết bài, hãy tính đến những điều sau:

• Vật lý. Rót nước, vỡ, va chạm và vải thường trông sai. Chính báo cáo Sora nêu kính vỡ làm ví dụ về vật lý mô hình chưa làm đúng. Hãy giữ các sự kiện vật lý đơn giản hoặc để chúng diễn ra ngoài khung hình.
• Bàn tay và vật nhỏ. Ngón tay dính vào nhau, vật xuyên qua bàn tay. Giữ động tác tay đơn giản và tránh cận cảnh các thao tác ngón tay tinh vi.
• Chữ trên màn hình. Biển hiệu và phụ đề thường bị méo mó. Hãy thêm chữ khi dựng.
• Trôi danh tính. Khuôn mặt có thể đổi giữa đầu và cuối clip, và còn nhiều hơn giữa các clip. Dùng ảnh mở đầu hoặc ảnh tham chiếu.
• Đếm số lượng và đám đông. 'Ba con chó' có thể thành hai hoặc bốn; người trong đám đông có thể dính vào nhau.
• Cảnh quay dài. Chất lượng và khả năng bám prompt giảm khi clip dài hơn. Hãy dựng các cảnh ngắn lại với nhau.