Bagaimana cara kerja text-to-video AI?

Apa yang terjadi saat kamu menekan generate

Sebagian besar sistem text-to-video adalah model difusi (diffusion model) yang diperluas dari gambar ke video. Makalah Video Diffusion Models tahun 2022 oleh Ho dan rekan-rekan menunjukkan ide dasarnya: anggap klip sebagai blok frame, tambahkan noise ke klip asli saat pelatihan, lalu ajari jaringan untuk menghilangkan noise itu. Saat generate, model memulai dari noise murni untuk setiap frame dan membersihkannya bersamaan, sehingga gerakan dan tampilan diputuskan bersama.

Tiga ide membuat cara ini praktis dalam skala besar.

• Ruang laten (latent space). Model bekerja pada versi video yang dikompresi, bukan piksel mentah. Dekoder terpisah mengubah hasilnya menjadi frame. Stable Video Diffusion adalah contoh terbuka dari pendekatan laten ini.
• Ruang dan waktu sekaligus. Jaringan melihat antarframe, bukan hanya di dalam satu frame, sehingga wajah di frame 1 dan frame 40 dianggap wajah yang sama. Laporan Sora dari OpenAI menjelaskan pemotongan video menjadi spacetime patch untuk transformer.
• Pengondisian teks. Encoder bahasa mengubah promptmu menjadi angka yang mengarahkan setiap langkah pembersihan noise. Sebagian sistem juga menulis caption yang lebih kaya dari promptmu sebelum generate.

Imagen Video dari Google menambahkan sistem bertingkat: buat dulu klip kecil, pendek, dengan frame rate rendah, lalu naikkan resolusi dan frame rate-nya dengan model-model lanjutan. Banyak produk masih memakai versi dari ide dua tahap ini, itulah sebabnya mode draf biasanya lebih cepat dan berkualitas lebih rendah daripada render akhir.

Alur kerja dari ide sampai klip yang bisa dipakai

1. Tentukan shot-nya. Satu subjek, satu aksi, satu gerakan kamera. Kalau butuh lebih, rencanakan beberapa shot.
2. Tulis prompt berisi subjek, aksi dan timing, kamera, latar dan cahaya, gaya, serta audio. Lihat panduan prompt video untuk strukturnya.
3. Atur opsi teknis di antarmuka: durasi, rasio aspek, resolusi, dan audio aktif atau tidak.
4. Buat 2 sampai 4 take dari prompt yang sama. Hasilnya sangat bervariasi antarseed.
5. Pilih take terbaik, lalu ubah satu hal di prompt kalau masih perlu diperbaiki.
6. Kalau wajah atau produk harus tampil persis, beralih ke image-to-video dan beri model frame awal.
7. Potong klip di editor. Buang beberapa frame awal dan akhir kalau goyang.

Kesalahan yang paling boros adalah memperbaiki shot yang jelek dengan prompt yang makin panjang. Kalau tiga percobaan gagal, kemungkinan shot itu terlalu rumit untuk modelnya. Sederhanakan aksinya atau pecah jadi beberapa shot.

Pengaturan yang penting

Batas durasi, resolusi, dan harga sering berubah dan berbeda di tiap alat, jadi periksa dokumentasi terbaru dari alat yang kamu pakai.

Contoh: klip 15 detik sebagai tiga shot

Daripada meminta satu klip 15 detik tentang rutinitas pagi, rencanakan tiga shot dengan durasi sekitar lima detik. Setiap shot punya satu tugas, dan baris gaya yang sama menjaga ketiganya serasi.

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

Mengulang deskripsi subjek dan baris gaya persis sama di setiap shot adalah alat kontinuitas paling sederhana. Untuk konsistensi yang lebih kuat, buat dulu satu gambar diam karakternya lalu pakai sebagai frame awal.

Text-to-video atau image-to-video?

Text-to-video memutuskan segalanya dari kata-kata. Ini bagus untuk menjelajahi ide dan adegan yang tampilan persisnya tidak penting. Image-to-video berangkat dari gambar yang kamu berikan, sehingga tampilannya sudah tetap dan prompt hanya perlu menggambarkan gerakan.

Cara gabungan yang umum adalah membuat gambar diam dengan model gambar, lalu menganimasikannya. Misalnya, ai-image-generator dari cv.cm bisa membuat gambar draf 384 px di GPU-mu sendiri; model video penuh kemudian menganimasikan versi yang lebih besar dari gambar itu.

Batasan yang perlu diantisipasi

Text-to-video berkembang pesat, tetapi sebagian kelemahannya bersifat struktural. Saat artikel ini ditulis, antisipasi hal-hal berikut:

• Fisika. Menuang, memecahkan, tabrakan, dan kain sering terlihat janggal. Laporan Sora sendiri memberi contoh kaca pecah sebagai fisika yang belum dikuasai modelnya. Buat peristiwa fisik tetap sederhana atau tampilkan di luar layar.
• Tangan dan benda kecil. Jari menyatu, benda menembus tangan. Buat aksi tangan sederhana dan hindari close-up pekerjaan jari yang halus.
• Teks di layar. Papan dan teks sering keluar berantakan. Tambahkan teks saat editing.
• Identitas yang bergeser. Wajah bisa berubah antara awal dan akhir klip, apalagi antarklip. Pakai gambar awal atau gambar referensi.
• Menghitung dan keramaian. 'Three dogs' bisa jadi dua atau empat; orang dalam kerumunan bisa menyatu.
• Take panjang. Kualitas dan kepatuhan pada prompt menurun seiring klip makin panjang. Gabungkan shot pendek saat editing.