Bagaimana cara kerja video AI first and last frame?

Apa itu interpolasi keyframe

Dalam animasi, keyframe adalah gambar yang menetapkan momen penting, dan frame di antara keyframe disebut in-between. Video first-and-last-frame menerapkan ide yang sama: kamu menggambar atau membuat dua keyframe, dan model membuat in-between-nya.

Interpolasi frame klasik, seperti metode FILM dari Google Research, mengisi frame di antara dua foto yang diambil berdekatan. Metode ini memperkirakan bagaimana piksel bergerak dan memadukannya sepanjang gerakan itu. Hasilnya bagus untuk memperhalus slow motion, tetapi tidak bisa mengarang isi baru, sehingga perubahan besar terlihat seperti morph.

Interpolasi generatif melangkah lebih jauh. Model difusi video dikondisikan pada kedua gambar dan membuat klip utuh yang frame pertamanya cocok dengan satu gambar dan frame terakhirnya cocok dengan gambar lainnya. Makalah Generative Inbetweening tahun 2024 menyesuaikan model image-to-video untuk ini: satu proses berjalan maju dari frame pertama dan satu mundur dari frame terakhir, lalu keduanya digabungkan. Produk seperti Veo, Kling, Runway, dan Seedance menawarkan ide yang sama sebagai opsi frame awal dan frame akhir, dan dokumentasi Veo dari Google menjelaskannya sebagai menentukan frame pertama dan terakhir ditambah sebuah prompt.

Kapan memakainya

• Kamu butuh klip yang berakhir pada pose, sudut produk, atau komposisi yang persis, misalnya pengungkapan logo atau produk yang berputar menghadap kamera.
• Kamu menyambung shot: frame terakhir shot A menjadi frame pertama shot B, sehingga pergantian shot tidak terlihat.
• Kamu menginginkan transformasi terkendali, seperti siang ke malam, bunga kuncup ke mekar, piring kosong ke hidangan tersaji.
• Kamu menginginkan gerakan kamera dengan tujuan yang pasti, seperti wide shot yang berakhir pada close-up pintu.

Kalau kamu hanya peduli bagaimana klip dimulai, image-to-video biasa lebih sederhana dan memberi model kebebasan lebih besar.

Cara mendesain kedua frame

Model harus menemukan jalur yang masuk akal dari frame A ke frame B dalam beberapa detik. Tugasmu adalah membuat jalur itu pendek dan jelas.

1. Buat kedua frame dari sumber yang sama. Buat frame A, lalu buat frame B dengan mengedit frame A (ubah pose, ekspresi, atau cahaya), bukan membuat gambar baru dari nol. Karakter, pakaian, latar, dan lensa yang sama.
2. Ubah satu hal utama. Satu perubahan pose, atau satu perubahan kamera, atau satu perubahan cahaya. Dua perubahan sekaligus sering menghasilkan campuran yang bukan keduanya.
3. Sesuaikan besar perubahan dengan panjang klip. Menoleh cukup dalam beberapa detik; berjalan melintasi ruangan lalu duduk butuh klip lebih panjang atau dua shot.
4. Pakai rasio aspek dan resolusi yang sama untuk kedua gambar. Dokumentasi Google, misalnya, memakai 16:9 atau 9:16 untuk keduanya.
5. Pastikan jalurnya mungkin secara fisik. Kalau tangan kiri terangkat di frame A dan masuk saku di frame B, tangan itu harus bergerak melewati tempat yang bisa dilihat kamera.
6. Tulis prompt yang menggambarkan perubahannya. Contoh Google memasangkan frame pertama berisi kue dengan frame terakhir berisi kue dan susu, dan prompt-nya menggambarkan aksi yang menghubungkan keduanya.

First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

Transisi yang berhasil dan yang gagal

Kalau kamu memang menginginkan morph, seperti biji yang menjadi pohon atau satu gaya yang berubah menjadi gaya lain, jalur yang gagal bisa menjadi efeknya. Sebutkan dalam prompt: 'smooth magical transformation' memberi tahu model bahwa morph memang disengaja, dan hasilnya biasanya terlihat lebih bersih daripada morph yang tidak disengaja.

Merantai klip dengan frame bersama

Alat first-and-last-frame juga berguna untuk kontinuitas dalam sekuens yang lebih panjang. Rencanakan daftar keyframe, lalu buat tiap klip di antara dua keyframe bertetangga.

Karena klip 2 dimulai tepat pada frame tempat klip 1 berakhir, sambungannya mulus. Warna dan ketajaman masih bisa sedikit bergeser di tiap sambungan, jadi samakan warna antarklip saat editing, dan jaga arah gerakan tetap konsisten agar potongan terasa natural.

Batasan dan solusinya

• Ease-in dan macet. Model kadang menahan frame pertama lalu terburu-buru menuju frame terakhir. Gambarkan temponya: 'moves steadily over the whole clip'.
• Cross-fade tersembunyi. Kalau kedua frame terlalu berbeda, model bisa saja melarutkan satu ke yang lain. Dekatkan kedua frame, atau tambahkan keyframe di tengah.
• Identitas bergeser di tengah. Ujung-ujungnya cocok, tetapi wajah berubah di pertengahan. Pakai framing yang lebih dekat, klip lebih pendek, dan frame yang dibuat dari gambar sumber yang sama.
• Frame akhir tidak persis. Sebagian alat menganggap frame terakhir sebagai petunjuk kuat, bukan aturan mutlak. Potong atau tahan frame terakhir saat editing jika perlu.
• Teks dan logo yang bergerak. Biarkan diam, atau tambahkan saat editing.