Bagaimana cara menjaga karakter AI tetap konsisten di banyak gambar?

Mengapa karakter bisa berubah-ubah

Model gambar tidak punya ingatan antarproses. Setiap generate dimulai dari noise acak baru dan membaca promptmu dari nol. Kata seperti a young woman with short black hair menggambarkan jutaan kemungkinan wajah, dan model memilih yang berbeda setiap kali. Perubahan kecil pada kata, pose, atau sudut kamera menggeser hasilnya lebih jauh.

Jadi konsistensi tidak datang dari model yang mengingat. Konsistensi datang dari kamu yang memberi model informasi yang sama setiap kali, dalam sebanyak mungkin bentuk yang diterima alatnya: kata-kata yang sama, gambar referensi yang sama, dan untuk proyek besar, add-on kecil hasil pelatihan yang sudah mempelajari karakternya. Metode di bawah ini diurutkan dari yang termurah sampai yang paling banyak usahanya. Kebanyakan proyek menggabungkan dua atau tiga.

Langkah 1: tulis blok karakter yang tetap

Tulis deskripsi sekali, simpan di file teks, dan tempel tanpa perubahan di setiap prompt. Urutkan detail dari yang paling terlihat ke yang paling tidak, dan hanya masukkan hal yang bisa dilihat penonton.

MEI (character block, paste unchanged)
adult woman in her late 20s, East Asian, oval face, straight black hair
in a chin-length bob with blunt bangs, dark brown eyes, small mole under
the left eye, slim build, wearing a mustard-yellow raincoat over a white
T-shirt, dark blue jeans, white sneakers, round silver earrings

Lalu susun setiap prompt sebagai blok karakter ditambah adegan. Hanya adegannya yang berubah:

[MEI block], standing at a bus stop in the rain, holding a clear umbrella,
night, neon reflections on the wet road, medium shot, 35mm photo

• Pilih jangkar yang khas: satu warna tidak biasa, satu aksesori, satu tanda di wajah. Mustard raincoat dan mole under the left eye lebih mudah diperiksa dan direproduksi daripada pretty.
• Hindari kata yang maknanya berubah antarproses, seperti stylish outfit atau cute.
• Taruh kata gaya di luar blok, supaya kamu bisa mengubah adegan dari foto ke ilustrasi tanpa menyunting karakternya.
• Beri karakter nama di catatanmu, tetapi jangan mengandalkan nama itu di prompt; nama rekaan tidak berarti apa-apa bagi model kecuali kamu melatihnya.

Langkah 2: buat character sheet

Character sheet adalah satu gambar, atau satu set kecil, yang menunjukkan karakter dengan jelas dari beberapa sudut di latar polos. Ini menjadi referensi yang kamu kembali ke sana untuk setiap shot berikutnya.

1. Buat banyak kandidat dari blok karakter di latar abu-abu terang polos, cahaya netral, seluruh tubuh.
2. Pilih satu wajah yang paling kamu suka. Ini sekarang wajah kanonik; jangan terus mencari yang lain.
3. Buat tampilan turnaround karakter itu: depan, tiga perempat, samping, dan belakang. Pakai gambar terpilih sebagai referensi, atau kontrol pose untuk tiap sudut.
4. Tambahkan deretan ekspresi (netral, senyum, kaget, marah) dan close-up wajah serta aksesori.
5. Perbaiki kesalahan dengan inpainting, lalu simpan sheet pada resolusi penuh dengan blok karakter tertulis di sebelahnya.

character turnaround sheet of [MEI block], front view, three-quarter view,
side view and back view, full body, standing in a neutral pose,
plain light gray background, even soft studio light, clean illustration

Jaga sheet tetap bersih. Latar yang ramai atau cahaya dramatis pada referensi akan ikut tersalin ke gambar-gambar berikutnya bersama wajahnya.

Langkah 3: pakai gambar referensi di setiap generate

Kebanyakan alat saat ini menerima setidaknya satu gambar sebagai referensi. Alat hosted menyebutnya character reference, subject reference, atau sekadar gambar yang diunggah; alur kerja open-source memakai adapter seperti IP-Adapter, yang mengubah gambar referensi menjadi fitur yang memandu model bersama teks. Berikan model close-up wajah dan satu tampilan seluruh tubuh dari sheet, lalu gambarkan adegan baru dalam teks.

• Pakai potongan yang sesuai shot: referensi wajah untuk close-up, referensi seluruh tubuh untuk wide shot.
• Turunkan bobot referensi kalau setiap gambar menyalin pose dan latar referensi; naikkan kalau wajah bergeser.
• Jangan merantai referensi dari gambar hasil generate terakhir. Kesalahan menumpuk. Selalu kembali ke sheet yang sudah disetujui.
• Untuk pose yang harus persis sama, tambahkan juga gambar kontrol pose. Lihat panduan image-to-image.

Seed: berguna, tetapi terbatas

Seed mengunci noise awal yang acak. Dengan model, pengaturan, dan prompt yang sama, seed yang sama menghasilkan gambar yang hampir identik, sehingga seed sangat bagus untuk membuat variasi kecil dari satu shot: ubah ekspresi atau pencahayaan dan pertahankan yang lain.

Seed tidak menjaga karakter di adegan yang berbeda. Ubah pose, latar, atau framing, dan seed yang sama menghasilkan tata letak yang berbeda dan sering kali wajah yang berbeda. Seed juga berhenti berfungsi saat kamu mengganti model, versi alat, perangkat keras, atau sampler. Anggap seed sebagai cara mengulang satu gambar, bukan sebagai identitas karakter.

Langkah 4 untuk proyek panjang: LoRA dan fine-tuning

Untuk komik, serial, atau maskot merek yang muncul di ratusan gambar, pilihan terkuat adalah mengajari model karakternya. Tiga metode umum di alat open-source:

Data pelatihan lebih penting daripada pengaturan. Pakai gambar karakter yang sama dari sheet dan shot yang sudah disetujui, dengan sudut, ekspresi, cahaya, dan latar yang bervariasi, dan beri caption pada tiap gambar. Kalau semua gambar pelatihan punya latar atau pose yang sama, LoRA ikut mempelajarinya. Layanan hosted yang menawarkan karakter kustom melakukan hal serupa di balik layar.

Checklist kontinuitas

Sebelum gambar baru masuk ke proyek, bandingkan berdampingan dengan character sheet. Perbaiki atau generate ulang apa pun yang tidak lolos.

Simpan log sederhana untuk setiap shot: prompt, seed, referensi yang dipakai, model, dan perbaikan yang dilakukan. Ketika karakter bergeser di tengah proyek, log menunjukkan perubahan mana yang menyebabkannya. Untuk video, aturan yang sama berlaku dari shot ke shot; panduan video multi-shot menjelaskan cara membawa karakter melewati gerakan.