AIキャラクターを画像間で一貫させるにはどうする？

キャラクターがぶれる理由

画像モデルには、実行間の記憶がありません。生成のたびに新しいランダムノイズから始まり、プロンプトも一から読み直します。a young woman with short black hair のような言葉は何百万通りもの顔に当てはまり、モデルは毎回別の顔を選びます。言葉遣い、ポーズ、カメラアングルが少し変わるだけで、結果はさらに離れていきます。

つまり一貫性は、モデルが覚えていることから生まれるのではなく、あなたが毎回同じ情報を、ツールが受け付けるあらゆる形で渡すことから生まれます。同じ言葉、同じ参照画像、そして大きなプロジェクトならキャラクターを学習した小さな追加モジュールです。以下の方法は、手軽なものから手間のかかるものの順に並べています。たいていのプロジェクトでは、2〜3個を組み合わせます。

ステップ1：固定のキャラクターブロックを書く

記述は一度だけ書いてテキストファイルに保存し、すべてのプロンプトにそのまま貼り付けます。目立つ特徴から順に並べ、見る人が目で確認できるものだけを入れます。

MEI (character block, paste unchanged)
adult woman in her late 20s, East Asian, oval face, straight black hair
in a chin-length bob with blunt bangs, dark brown eyes, small mole under
the left eye, slim build, wearing a mustard-yellow raincoat over a white
T-shirt, dark blue jeans, white sneakers, round silver earrings

そのうえで、各プロンプトを「キャラクターブロック＋シーン」で組み立てます。変えるのはシーンだけです。

[MEI block], standing at a bus stop in the rain, holding a clear umbrella,
night, neon reflections on the wet road, medium shot, 35mm photo

• 目印になる特徴を選びます。珍しい色が1つ、アクセサリーが1つ、顔の特徴が1つ。Mustard raincoat や mole under the left eye は、pretty よりずっと確認と再現がしやすい表現です。
• 実行ごとに意味が変わる語は避けます。stylish outfit や cute などです。
• スタイルの語はブロックの外に置きます。そうすれば、キャラクターの記述を編集せずに、シーンを写真からイラストに変えられます。
• メモ上ではキャラクターに名前を付けても構いませんが、プロンプトでは名前に頼らないでください。作り上げた名前は、学習させない限りモデルにとって何の意味も持ちません。

ステップ2：キャラクターシートを作る

キャラクターシートとは、無地の背景でキャラクターをいくつかの角度からはっきり見せる、1枚または数枚の画像です。以降のすべてのショットで立ち返る参照になります。

1. キャラクターブロックから、無地の明るい灰色の背景、ニュートラルな光、全身で、多くの候補を生成します。
2. 最も気に入った顔を1つ選びます。これが正準の顔になります。これ以上探し回らないでください。
3. そのキャラクターのターンアラウンド（正面、斜め前、側面、背面）を作ります。選んだ画像を参照にするか、各角度にポーズ制御を使います。
4. 表情の行（無表情、笑顔、驚き、怒り）と、顔とアクセサリーのクローズアップを追加します。
5. インペイントで誤りを直し、キャラクターブロックを横に添えて、シートをフル解像度で保存します。

character turnaround sheet of [MEI block], front view, three-quarter view,
side view and back view, full body, standing in a neutral pose,
plain light gray background, even soft studio light, clean illustration

シートはすっきりさせておきましょう。参照画像の背景がごちゃごちゃしていたり、照明が劇的だったりすると、顔とともに後の画像にもコピーされてしまいます。

ステップ3：生成のたびに参照画像を使う

最近のツールの多くは、少なくとも1枚の画像を参照として受け付けます。ホスティング型ツールではキャラクターリファレンス、サブジェクトリファレンス、あるいは単にアップロード画像と呼ばれます。オープンソースのワークフローでは、IP-Adapterのようなアダプターが参照画像を特徴量に変換し、テキストとともにモデルを誘導します。シートから顔のクローズアップと全身の1枚をモデルに渡し、新しいシーンはテキストで説明します。

• ショットに合う切り抜きを使います。クローズアップには顔の参照、ロングショットには全身の参照。
• どの画像も参照のポーズや背景をコピーしてしまうなら、参照のウェイトを下げます。顔がずれるなら上げます。
• 直前に生成した画像を参照にして連鎖させてはいけません。誤差が積み重なります。必ず承認済みのシートに戻りましょう。
• ポーズを正確に合わせたいときは、ポーズの制御画像も追加します。画像から画像のガイドを参照してください。

シード：便利だが限界がある

シードは、ランダムな開始ノイズを固定します。同じモデル、設定、プロンプトなら、同じシードでほぼ同じ画像になるので、シードは1つのショットの小さなバリエーション作りに最適です。表情や照明だけを変えて、他はそのままにできます。

シードは、異なるシーンにわたってキャラクターを保つことはできません。ポーズ、背景、構図を変えると、同じシードでもレイアウトが変わり、顔まで変わることが多くなります。また、モデル、ツールのバージョン、ハードウェア、サンプラーを変えると効かなくなります。シードは、キャラクターの同一性ではなく、絵を再現するための手段だと考えてください。

長いプロジェクト向けのステップ4：LoRAとファインチューニング

漫画、シリーズもの、数百枚の画像に登場するブランドのマスコットなどには、モデルにキャラクターを覚えさせるのが最も強力な方法です。オープンソースのツールでは、次の3つの方法がよく使われます。

設定より学習データのほうが重要です。シートや承認済みのショットから、同じキャラクターの画像を、角度、表情、光、背景を変えて用意し、それぞれにキャプションを付けます。すべての学習画像が同じ背景やポーズだと、LoRAはそれも一緒に学んでしまいます。カスタムキャラクターを提供するホスティング型サービスも、裏では似たことを行っています。

連続性チェックリスト

新しい画像をプロジェクトに入れる前に、キャラクターシートと並べて比べます。不合格のものは直すか再生成します。

ショットごとに、プロンプト、シード、使った参照、モデル、行った修正を簡単に記録しておきましょう。プロジェクトの後半でキャラクターがぶれたとき、どの変更が原因だったかが記録から分かります。動画でも、ショットごとに同じルールが当てはまります。キャラクターを動きの中でも保つ方法は、複数ショット動画のガイドで扱っています。