cv.cm

AI · AI 影片

首尾影格 AI 影片是怎麼運作的?

閱讀約 6 分鐘

簡答

首尾影格影片是給模型兩張圖,也就是開場與結尾的影格,請它生成兩者之間的動態。這是用生成模型做的關鍵影格補間。當兩張圖是同一場景、只有一個明確變化(例如姿勢、表情或鏡頭位置)時效果最好;差異太大就容易失敗。

關鍵影格補間是什麼意思

在動畫裡,關鍵影格(keyframe)是定住重要瞬間的畫面,關鍵影格之間的畫面稱為中間畫(in-between)。首尾影格影片套用的是同一個概念:你畫出或生成兩張關鍵影格,由模型負責做中間畫。

傳統的影格補間,例如 Google Research 的 FILM 方法,是在相隔片刻拍下的兩張照片之間補上影格。它估算像素如何移動,並沿著那個動態做混合。這很適合讓慢動作更平順,但無法創造新內容,所以變化一大,看起來就像變形(morph)。

生成式補間則更進一步。影片擴散模型同時以兩張圖為條件,生成一段完整影片,首格對應其中一張,末格對應另一張。2024 年的論文《Generative Inbetweening》改造了圖生影片模型來做這件事:從首格往前跑一次、從末格往後跑一次,再把兩者合併。Veo、Kling、Runway、Seedance 等產品都以起始影格與結束影格選項提供同樣的功能,Google 的 Veo 文件則把它描述為指定首格與末格,再加上一段提示詞。

什麼時候適合用

  • 你需要影片停在確切的姿勢、產品角度或構圖上,例如標誌揭曉,或產品轉過來面對鏡頭。
  • 你要接合鏡頭:鏡頭 A 的末格成為鏡頭 B 的首格,剪接點就看不出來。
  • 你想要可控的變化,例如白天變夜晚、花苞綻放、空盤變成上菜。
  • 你想要終點固定的運鏡,例如從遠景一路拍到一扇門的特寫。

如果你只在意影片怎麼開始,一般的圖生影片更簡單,也給模型更多自由。

怎麼設計兩張影格

模型必須在幾秒內,找出一條從影格 A 到影格 B 的可信路徑。你的工作就是讓這條路徑又短又明顯。

  1. 兩張圖出自同一個來源。先生成影格 A,再編輯影格 A(改姿勢、表情或光線)得到影格 B,而不是從頭生成新圖。角色、衣服、背景、鏡頭焦段都要相同。
  2. 只改一件主要的事。一個姿勢變化,或一個鏡頭變化,或一個光線變化。同時改兩件,常會得到兩者都不像的混合體。
  3. 變化的幅度要與長度相稱。轉頭幾秒就夠;走過房間再坐下,需要更長的片段或拆成兩個鏡頭。
  4. 兩張圖保持相同的長寬比和解析度。例如 Google 的文件,兩張圖都採用 16:9 或 9:16。
  5. 確認路徑在物理上可行。如果左手在影格 A 是舉起的,在影格 B 卻插在口袋裡,那隻手就必須經過鏡頭看得到的地方。
  6. 寫一段描述變化的提示詞。Google 的範例是首格為餅乾、末格為餅乾加牛奶,提示詞則描述連接兩者的動作。
First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

哪些轉場可行,哪些會失敗

轉場通常可行嗎?原因
表情變化(面無表情到微笑)可行變化小且局部,臉停留在原位
頭部或身體轉向,最多約 90 度可行模型看過大量這類轉身
同一場景從遠景推到中景的運鏡可行路徑清楚,內容始終看得見
光線變化(白天到黃昏、開燈)多半可行幾何結構相同,只有顏色與陰影改變
物品出現在手中有時可行需要看得見的路徑:伸手、拿起
繞著人物完整轉 180 度常失敗模型必須憑空編出背面並維持身分
影格 B 換成不同地點常失敗沒有真正的路徑;只會得到變形或交叉溶接
換成不同的人或服裝通常失敗臉和衣服會互相融化
短片段內在房間裡大幅移動常失敗動作變成滑動或跳躍

當你想要刻意的變形,例如種子長成樹,或一種風格變成另一種風格,失敗的路徑反而可以變成效果。請在提示詞中說明:「smooth magical transformation」會告訴模型這是刻意的變形,通常比意外產生的變形乾淨。

用共用影格串接多段影片

首尾影格工具也是較長序列的連貫工具。先規劃一串關鍵影格,再在相鄰兩張之間生成每一段影片。

片段首格末格動態
1K1:主角在大門前,背對鏡頭K2:主角走到小路一半向前走,鏡頭跟隨
2K2K3:主角在門前,手搭在門把上爬上台階,伸手去開門
3K3K4:門開了,暖光照在他臉上緩緩開門

因為片段 2 正好從片段 1 結束的那一格開始,銜接處是無縫的。不過每個銜接處的色彩和銳利度仍可能略有偏移,所以剪輯時要做色彩校正,並保持動作方向一致,讓剪接點自然。

限制與解法

  • 先停滯再趕場。模型有時會停在首格不動,然後倉促奔向末格。請描述節奏:「moves steadily over the whole clip」。
  • 暗中交叉溶接。如果兩張影格差太多,模型可能直接在兩者之間溶接。請讓兩張圖更接近,或加一張中間的關鍵影格。
  • 中段身分漂移。兩端吻合,但臉在中途變了。請用較近的構圖、較短的片段,並讓兩張影格來自同一張來源圖。
  • 末格不完全一致。有些工具把末格視為強烈的暗示,而非硬性規定。必要時在剪輯時修剪或定格最後一格。
  • 動態中的文字與標誌。讓它們保持靜止,或在剪輯時再加。

常見問題

首尾影格和圖生影片有什麼不同?

圖生影片只固定開場影格,由模型決定影片在哪裡結束。首尾影格則固定兩端,所以你能掌控最後的姿勢或構圖。

能用首尾影格做出循環影片嗎?

可以,把同一張圖同時當作首格和末格,再描述一個回到起點的動作,例如緩慢擺動。小幅度的週期性動作最適合循環。

為什麼我的首尾影格影片看起來像變形?

兩張圖可能差異太大,沒有可信的路徑,例如換了地點或服裝。請用編輯影格 A 的方式得到影格 B,而且只改一件事。

首尾影格的片段該設幾秒?

依變化的大小決定長度:表情或轉頭幾秒就夠,走路或大幅運鏡則需要更長。太短的片段會迫使動作倉促。

首尾影格和慢動作的影格補間是同一回事嗎?

兩者相關。慢動作補間是在相鄰的兩張照片之間補影格,而生成式首尾影格則是在相隔較遠的兩個時刻之間,憑空創造數秒的新動態。

全部 AI 教學