文字生成影片 AI 是怎麼運作的？

按下生成之後發生了什麼

多數文字生成影片系統，都是把圖片擴散模型（diffusion model）延伸到影片。Ho 等人 2022 年的論文《Video Diffusion Models》提出了基本概念：把影片看成一整塊影格，訓練時對真實影片加入雜訊，再教網路把雜訊去除。生成時，模型從每一格的純雜訊開始，同時對它們去雜訊，因此動作和外觀是一起決定的。

有三個概念讓這件事能大規模實用。

• 潛在空間（latent space）。模型處理的是影片的壓縮版本，而不是原始像素，再由另一個解碼器把結果轉成影格。Stable Video Diffusion 就是這種潛在空間做法的開源範例。
• 空間與時間一起處理。網路既看單格內部，也跨格觀察，所以第 1 格和第 40 格的臉會被視為同一張臉。OpenAI 的 Sora 報告說明，他們把影片切成時空補丁（spacetime patches）餵給 Transformer。
• 文字條件。語言編碼器把你的提示詞轉成數字，引導每一步去雜訊。有些系統還會在生成前，先把你的提示詞擴寫成更豐富的描述。

Google 的 Imagen Video 加入了級聯做法：先生成小尺寸、短時間、低影格率的影片，再用後續模型提高解析度和影格率。許多產品至今仍採用這種兩階段概念的某種形式，這也是為什麼草稿模式通常比最終輸出更快、品質更低。

從構想到可用影片的工作流程

1. 先決定鏡頭：一個主體、一個動作、一種運鏡。如果需要更多，就規劃成幾個鏡頭。
2. 寫提示詞，包含主體、動作與時間、鏡頭、場景與光線、風格和聲音。結構請見影片提示詞指南。
3. 在介面裡設定技術選項：長度、長寬比、解析度，以及聲音開或關。
4. 同一段提示詞生成 2 到 4 次。不同種子（seed）之間的結果差異很大。
5. 挑出最好的一次；如果還需要改進，就只改提示詞裡的一處。
6. 如果臉或產品必須完全一致，就改用圖生影片，給模型一張起始影格。
7. 在剪輯軟體裡修剪片段。開頭和結尾幾格如果有晃動，就剪掉。

最花錢的錯誤，是用越寫越長的提示詞去救一個糟糕的鏡頭。如果試了三次都失敗，這個鏡頭對模型來說大概太複雜了。請簡化動作，或把它拆開。

真正重要的設定

長度、解析度與價格的確切限制經常變動，且各工具不同，請查閱你所用工具的最新文件。

範例：把 15 秒影片規劃成三個鏡頭

與其要求一支 15 秒的早晨日常影片，不如規劃三個各約五秒的鏡頭。每個鏡頭只負責一件事，再用同一行風格描述讓它們保持一致。

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

每個鏡頭都逐字重複主體描述和風格描述，是最簡單的連貫手法。想要更強的一致性，就先為角色做一張定格圖，再把它當成起始影格。

文字生成影片，還是圖生影片？

文字生成影片的一切都由文字決定，適合探索構想，也適合外觀不必精確的場景。圖生影片則從你提供的圖片出發，外觀已經固定，提示詞只需要描述動態。

常見的混合做法，是先用圖片模型做一張靜態圖，再讓它動起來。例如 cv.cm 的 ai-image-generator 可以在你自己的 GPU 上快速產生 384 px 的草稿圖；再用完整的影片模型讓它的放大版動起來。

規劃時要避開的限制

文字生成影片進步很快，但有些弱點是結構性的。截至撰寫時，請預先避開以下幾點：

• 物理表現。倒水、破碎、碰撞和布料常常看起來不對。Sora 報告本身就舉玻璃破碎為例，說明模型沒做對的物理現象。物理事件要保持簡單，或讓它發生在畫面之外。
• 手和小物件。手指會黏在一起，物品會穿過手。手部動作保持簡單，避免精細手指動作的特寫。
• 畫面中的文字。招牌和字幕常常變成亂碼。文字請在剪輯時再加。
• 身分漂移。臉可能在片段開頭與結尾之間改變，不同片段之間更明顯。請使用起始圖或參考圖。
• 數量與人群。「三隻狗」可能變成兩隻或四隻；人群中的人會融在一起。
• 長鏡頭。片段越長，品質與遵循提示詞的程度就越下降。請改為把短鏡頭剪接在一起。