cv.cm

AI · AI 短影音創作

AI 影片剪輯教學:各項功能的用途與使用時機

閱讀約 9 分鐘

簡答

AI 影片剪輯是讓模型幫你做耗時的剪輯工作:剪掉靜音和口頭禪、用逐字稿剪片、把 16:9 素材重新構圖成 9:16、加字幕、清理人聲、去背、放大畫質以及生成 B-roll。建議用 AI 做第一輪粗剪,再自己檢查每一刀,因為 AI 工具會漏掉上下文、剪出跳接,還可能把人聲處理過頭。

開啟語音轉文字

AI 剪輯軟體能做什麼,不能做什麼

AI 影片剪輯軟體其實是普通的剪輯軟體,再替特定工作掛上模型。這些模型負責聽語音、追蹤人臉和物件、分離人聲與雜音,或是生成新的像素。截至本文撰寫時,CapCut(剪映)、Premiere Pro、DaVinci Resolve 和 Descript 都有這類功能,只是名稱不同。

看待 AI 剪輯,分成兩類比較好懂。分析型功能是在素材中找東西:字詞、停頓、人臉、節拍、鏡頭切換。它們省時間,也很容易檢查。生成型功能則是產生新的畫面或聲音:放大後的細節、補出的中間格、延伸的背景、新的 B-roll。它們可能加入從沒拍過的東西,因此需要更仔細的檢查,內容逼真時還要揭露。

AI 不會決定你的影片要講什麼。它分不出一場長談話中哪 60 秒最能吸引你的觀眾,也不知道哪一段停頓是戲劇性的留白,哪一段只是冷場。這些判斷仍然要靠你。

AI 剪輯功能總覽

功能作用適用時機注意事項
去除靜音與口頭禪從逐字稿或音量找出停頓,以及「嗯」「呃」之類的詞並刪除口播影片、教學、Podcast節奏喘不過氣、字尾被切掉、出現跳接
逐字稿剪輯把語音顯示成文字,刪除文字就會刪除對應的影片訪談與長時間錄影,依語意剪輯文字上看起來沒問題,但畫面跳接
自動重新構圖追蹤主要主體,讓 9:16 的裁切視窗在 16:9 畫面中移動把橫式素材變成 Shorts、TikTok 和 Reels雙人畫面漏掉第二個人;裁切視窗移動時抖動
自動字幕語音辨識產生帶時間碼的字幕幾乎所有短影音人名和數字寫錯
降噪與人聲分離把語音和背景聲音分開,移除其餘聲音嘈雜的房間、街頭錄音、風扇聲人聲變薄、有金屬感或像在水裡
自動去背逐格把人物從背景中摳出來不用綠幕也能做出綠幕效果邊緣閃爍、頭髮和手指消失
畫質放大用超解析度模型放大畫面並補上細節把偏軟的 720p AI 影片或舊素材做成 1080p 母檔臉部、文字和布料出現憑空捏造的細節
影格插補在現有影格之間生成新影格,用於慢動作或提高影格率把一般素材變成流暢的慢動作手部變形、快速動作時物體像融化
色彩匹配讓一支影片的色彩對齊參考影片同一支影片混用相機、手機和 AI 影片膚色偏移;無法修正曝光不良
節拍同步偵測音樂節拍,把剪接點放在拍點上蒙太奇與音樂導向的剪輯每個拍點都剪會顯得很機械
B-roll 生成用文字或圖片提示詞生成新影片要說明一個觀點,卻沒有對應的素材逼真的假場景需要揭露
AI 延伸與填補在影片結尾補影格,或在畫面邊緣之外補上新畫面鏡頭差一秒不夠長;想把畫面變寬內容會偏離原本的樣子

其中好幾項功能背後都有公開的研究可以閱讀:即時影格插補的 RIFE、真實世界影像超解析度的 Real-ESRGAN、音訊音源分離的 Hybrid Demucs,以及語音辨識的 Whisper。商業工具使用自家的模型,但優點和失敗模式相去不遠。

流程範例:從長錄影剪出 60 秒短影音

以下是一個實際範例。你有一支 40 分鐘的橫式雙人 Podcast 錄影,想剪出一支 60 秒的直式影片,發到 Shorts、TikTok 和 Reels。

  1. 轉錄整支錄影。你就有了帶時間碼、可搜尋的文字。
  2. 找出精華時刻。閱讀或搜尋逐字稿,找一段單獨看也成立的內容:清楚的一問一答、強烈的觀點、驚人的數字。標出兩三個候選。
  3. 估算字數。口說英文大約每秒 2.5 到 3 個單字,所以 60 秒大約容納 150 到 180 個英文單字。請挑約 200 到 250 個單字的段落,因為之後還會刪掉一些。
  4. 依逐字稿做粗剪。刪掉離題的句子,以及觀眾不需要的鋪陳。從最有意思的那句話開始,不要從打招呼開始。
  5. 執行去除靜音和口頭禪,然後聽一遍。把有意義的停頓放回去,例如梗出現前的留白。
  6. 清理音訊。以中等強度套用降噪或人聲分離,並戴耳機和原始音訊比較。
  7. 重新構圖成 9:16。讓自動重新構圖跟著說話者移動,再檢查說話者之間的每一個剪接點。修掉裁切畫面拍到空椅子的地方。
  8. 加上字幕。修正人名和數字,文字要放在安全區內。
  9. 加上開頭鉤子。確保第一格就是說話者的臉,光線充足,而且正說到一半。依我們的測試,開頭第一秒太慢或太暗,觀眾還沒給影片機會就走了。
  10. 輸出一個 1080×1920 的高品質母檔,再把同一個檔案發到各平台。

如果你的剪輯軟體沒有重新構圖功能,ffmpeg 可以做固定裁切。以下指令會剪出片段、列出停頓,並把雙人畫面的左半邊裁成 9:16:

# 1) Cut the chosen passage (from 12:04 to 13:15) out of the recording
ffmpeg -ss 00:12:04 -to 00:13:15 -i podcast.mp4 -c:v libx264 -crf 18 -c:a aac -b:a 192k segment.mp4

# 2) List pauses longer than 0.6 s that are quieter than -35 dB
ffmpeg -i segment.mp4 -af silencedetect=noise=-35dB:d=0.6 -f null - 2>&1 | grep silence_

# 3) Fixed 9:16 crop around the left speaker of a 1920x1080 frame
ffmpeg -i segment.mp4 -vf "crop=608:1080:180:0,scale=1080:1920:flags=lanczos,setsar=1" \
  -c:v libx264 -crf 18 -pix_fmt yuv420p -c:a copy vertical.mp4

第 3 步中,crop=608:1080:180:0 會取出寬 608、高 1080 的視窗,從距離左邊 180 像素的地方開始。608×1080 接近 9:16,後面的縮放步驟再讓它變成剛好 1080×1920。想移動視窗,就修改第三個數字。

正確的作業順序

順序很重要,因為有些步驟會破壞後續步驟需要的資訊,有些工作做得太早也是白費。

  1. 先選定並剪好內容。之後每個步驟處理的素材都會變少。
  2. 字幕之前先清理音訊,語音辨識才聽得到清楚的人聲。
  3. 字幕之前先重新構圖,才能把文字放在最終的畫面上。
  4. 輸出前做色彩匹配,等所有影片都已放上時間軸之後。
  5. 畫質放大放到最後,只對完成的剪輯做一次。剪輯前就逐支放大會讓算圖時間成倍增加,而且不同設定可能讓轉場看起來不一致。
  6. 只保留一個母檔。每個 App 都會把你上傳的檔案再壓縮一次,多一次重新編碼就多一份壓縮瑕疵。

生成型功能與揭露義務

分析型功能很少引發疑慮,生成型功能則可能會。YouTube 的揭露政策要求創作者標示用 AI 製作或修改的逼真內容,例如讓真人看起來說了沒說過的話、修改過的真實事件影像,或是從未發生過的逼真場景。同一頁也列出不需要揭露的編輯,包括調色、美顏濾鏡、製作字幕以及協助製作的工作。

實務上:字幕、去除靜音、降噪和色彩匹配不會改變鏡頭前發生的事。生成逼真街景的 B-roll、延伸畫面時加入人物,或是替換影片中的臉,就會。如果觀眾可能把生成的部分當成真實影像,就請標示。TikTok、抖音和其他平台有各自的 AI 內容標籤,中國和歐盟也有標識規定,請參考我們的 AI 內容標示指南。

限制與常見錯誤

  • 到處都是跳接。把每個停頓都刪掉,說話者的頭會在畫面間跳動。可以用約 10% 到 15% 的放大、B-roll 鏡頭或換字幕來蓋掉一部分剪接點,也要留下一些自然的停頓。
  • 遺漏上下文。從長談話剪出的短片段,可能改變說話者原本的意思。請讀一下片段前後的句子,不要把引言剪到變成相反的意思。
  • 人聲處理過頭。強力降噪會讓人聲變薄或像機器人。請用能消除干擾的最低強度,並保留一點環境底噪(room tone)。
  • 放大時憑空捏造細節。超解析度模型是在猜細節。臉部可能略有改變,小字可能變成假的字母。請在大螢幕上比較放大後的母檔和原片。
  • 對快速動作做影格插補。新生成的中間格是猜出來的,手部、旋轉的物體和交錯的人物常會變形。插補只用在慢速、簡單的動作。
  • 盲信重新構圖。自動重新構圖追蹤的是動作和人臉,不是語意。雙人對談時它可能停在錯的人身上,請檢查每一次換人說話。
  • 一開始就用 AI 處理完整長度的原始錄影。先挑出段落再做大量處理,既快又少檢查。

短片段用免費的 AI 剪輯軟體通常就夠了。比較選項時,請看對你的用途真正重要的條件,不要看排行榜:輸出有沒有浮水印、輸出解析度、檔案是在你的裝置上處理還是上傳到雲端,以及字幕支援哪些語言。至於最終檔案的比例與尺寸,請看我們的短影音尺寸指南。

常見問題

AI 可以自動幫我剪影片嗎?

AI 可以做出粗剪:去除靜音、依逐字稿剪輯、重新構圖和加字幕。但內容還是要你自己選,發布前也要檢查每一刀並修正錯誤。

怎麼用 AI 把橫式影片變成直式?

使用自動重新構圖功能,它會追蹤主體,讓 9:16 的裁切視窗在畫面中移動。如果主體幾乎不動,在任何剪輯軟體或用 ffmpeg 做固定裁切就可以。

AI 降噪會損害人聲品質嗎?

有可能。強度太高會讓人聲變薄或有金屬感。請用中等強度,並戴耳機和原始音訊比較。

AI 影片該在剪輯前還是剪輯後放大?

剪輯後。先用原始素材剪完,以素材原解析度輸出一版母檔,再對這版母檔放大一次。先逐支放大既浪費時間,又可能讓轉場看起來不一致。

用 AI 剪輯的影片一定要標示嗎?

字幕、調色或降噪等一般編輯不用。YouTube 要求揭露的是 AI 做出的逼真內容,而且可能被誤認為真實事件或真人。

全部 AI 教學