이미지 투 비디오 AI는 어떻게 작동할까?

텍스트 투 비디오와 무엇이 다른가

텍스트 투 비디오에서는 모델이 얼굴, 옷, 방, 조명, 움직임까지 전부 만들어 냅니다. 이미지 투 비디오에서는 첫 프레임을 내가 주고, 모델은 그다음에 일어날 일만 만들면 됩니다. Google의 Veo 문서는 이를 기존 이미지를 새 영상의 첫 프레임으로 쓰는 것으로 설명하고, OpenAI의 Sora 가이드는 첫 프레임을 고정(anchoring)한다고 표현합니다.

그래서 프롬프트의 역할도 달라집니다. 누가, 어디서, 어떤 스타일인지는 이미지가 이미 답하고 있습니다. 프롬프트는 무엇이 어느 방향으로 얼마나 빠르게 움직이는지, 카메라가 무엇을 하는지에 답합니다.

모델 내부에서는 시작 이미지를 인코딩해 텍스트와 함께 조건으로 넣습니다. 오픈 모델인 Stable Video Diffusion은 같은 잠재 비디오 확산 기반 위에 텍스트 투 비디오와 이미지 투 비디오 버전이 함께 공개되었습니다.

시작 이미지 고르기

프롬프트보다 시작 이미지가 결과를 더 크게 좌우합니다. 실패한 이미지 투 비디오 클립의 대부분은 움직일 여유가 없는 시작 이미지에서 원인을 찾을 수 있습니다.

• 출력 화면 비율에 맞추세요. 도구가 16:9나 9:16으로 출력한다면 그 비율로 주세요. 다른 크기는 잘리거나 크기가 조정될 수 있습니다. Google의 Veo 문서는 16:9 또는 9:16의 720p 이상 입력을 권장합니다.
• 움직일 공간을 남기세요. 인물이 오른쪽으로 걸을 거라면 오른쪽에 여백을 두고, 카메라가 푸시 인할 거라면 얼굴이 이미 화면을 가득 채우고 있으면 안 됩니다.
• 동작의 시작 자세로 맞추세요. 'she turns to look at the camera'라면 그녀가 다른 곳을 보고 있는 이미지로 시작하세요.
• 피사체는 선명하게. 흐리거나 아주 작은 얼굴은 움직이면 더 나빠집니다.
• 손은 단순하게. 가려져 있거나 편안히 놓여 있거나 아무것도 쥐지 않은 손이 더 깔끔하게 움직입니다.
• 유지해야 하는 글자는 피하세요. 로고와 간판은 프레임이 움직이기 시작하면 일그러질 수 있습니다.

시작 이미지를 이미지 모델로 만든다면 완성된 포스터가 아니라 그 샷에 맞게 만드세요. 자연스러운 포즈, 그럴듯한 광원, 피사체 주변의 여백이 필요합니다.

모션 프롬프트 쓰기

바뀌는 것만 묘사하세요. 이미지 설명을 되풀이하면 모델에게 필요 없는 단어만 늘어나고 오히려 가만히 있게 만들 수 있습니다. Google의 이미지 투 비디오 문서의 예시도 동물이 자연스럽게 움직이거나 꽃이 부드럽게 흔들리는 식의 짧은 모션 문장입니다.

Weak:
A beautiful woman with long red hair in a green dress standing in a field
of flowers at sunset, highly detailed.

Strong:
She slowly turns her head toward the camera and smiles. A light breeze
moves her hair and the flowers. Slow dolly in. Audio: wind, distant birds.

1. 피사체의 움직임: 동작 하나에 속도와 끝 지점을 붙이세요.
2. 부차적인 움직임: 머리카락, 나뭇잎, 김, 물처럼 장면에 생기를 주는 작은 요소입니다.
3. 카메라: 움직임 하나 또는 고정. 카메라 무빙 용어 가이드를 참고하세요.
4. 오디오: 모델이 소리를 생성한다면 함께 적으세요.

시작 자세에서 물리적으로 가능한 움직임이어야 합니다. 이미지에서 앉아 있는 사람이 2초 안에 자연스럽게 달릴 수는 없습니다. 동작이 크다면 첫 프레임과 마지막 프레임 도구로 끝 자세도 함께 주세요.

2.5D 패럴랙스 방식: 깊이 맵과 카메라 움직임

사진을 움직이게 하는 더 간단한 두 번째 방법이 있고, 이것은 생성형 영상이 아닙니다. 2019년 Niklaus 등의 논문에서 이름을 따 3D 켄 번즈 효과라고 부르는 경우가 많습니다.

1. 깊이 추정. Depth Anything V2 같은 깊이 모델이 모든 픽셀이 카메라에서 얼마나 떨어져 있는지 예측합니다.
2. 사진을 3D 레이어로 변환. 각 픽셀을 깊이만큼 뒤로 밀어, 사진이 평평한 종이가 아니라 얕은 부조처럼 됩니다.
3. 가상 카메라 이동. 카메라가 푸시 인, 풀 아웃, 오빗, 팬을 합니다. 가까운 픽셀이 먼 픽셀보다 더 크게 움직이는 것이 패럴랙스(시차)이고, 뇌는 이를 깊이로 인식합니다.
4. 빈틈 메우기. 카메라가 움직이면 피사체 뒤에 가려져 있던 부분이 보입니다. 간단한 도구는 주변 픽셀을 늘리거나 살짝 확대해 가장자리를 숨기고, 3D Ken Burns 논문 같은 연구 시스템은 가려진 영역을 인페인팅합니다.

cv.cm의 v 도구가 이 방식을 씁니다. 브라우저에서 Depth Anything V2를 실행하고, GPU로 푸시, 풀, 오빗, 팬, 상승 경로를 따라 패럴랙스를 렌더링한 뒤 MP4로 내보냅니다. 카메라는 움직이지만 피사체는 눈을 깜빡이거나 걷거나 말하지 않습니다. cv.cm의 depth-map 도구로 깊이 맵을 먼저 확인할 수도 있습니다.

패럴랙스는 깊이 층이 뚜렷한 사진에 가장 잘 맞습니다. 먼 배경 앞의 인물, 테이블 위의 제품, 멀리 뻗어 가는 거리 같은 사진입니다. 문서나 벽처럼 평평한 피사체는 카메라가 드러낼 깊이가 없어서 잘 맞지 않습니다.

흔한 문제와 해결법