텍스트 투 비디오 AI는 어떻게 작동할까?

생성 버튼을 누르면 일어나는 일

대부분의 텍스트 투 비디오 시스템은 이미지용 확산 모델(diffusion model)을 영상으로 확장한 것입니다. 2022년 Ho 등의 논문 Video Diffusion Models가 기본 아이디어를 보여 주었습니다. 클립을 프레임 덩어리로 보고, 학습할 때 실제 클립에 노이즈를 더한 뒤 네트워크가 그 노이즈를 지우도록 가르치는 방식입니다. 생성할 때는 모든 프레임을 순수 노이즈로 시작해 한꺼번에 노이즈를 제거하므로 움직임과 모습이 함께 결정됩니다.

이 방식을 대규모로 쓸 수 있게 만든 아이디어는 세 가지입니다.

• 잠재 공간(latent space). 모델은 원본 픽셀이 아니라 압축된 영상 표현 위에서 작업하고, 별도의 디코더가 결과를 프레임으로 바꿉니다. Stable Video Diffusion은 이 잠재 방식의 대표적인 오픈 모델입니다.
• 공간과 시간을 함께 처리. 네트워크가 프레임 안뿐 아니라 프레임 사이도 살펴보기 때문에, 1번 프레임과 40번 프레임의 얼굴을 같은 얼굴로 취급합니다. OpenAI의 Sora 보고서는 영상을 시공간 패치로 잘라 트랜스포머에 넣는다고 설명합니다.
• 텍스트 조건화. 언어 인코더가 프롬프트를 숫자로 바꿔 노이즈 제거의 매 단계를 이끕니다. 생성 전에 프롬프트를 더 풍부한 캡션으로 다시 써 주는 시스템도 있습니다.

Google의 Imagen Video는 캐스케이드 구조를 더했습니다. 먼저 작고 짧고 프레임 수가 적은 클립을 만든 다음, 추가 모델로 해상도와 프레임 레이트를 높이는 방식입니다. 지금도 많은 서비스가 이런 2단계 구조를 어떤 형태로든 쓰기 때문에, 초안 모드가 최종 렌더링보다 빠르고 품질이 낮은 경우가 많습니다.

아이디어에서 쓸 수 있는 클립까지의 작업 순서

1. 샷을 정하세요. 피사체 하나, 동작 하나, 카메라 움직임 하나입니다. 더 필요하면 샷을 여러 개로 계획하세요.
2. 피사체, 동작과 타이밍, 카메라, 배경과 조명, 스타일, 오디오를 담아 프롬프트를 쓰세요. 구조는 영상 프롬프트 가이드를 참고하세요.
3. 인터페이스에서 길이, 화면 비율, 해상도, 오디오 켜기/끄기 같은 기술 옵션을 설정하세요.
4. 같은 프롬프트로 2~4개 테이크를 생성하세요. 시드에 따라 결과가 크게 달라집니다.
5. 가장 좋은 테이크를 고르고, 더 손볼 곳이 있으면 프롬프트에서 한 가지만 바꾸세요.
6. 얼굴이나 제품이 정확히 같아야 한다면 이미지 투 비디오로 바꿔 시작 프레임을 모델에 주세요.
7. 편집기에서 클립을 다듬으세요. 처음과 끝 몇 프레임이 흔들리면 잘라 내세요.

가장 비싼 실수는 프롬프트를 점점 길게 늘려 망친 샷을 고치려는 것입니다. 세 번 시도해도 실패하면 모델에게 너무 복잡한 샷일 가능성이 큽니다. 동작을 단순하게 만들거나 샷을 나누세요.

알아 둘 설정

길이, 해상도, 가격의 구체적인 한도는 자주 바뀌고 도구마다 다르니 사용하는 도구의 최신 문서를 확인하세요.

예시: 15초 클립을 샷 세 개로 나누기

아침 일상을 15초짜리 클립 하나로 요청하는 대신, 5초 안팎의 샷 세 개로 계획하세요. 샷마다 역할이 하나씩 있고, 같은 스타일 문구가 전체를 맞춰 줍니다.

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

샷마다 피사체 묘사와 스타일 문구를 한 글자도 바꾸지 않고 반복하는 것이 가장 간단한 연속성 유지 방법입니다. 더 강한 일관성이 필요하면 캐릭터 이미지를 먼저 한 장 만들어 시작 프레임으로 쓰세요.

텍스트 투 비디오 vs 이미지 투 비디오

텍스트 투 비디오는 모든 것을 글로 결정합니다. 아이디어를 탐색하거나 정확한 모습이 중요하지 않은 장면에 좋습니다. 이미지 투 비디오는 내가 준 그림에서 출발하므로 모습이 고정되고, 프롬프트는 움직임만 설명하면 됩니다.

흔한 하이브리드 방식은 이미지 모델로 정지 이미지를 만든 다음 그것을 움직이게 하는 것입니다. 예를 들어 cv.cm의 ai-image-generator는 내 GPU에서 384px 초안 이미지를 빠르게 만들 수 있고, 그 이미지를 더 크게 만든 버전을 본격적인 영상 모델에 넣어 움직이게 할 수 있습니다.

미리 감안해야 할 한계

텍스트 투 비디오는 빠르게 발전했지만 구조적인 약점이 남아 있습니다. 이 글을 쓰는 시점에는 다음 점을 염두에 두세요.

• 물리. 붓기, 깨짐, 충돌, 천의 움직임은 자주 어색합니다. Sora 보고서도 유리가 깨지는 장면을 모델이 물리를 제대로 구현하지 못하는 예로 들었습니다. 물리적 사건은 단순하게 두거나 화면 밖에서 일어나게 하세요.
• 손과 작은 물건. 손가락이 뭉치거나 물건이 손을 통과합니다. 손동작은 단순하게 하고 섬세한 손가락 클로즈업은 피하세요.
• 화면 속 글자. 간판과 자막이 깨져서 나오는 일이 많습니다. 글자는 편집에서 넣으세요.
• 정체성 변화. 한 클립의 처음과 끝에서도 얼굴이 달라질 수 있고, 클립 사이에서는 더 심합니다. 시작 이미지나 참조 이미지를 쓰세요.
• 개수와 군중. 'Three dogs'가 두 마리나 네 마리가 되기도 하고, 군중 속 사람들이 뭉치기도 합니다.
• 긴 테이크. 클립이 길어질수록 품질과 프롬프트 반영이 떨어집니다. 짧은 샷을 편집으로 이어 붙이세요.