AI 댄스 영상 만드는 법

두 가지 방법: 모션 트랜스퍼와 프롬프트 댄스

모션 트랜스퍼는 기준 영상(드라이빙 비디오)의 몸 움직임을 다른 사람이나 캐릭터에 적용합니다. Everybody Dance Now 같은 연구 시스템은 포즈를 원본 댄서와 대상 사이의 다리로 썼고, Animate Anyone 같은 이후의 확산(diffusion) 방식은 포즈 시퀀스로 정지 이미지 한 장을 움직이면서 참조 이미지의 외모를 유지합니다. 일반 사용자용 댄스 영상 생성기와 Kling, Seedance, Runway, Hailuo 같은 도구의 참조 영상 모드도 같은 원리입니다.

프롬프트 댄스는 모델에 캐릭터 이미지, 음악, 동작을 적은 타임라인을 줍니다. 기준 영상이 없으므로 모델이 글을 바탕으로 안무를 직접 만들어 냅니다.

루틴이 중요하면 모션 트랜스퍼를, 오리지널 작품을 원하거나 깨끗한 참조가 없으면 프롬프트 댄스를 쓰세요.

사진과 첫 프레임 준비하기

캐릭터 이미지는 첫 프레임이나 정체성의 기준점이 되므로 품질과 시청 유지율을 모두 좌우합니다. 경험상 첫 프레임이 처음 2~3초 안에 이탈하는 시청자 수를 정합니다. 영상에서 가장 예쁜 프레임이어야 합니다.

• 전신 또는 무릎 위까지 서 있는 모습으로, 몸 전체와 양손이 프레임 안에 들어오게 하세요. 잘린 발이나 손은 엉뚱하게 만들어집니다.
• 밝고 고른 조명에 얼굴이 완전히 보이고 빛을 받아야 합니다. 고개를 숙이거나, 머리카락이나 모자로 얼굴이 가려지거나, 어두운 방은 피하세요.
• 피사체는 이미 춤출 준비가 된 포즈이거나 웃고 있어야 합니다. 가만히 뻣뻣하게 서 있는 포즈에서 시작하면 도입이 느려 보입니다.
• 9:16에서는 댄서가 화면 높이 대부분을 차지하게 하세요. 넓은 공간의 작은 인물은 얼굴이 흐려지고 팔다리가 늘거나 합쳐집니다.
• 또렷하게 읽히는 의상을 고르세요. 허리선이 분명하고, 소매는 손목에서 끝나고, 치마는 발목 위에서 끝나는 정도가 좋습니다. 길게 끌리는 천은 가장 어려운 경우입니다(아래 참조).

캐릭터를 여러 명 쓴다면 새 참조 이미지를 만들 때마다 캐릭터 시트와 캐릭터별로 대조하세요. 의상, 손이나 발, 액세서리, 헤어, 색, 키 비율을 확인합니다. 이미지 편집 도구는 요청하지 않은 디테일을 조용히 바꾸고, 영상 모델은 그 실수를 모든 프레임에 복사합니다. 시트 제작법은 일관된 AI 캐릭터 가이드에 있습니다.

모션 트랜스퍼: 생성 전에 참조부터 손보기

참조 영상은 텍스트보다 훨씬 강한 기준점입니다. 참조에 렌즈 플레어, 댄서가 든 소품, 거울, 특정한 조명 스타일, 뒤에 있는 다른 사람이 있으면 프롬프트에서 하지 말라고 해도 모델은 대개 그대로 따라 합니다. 프롬프트로 참조와 다투는 방법은 거의 통하지 않습니다.

1. 참조를 필요한 루틴 구간만 정확히 트림하고, 음악도 같은 범위로 자릅니다.
2. 댄서가 가운데에 전신으로 오도록 출력과 같은 화면비로 크롭합니다.
3. 소품과 배경 인물은 마스킹하거나 지웁니다. 조명이 강하거나 색이 있으면 색보정을 합니다.
4. 참조 댄서와 내 캐릭터의 체형 비율이 비슷한지 확인합니다. 키가 작고 동글동글한 마스코트가 키 큰 댄서의 다리 긴 동작을 따라 하면 늘어나거나 망가집니다.
5. 그런 다음 참조의 문제점이 아니라 원하는 결과(캐릭터, 배경, 조명)를 설명하는 프롬프트를 씁니다.

스토리보드 그리드도 모션 참조로 잘 작동합니다. 9:16 이미지 한 장에 예를 들어 패널 12개를 두고 패널마다 비트 포즈 하나씩 그린 뒤, 프롬프트 타임라인은 '패널 1(왼쪽 위) = 0–2 s'처럼 씁니다. 패널에 숫자나 글자를 넣지 마세요. 모델이 화면 그래픽으로 복사합니다. 한 패널의 실수가 영상에 그대로 복사되므로 모든 패널을 풀 사이즈로 확인하세요.

동의 문제도 중요합니다. 실제 인물의 사진은 허락을 받은 경우에만 쓰고, 누군가의 이미지로 그 사람이 춘 적 없는 춤을 만들어 진짜인 것처럼 내보내지 마세요. 안무가의 루틴은 보호받을 수도 있습니다. 플랫폼에서 재사용하도록 공유된 챌린지 댄스는 보통 그 플랫폼 안에서는 괜찮지만, 누군가의 안무로 만든 유료 광고는 허락이 필요합니다.

프롬프트 댄스: 자연스럽게 이어지는 동작 쓰기

영상 모델은 어떤 단어는 아주 정확하게 따릅니다. 우리가 테스트했을 때 '포즈를 유지', '프리즈', '정지', '슬로 모션' 같은 말은 춤을 포즈 슬라이드쇼로 만들었습니다. 댄서가 동작 사이를 뛰어넘고 중간에 멈춥니다. 이런 단어는 빼고 이어지는 움직임을 설명하세요.

음악 프레이즈마다 약 4초, 즉 에잇 카운트 하나의 롱테이크를 계획하고 그 안에 시간이 정해진 모션 앵커를 여러 개 넣으세요. 다만 지나치게 보정하지는 마세요. 박마다 잔동작이 너무 많으면 뚝뚝 끊기고 우스꽝스럽습니다. 클래식, 컨템포러리, 슬로 팝 같은 부드러운 스타일은 포즈가 아니라 궤적을 설명하고, 한두 박에 동작 하나씩 주며, 멈추더라도 반 박 이하로 하세요.

Phrase 2 (4.0-8.0 s), one continuous shot, 9:16, medium-wide, camera at chest height.
The dancer from the reference: long white sleeves, pale blue skirt, hair in a low bun.
4.0-5.0 s (downbeat): step right, weight shifts onto the right foot, both arms open low at hip height.
5.0-6.0 s: the right arm sweeps in an arc from the hip to shoulder height while the body turns a quarter left.
6.0-7.0 s: step back with the left foot, both arms float down, sleeves trail behind the hands.
7.0-8.0 s (pause in the music): a soft half turn to face the camera, arms rising to chest height, smile.
Arms stay below 45 degrees above the shoulder. Continuous movement, no stops.

천에는 별도의 규칙이 필요합니다. 넓은 소매, 긴 리본, 망토는 팔을 따라 움직이며 얼굴을 덮을 수 있습니다. 팔 높이에 상한을 두세요. 예를 들어 어깨 위로 45도 이하로 정하고 모든 프레이즈에 적습니다.

카메라에 찍히는 것만 쓰세요. 영상 모델은 비유를 글자 그대로 그립니다. '소매가 붓으로 허공에 그림을 그리듯 움직인다'고 쓰면 손에 진짜 붓이 쥐어질 수 있습니다. 동작, 소재, 빛을 설명하고 비유는 빼세요.

동작을 비트에 맞추기

먼저 BPM을 찾으세요. 예를 들어 cv.cm 메트로놈에 맞춰 탭을 치면 됩니다. 120 BPM이면 한 박이 0.5초, 에잇 카운트가 4초이고, 100 BPM이면 에잇 카운트가 4.8초입니다. 각 앵커의 시간을 초 단위로 쓰고 '첫 다운비트', '가장 큰 음', '멈춤' 같은 음악적 이벤트도 함께 적으세요. 모델은 둘 다 활용합니다.

많은 모델은 정해진 길이만 받습니다. 정수 초 단위이거나 5초, 10초, 15초 같은 단계형입니다. 클립 길이와 정확히 맞는 음악 조각을 고르고, 구간별로 생성할 때는 모델이 고르게 두지 말고 구간별 오디오를 직접 자르세요. 도구에 따라 참조 오디오 총량을 모든 클립을 합쳐 약 30초로 제한하므로, 긴 댄스는 여러 구간으로 나눠야 합니다.

모델이 사운드트랙을 생성하거나 다시 렌더링하면 음악이 늦게 시작될 수 있습니다. 측정해 보니 약 1초 어긋났고, 움직임은 프롬프트 타이밍을 거의 그대로 따랐습니다. 동작이 비트에서 벗어났다고 판단하기 전에 원곡으로 다시 입히세요.

ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

그래도 어떤 구간이 몇 프레임 빠르거나 늦다면 다시 생성하지 말고 편집기에서 밀어서 맞추세요.

자주 나오는 오류와 해결법

손과 발이 가장 약한 부분이라고 생각하세요. 특히 빠른 스텝과 회전에서 그렇습니다. 복잡한 동작에서는 카메라를 대체로 고정하세요. 카메라가 움직이고 몸도 움직이면 프레임이 깨질 확률이 두 배가 됩니다.

생성된 클립은 720p나 1080p에 디테일이 부드러운 경우가 많습니다. 업스케일은 편집 후 한 번만 하고, 마스터 파일은 하나만 내보내 재인코딩이 반복되지 않게 하세요. 사실적인 결과물은 플랫폼이 요구하는 곳에서 AI 표시를 하세요. AI 콘텐츠 표시 가이드를 참고하세요.