Cómo hacer un video de baile con IA

Dos métodos: transferencia de movimiento o baile por prompt

La transferencia de movimiento toma el movimiento corporal de un video guía y lo aplica a otra persona o personaje. Sistemas de investigación como Everybody Dance Now usaban la pose como puente entre el bailarín de origen y el destino; métodos de difusión posteriores como Animate Anyone animan una sola imagen fija a partir de una secuencia de poses, conservando el aspecto de la imagen de referencia. Los generadores de video de baile para el público general y los modos de video de referencia de herramientas como Kling, Seedance, Runway o Hailuo siguen la misma idea.

El baile por prompt le da al modelo una imagen del personaje, la música y una línea de tiempo escrita con los movimientos. No hay video guía, así que el modelo inventa la coreografía a partir de tus palabras.

Usa la transferencia de movimiento cuando la rutina importe. Usa el baile por prompt cuando quieras una pieza original o cuando no exista una referencia limpia.

Prepara la foto y el primer fotograma

La imagen del personaje se convierte en el primer fotograma o en el ancla de identidad, así que determina tanto la calidad como la retención. En la práctica, el primer fotograma decide cuántos espectadores se van en los dos o tres primeros segundos. Debería ser ya el fotograma más atractivo del video.

• Cuerpo entero o hasta las rodillas, de pie, con todo el cuerpo y ambas manos dentro del encuadre. Los pies o las manos recortados se inventan mal.
• Luz brillante y uniforme, con el rostro totalmente visible e iluminado. Sin la cabeza mirando al suelo, sin pelo ni sombrero tapando la cara, sin habitación oscura.
• El sujeto ya en una pose lista para bailar o sonriendo, no rígido. Un baile que arranca desde una pose neutra e inmóvil parece un comienzo lento.
• En 9:16, la bailarina debe ocupar la mayor parte de la altura del cuadro. Una figura pequeña en una habitación grande da caras borrosas y extremidades de más o fusionadas.
• Ropa que se lea con claridad: cintura marcada, mangas que terminan en la muñeca, falda que termina por encima del tobillo. La tela larga que arrastra es el caso más difícil (ver abajo).

Si usas varios personajes, revisa cada nueva imagen de referencia contra la hoja de personaje, personaje por personaje: ropa, manos o patas, accesorios, pelo, colores y proporción de alturas. Las herramientas de edición de imágenes cambian en silencio detalles que no les pediste, y el modelo de video copia el error en cada fotograma. Nuestra guía de personajes consistentes con IA explica cómo construir la hoja.

Transferencia de movimiento: arregla la referencia antes de generar

Un video de referencia es un ancla mucho más fuerte que el texto. Si la referencia tiene un destello de lente, un objeto en la mano de la bailarina, un espejo, un estilo de iluminación concreto o una segunda persona al fondo, el modelo tiende a copiarlo aunque el prompt diga que no. Discutir con la referencia en el prompt rara vez funciona.

1. Recorta la referencia justo a la parte de la rutina que necesitas, con la música cortada al mismo intervalo.
2. Encuadra para que la bailarina quede centrada, de cuerpo entero y con la misma relación de aspecto que tu salida.
3. Enmascara o elimina objetos y personas del fondo. Reajusta el color si la luz es intensa o de color.
4. Comprueba que la bailarina de la referencia y tu personaje tengan proporciones corporales parecidas. Una mascota baja y redondeada que copie los movimientos de piernas largas de una bailarina alta se estirará o se deformará.
5. Después escribe un prompt que describa el resultado que quieres (el personaje, el escenario, la luz), no los problemas de la referencia.

Una cuadrícula de storyboard también funciona bien como referencia de movimiento. Crea una imagen 9:16 con, por ejemplo, 12 viñetas, una pose rítmica por viñeta, y escribe la línea de tiempo del prompt como «viñeta 1 (arriba a la izquierda) = 0–2 s». No pongas números ni texto en las viñetas; los modelos los copian como gráficos en pantalla. Revisa cada viñeta a tamaño completo, porque un error en una se copia al video.

Aquí el consentimiento importa. Usa la foto de una persona real solo con su permiso, y no animes la imagen de alguien en un baile que nunca hizo para presentarlo como real. La rutina de un coreógrafo también puede estar protegida; los bailes virales compartidos para reutilizarse en una plataforma suelen poder usarse dentro de ella, pero un anuncio de pago basado en la coreografía de alguien necesita permiso.

Baile por prompt: escribe movimiento que fluya

Los modelos de video siguen algunas palabras con mucha precisión. En nuestras pruebas, «mantén la pose», «congelado», «quieta» y «cámara lenta» convirtieron un baile en una presentación de poses: la bailarina salta de una forma a otra y se detiene entre ellas. Deja esas palabras fuera y describe un movimiento continuo.

Planifica un plano largo por frase musical, de unos 4 segundos o un ocho, con varios anclajes de movimiento temporizados dentro. Pero no te pases: demasiados movimientos diminutos por pulso se ven bruscos y cómicos. En estilos suaves como el clásico, el contemporáneo o el pop lento, describe trayectorias en lugar de poses, pon un movimiento cada uno o dos pulsos y deja cualquier pausa en medio pulso o menos.

Phrase 2 (4.0-8.0 s), one continuous shot, 9:16, medium-wide, camera at chest height.
The dancer from the reference: long white sleeves, pale blue skirt, hair in a low bun.
4.0-5.0 s (downbeat): step right, weight shifts onto the right foot, both arms open low at hip height.
5.0-6.0 s: the right arm sweeps in an arc from the hip to shoulder height while the body turns a quarter left.
6.0-7.0 s: step back with the left foot, both arms float down, sleeves trail behind the hands.
7.0-8.0 s (pause in the music): a soft half turn to face the camera, arms rising to chest height, smile.
Arms stay below 45 degrees above the shoulder. Continuous movement, no stops.

La tela necesita su propia regla. Con mangas anchas, cintas largas o una capa, la tela sigue al brazo y puede cubrir la cara. Limita la altura de los brazos, por ejemplo a no más de 45 grados por encima del hombro, y escríbelo en cada frase.

Escribe solo lo que vería una cámara. Los modelos de video interpretan las metáforas al pie de la letra: «sus mangas se mueven como un pincel pintando en el aire» puede poner un pincel de verdad en su mano. Describe la acción, el material y la luz, y deja fuera los símiles.

Mantén los movimientos en el ritmo

Averigua primero los BPM, por ejemplo marcando el pulso con el metrónomo de cv.cm. A 120 BPM un pulso dura 0,5 s y un ocho dura 4 s; a 100 BPM un ocho dura 4,8 s. Marca cada anclaje en segundos y nombra también el evento musical: «primer tiempo», «nota más alta», «la pausa». El modelo usa ambas cosas.

Muchos modelos solo aceptan duraciones fijas, como segundos enteros o niveles de 5, 10 o 15 s. Elige un fragmento de música que coincida exactamente con la duración del clip, y cuando generes por segmentos, corta tú el audio de cada uno en lugar de dejar que lo elija el modelo. Algunas herramientas limitan el audio de referencia total a unos 30 segundos entre todos los clips, así que un baile largo necesita varios segmentos.

Cuando el modelo genera o vuelve a renderizar la banda sonora, la música puede empezar tarde. Medimos desfases de aproximadamente 1 segundo, mientras que el movimiento seguía bien los tiempos del prompt. Antes de decidir que los movimientos van fuera de ritmo, vuelve a poner la canción original:

ffmpeg -i gen.mp4 -i song.mp3 -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest synced.mp4

Si un segmento sigue viéndose unos fotogramas adelantado o retrasado, desplázalo en el editor en lugar de volver a generarlo.

Artefactos comunes y cómo corregirlos

Cuenta con que las manos y los pies serán lo más débil, sobre todo en juegos de pies rápidos y giros. Mantén la cámara bastante fija durante los movimientos complejos; una cámara en movimiento más un cuerpo en movimiento duplica la probabilidad de un fotograma roto.

Los clips generados suelen salir a 720p o 1080p con poco detalle. Escala una sola vez, después de la edición, y guarda una única exportación maestra para que el clip no se recodifique una y otra vez. Etiqueta los resultados realistas donde la plataforma lo pida; consulta nuestra guía sobre cómo etiquetar contenido de IA.