¿Qué es un mapa de profundidad y cómo lo crea la IA a partir de una foto?

Un mapa de profundidad en una imagen

Imagina una foto de una persona de pie delante de un edificio. El mapa de profundidad de esa foto tiene el mismo ancho y alto, pero cada píxel contiene un solo número: la distancia de ese punto a la cámara. Mostrado como imagen, la persona tiene un tono, el edificio otro y el cielo el más extremo.

No existe una regla única sobre qué tono significa cerca. Comprueba la convención de cada herramienta que uses:

Si un efecto 3D se ve del revés, con el fondo saltando hacia ti, el mapa está en la convención contraria. Invertir la imagen (el blanco pasa a negro) suele solucionarlo.

Cómo estima la IA la profundidad a partir de una sola foto

Un teléfono con dos cámaras o con sensor LiDAR puede medir la profundidad. Una sola foto normal no: la misma imagen podría mostrar un coche de juguete de cerca o un coche real lejos. La estimación monocular de profundidad resuelve esto como lo hacemos las personas, mediante indicios aprendidos.

• Perspectiva: las líneas paralelas, como carreteras y vías, se juntan en la distancia.
• Tamaños conocidos: una cara, una puerta o un coche tienen un tamaño típico, de modo que su tamaño en la imagen sugiere la distancia.
• Oclusión: un objeto que tapa a otro está delante de él.
• Densidad de textura y neblina: la hierba y las baldosas se ven más finas, y los colores más pálidos, cuanto más lejos están.
• Sombreado y desenfoque de enfoque, que dan pistas sobre la forma de las superficies.

Una red de profundidad se entrena con millones de imágenes en las que la respuesta es conocida o estimada. Depth Anything V2, que usan muchas herramientas en el momento de escribir esto, aprendió primero de imágenes sintéticas (renderizadas) precisas y después de un conjunto muy grande de fotos reales etiquetadas por un modelo maestro mayor. Sus autores eligieron datos sintéticos en parte porque los sensores de profundidad reales no miden bien las superficies transparentes y reflectantes, de modo que las etiquetas reales son ruidosas justo donde las fotos son difíciles.

El modelo trabaja con una copia redimensionada de la imagen (Depth Anything V2 se entrenó con el lado más corto a 518 píxeles) y devuelve un valor por píxel. La herramienta lo escala después al tamaño de la foto y asigna los valores de 0 a 255 para una imagen de 8 bits.

Profundidad relativa frente a profundidad métrica

La mayoría de los modelos de profundidad de uso general predicen profundidad relativa. Los modelos base de Depth Anything V2, por ejemplo, predicen profundidad inversa invariante afín. Dicho de forma sencilla, el orden y las proporciones tienen sentido, pero hay una escala y un desplazamiento desconocidos. El mapa puede decirte que la persona está delante del edificio; no puede decirte que está a 3,2 metros.

Este diseño surgió de entrenar con muchos conjuntos de datos con cámaras y unidades distintas. El trabajo de MiDaS demostró que una función de pérdida que ignora la escala permite al modelo aprender de todos ellos a la vez, lo que lo hizo mucho más robusto con fotos cualesquiera de internet.

Los modelos de profundidad métrica son versiones ajustadas (fine-tuned) y entrenadas para dar metros, normalmente para un solo tipo de escena (interiores o conducción por la calle). Úsalos para medir o en robótica. Para el trabajo creativo, lo que quieres es la profundidad relativa, porque generaliza mejor y el efecto solo necesita un orden correcto.

Qué puedes hacer con un mapa de profundidad

Por ejemplo, la herramienta de mapa de profundidad de cv.cm convierte una foto en un mapa en escala de grises (lo cercano, claro) o en una vista previa en color dentro del navegador, y la herramienta de foto a video de cv.cm usa el mismo tipo de mapa para mover una cámara virtual a través de una foto fija. En este segundo caso se mueve la cámara y el sujeto permanece quieto: es paralaje, no un modelo que anima personas.

ControlNet demostró que un modelo de difusión puede guiarse con condiciones como bordes, pose, segmentación y profundidad. Una condición de profundidad mantiene la composición (dónde están el primer plano y el fondo) mientras el prompt cambia el estilo, la iluminación o los materiales.

Dónde falla la profundidad con IA

• Cristal, espejos y agua: el modelo puede dar la profundidad del reflejo o de lo que hay detrás del cristal.
• Cielo y zonas muy lejanas: todo cae en el extremo lejano, así que el paralaje ahí es plano.
• Estructuras finas: el pelo, las vallas, las ramas y los cables se funden con el fondo a la resolución de trabajo del modelo.
• Cuadros, pósteres y pantallas: una foto de una imagen puede recibir una falsa profundidad 3D, porque el contenido parece una escena.
• Vistas poco habituales: tomas de dron en vertical hacia abajo, fotos macro e imágenes de ojo de pez son menos frecuentes en los datos de entrenamiento.
• Bordes entre cerca y lejos: el mapa es suave en esa zona, así que un efecto de paralaje estira los píxeles formando una banda como de goma.

Cómo conseguir un mejor mapa de profundidad

1. Elige fotos con un primer plano, un plano medio y un fondo claros. Las escenas planas, como un rostro que llena el encuadre ante una pared, dan poca profundidad con la que trabajar.
2. Evita reflejos intensos y ventanas grandes en la zona que te interesa.
3. Asegúrate de que tu siguiente herramienta lee la misma convención. Si lo cercano es oscuro donde debería ser claro, invierte el mapa.
4. Mantén el mapa con el mismo tamaño y recorte que la foto. Un mapa de profundidad recortado o redimensionado de otra forma no encajará.
5. Desenfoca o expande ligeramente el mapa antes del paralaje para reducir los desgarros en los bordes, y mantén suaves los movimientos de cámara.