深度图是什么？AI怎么从一张照片生成深度图？

一张图看懂深度图

拍一张人站在大楼前的照片。这张照片的深度图和它宽高相同，但每个像素里存的是一个数：那个点离相机有多远。显示成图像时，人是一种灰度，大楼是另一种，天空则是最极端的一种。

哪种灰度代表近，并没有统一规则，要看你所用每个工具的约定：

如果 3D 效果看起来是反的，背景朝你扑过来，说明深度图的约定相反。把图像反相（白变黑）通常就能解决。

AI怎样从一张照片估计深度

有双摄像头或 LiDAR 传感器的手机可以测量深度，普通的单张照片却不行：同一张画面既可能是近处的玩具车，也可能是远处的真车。单目深度估计的做法和人一样，靠学来的线索。

• 透视：道路、铁轨等平行线在远处汇聚。
• 已知大小：人脸、门、汽车都有典型尺寸，它在画面中的大小暗示了距离。
• 遮挡：挡住别的物体的，就在前面。
• 纹理密度与雾霾：越远，草地和瓷砖看起来越细密，颜色也越淡。
• 明暗和焦外模糊，它们提示了表面形状。

深度网络用数以百万计、答案已知或已估计出的图像来训练。目前许多工具使用的 Depth Anything V2，先从精确的合成（渲染）图像中学习，再从由更大的教师模型标注的海量真实照片中学习。作者选择合成数据，部分原因是真实的深度传感器测不准透明和反光表面，所以真实标签恰恰在照片最难处理的地方噪声最大。

模型处理的是缩放后的图像副本（Depth Anything V2 训练时短边为 518 像素），为每个像素输出一个值。工具再把它放大回照片尺寸，并映射到 0 至 255，得到 8 位图像。

相对深度与度量深度

大多数通用深度模型预测的是相对深度。例如 Depth Anything V2 的基础模型预测的是仿射不变的逆深度。通俗地说，远近顺序和比例是有意义的，但缩放和偏移未知。深度图能告诉你人在大楼前面，却不能告诉你人离你 3.2 米。

这种设计源自在许多相机和单位各不相同的数据集上训练。MiDaS 的工作表明，忽略尺度的损失函数可以让模型同时从所有数据集中学习，因此在随机的网络照片上稳健得多。

度量深度模型是针对“米”微调的版本，通常只针对一类场景（室内房间或街道驾驶）。需要测量或做机器人应用时用它们。创意类用途则要用相对深度，因为它泛化更好，而且效果只需要远近顺序正确。

深度图能做什么

例如 cv.cm 的深度图工具可以在浏览器里把照片变成灰度图（近处为亮）或彩色预览，cv.cm 的照片转视频工具则用同类深度图让虚拟相机在静态照片中穿行。在后一种情况下，是镜头在动、主体不动：这是视差，而不是让人物动起来的模型。

ControlNet 证明，扩散模型可以用边缘、姿态、分割和深度等条件来引导。深度条件保留构图（前景和背景在哪里），而提示词则改变风格、光线或材质。

AI深度估计在哪里会出错

• 玻璃、镜子和水面：模型可能给出倒影的深度，或玻璃后面物体的深度。
• 天空和极远处：全都落在远端，所以那里的视差是平的。
• 细小结构：头发、栅栏、树枝和电线在模型的工作分辨率下会与背景糊在一起。
• 画作、海报和屏幕：对一幅画拍的照片，可能被赋予虚假的 3D 深度，因为画里的内容看起来像一个真实场景。
• 非常规视角：垂直向下的航拍、微距照片和鱼眼图像在训练数据中比较少见。
• 远近交界的边缘：深度图在那里是平滑过渡的，所以视差效果会把像素拉成一条橡胶般的条带。

怎样得到更好的深度图

1. 选择前景、中景、背景层次分明的照片。平淡的场景，例如一张脸贴着墙占满画面，深度可用的信息很少。
2. 在你关心的区域避开强反光和大面积窗户。
3. 确认下一个工具读取的是同一种约定。如果近处该亮却是暗的，就把深度图反相。
4. 让深度图与照片保持相同的尺寸和裁剪。裁剪或缩放方式不同的深度图无法对齐。
5. 做视差之前，把深度图略微模糊或向外扩展一点，以减少边缘撕裂，并让镜头移动保持轻柔。