AI · AI绘画
AI图片放大是怎么工作的?
简短回答
AI放大,也叫超分辨率(super-resolution),用的是一个在大量“小图—大图”配对上训练过的神经网络,放大图片时由它预测缺失的像素。它不像双三次插值那样对邻近像素取平均,而是画出训练中学到的合理边缘和纹理。多出来的细节看起来很锐利,但都是“脑补”的,只能改善观感,不能提供真实信息。
打开AI 图片放大传统缩放与AI放大
把一张 500 像素的图放大到 2000 像素时,每个方向上每四个像素就有三个是原本不存在的,必须有办法决定它们的值。
传统方法是根据附近的像素计算。最近邻插值直接复制最近的像素,边缘呈块状。双线性和双三次插值对邻近像素做加权平均,结果平滑但偏软:小图里锐利的边缘,在大图里变成了渐变的斜坡。这些方法速度快、结果可预测,而且从不凭空捏造任何东西。
AI放大器则学习清晰的图片通常长什么样。训练时,模型看到大量高分辨率图片,以及同一批图片被缩小、画质变差后的版本,学习把小图映射回大图。使用时它套用学到的映射,所以在简单平均只会模糊的地方,它能画出锐利的边缘、发丝或砖墙的纹理。
| 方法 | 如何填充新像素 | 观感 | 会凭空造细节吗? |
|---|---|---|---|
| 最近邻(nearest neighbor) | 复制最近的像素 | 块状、像素化 | 不会 |
| 双三次(bicubic) | 对16个邻近像素加权平均 | 平滑、边缘偏软 | 不会 |
| 以精确为目标训练的CNN(SRCNN类) | 学习得到的映射,训练目标是逐像素吻合 | 比双三次更锐利,但仍略显平滑 | 很少 |
| 基于GAN(ESRGAN、Real-ESRGAN) | 学习得到的映射,再加上奖励逼真纹理的判别器 | 边缘和纹理清晰 | 会 |
| 基于扩散 | 以小图为条件生成一张大图 | 细节极其丰富,可能改变内容 | 会,而且最多 |
从SRCNN到GAN:为什么“清晰”比“精确”更重要
SRCNN 是最早用于超分辨率的深度网络之一:一个小型卷积网络,端到端训练,把低分辨率图像变成高分辨率图像。这类模型的训练目标是最小化与真实图像的逐像素差异。它们在 PSNR 等指标上得分不错,但结果看起来很平滑。当网络拿不准一条边应该略偏左还是略偏右时,在这种损失下最保险的答案是两者的平均,也就是一团模糊。
SRGAN 改变了目标。它加入了第二个网络,即判别器(discriminator),学习区分真实的高分辨率照片和放大出来的图片。放大器因为骗过判别器而得到奖励,所以即使具体像素和原图不同,它也会生成锐利而逼真的纹理。SRGAN 的作者指出,以最小化误差为目标的方法常常缺少高频细节,在人眼看来并不理想。ESRGAN 改进了网络设计、对抗训练和感知损失,成为后来许多工具的基础。
Real-ESRGAN 的改进:用真实的画质损伤来训练
早期模型是用简单地通过双三次缩放缩小的图片来训练的。而真实的照片受到的损伤要多得多:相机模糊、传感器噪点、JPEG 压缩、多次缩放、锐化光晕。只在干净缩小的图片上训练的模型不知道怎么处理这些,往往会连噪点一起放大。
同一研究团队的 Real-ESRGAN 保留了 ESRGAN 的生成器,但改变了训练数据。它用高阶退化过程,从干净的图片构造训练配对:先施加模糊、缩放、噪声和 JPEG 压缩,再把这套流程重复第二遍,以模拟被反复保存和转发多次的图片。它还模拟边缘周围的振铃和过冲伪影。更强的判别器是带谱归一化的 U-Net,逐像素地评判细节。所有训练数据都是合成的,因此不需要真实的低分辨率与高分辨率照片配对。
结果是模型在放大的同时能去掉压缩块和噪点,这也是它在老旧网络图片、截图和手机照片上效果很好的原因。动漫和插画通常会单独训练一套权重,因为平涂色块和干净的线条需要和照片不同的纹理。
例如,cv.cm 的图片放大工具在你的浏览器里运行一个紧凑的 Real-ESRGAN 模型,支持 2 倍或 4 倍,有照片和动漫两种选项,图片不会离开你的设备。
怎样放大效果更好:分步操作
- 从你手上最好的源图开始。用原始文件,而不是截图或经过聊天软件转发过的版本。
- 先裁剪。只放大需要的部分,更快也更省内存。
- 按内容选模型:照片用照片模型,绘画、线稿和游戏美术用动漫或插画模型。
- 选能达到目标尺寸的最小倍数。从 800 像素放大到 1600 像素用 2 倍,而不是先 4 倍再缩小。
- 在 100% 缩放下与原图对比。重点看脸、文字、头发和精细图案,这些地方最先暴露脑补出来的细节。
- 如果结果看起来太光滑或有塑料感,在编辑器里把它与双三次放大的版本混合,或者加一点颗粒。
- 保存为 PNG 或高质量 JPEG。放大后再做强力 JPEG 压缩,压缩块会重新出现。
扩散放大器与创意放大
较新的一类放大器用的是扩散模型。比如 SR3,从噪声出发,以低分辨率输入为条件,一步步精修成高分辨率图像。许多图像生成器也提供“创意放大”或“增加细节”的放大选项,其实是对放大后的图片带着提示词运行图生图。
这类方法能产生比GAN放大器丰富得多的细节,对AI绘画很有用。代价是可控性:自由度更大,它们可能改变人脸、添加物体、改写小字,或改变材质的质感。对于文档、产品、证据,或任何必须忠实于原图的图片,优先选GAN放大器或传统缩放。当好看比忠实更重要时,再用扩散放大。
局限:放大做不到什么
- 它无法恢复图片里没有的信息。只有十个像素宽的脸,放大后是一张合理的脸,而不是真人本人。不要用AI放大来辨认人物、读车牌或制作证据。
- 文字有风险。又小又模糊的字母可能变成另一些看起来清晰可信的字母。
- 严重的模糊和运动模糊很难处理。放大器是针对某些类型的损伤训练的,极端情况下结果会糊成一片或像被涂抹过。
- 布料、草地或砖墙这类重复图案,可能变成人工的纹理。
- 皮肤过度平滑。照片模型有时会去掉毛孔和细纹,看起来像过度修图。
- 大倍数很吃内存。4 倍放大的像素数是输入的 16 倍,所以大图可能需要分块处理。
了解这些局限之后,AI放大器就是以下几类图片合适的最后一步:AI生成的图片、老旧的小照片,以及需要打印或在大屏幕上展示的网络图形。
常见问题
AI放大比 Photoshop 的调整大小更好吗?
就放大而言,观感上通常更好,因为它画出锐利的边缘和纹理,而不是模糊处理。如果不能加入任何脑补的细节,传统缩放仍然更合适。
AI放大能修复老旧模糊的照片吗?
它可以减少模糊、噪点和压缩痕迹,让照片看起来更清晰,但无法找回已经丢失的真实细节,所以脸和文字可能会略有变化。
该选 2 倍还是 4 倍?
选能达到所需尺寸的最小倍数。4 倍更耗时间和内存,脑补的细节也更多,意味着出现伪影的机会也更多。
为什么放大后的图片像一幅画?
模型把细小而有噪点的纹理换成了平滑的、学习得来的纹理。试试换个模型、用更小的倍数,或者把结果与普通放大图混合,再加一点轻微的颗粒。
AI放大能提高打印用的 DPI 吗?
DPI 只是个标签,关键是打印尺寸下的像素数。放大增加了像素,所以 4 倍放大后,在相同清晰度下大约可以印出四倍宽的尺寸,但受模型能力所限。