About

标题

Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild

野外鲁棒图像超分辨率的去噪扩散概率模型

作者团队

Hshmat Sahak（学生）、 Daniel Watson、 Chitwan Saharia、 David Fleet

谷歌研究院、多伦多大学

发表期刊

2023CVPR

Content

效果展示

问题

扩散模型在单张图像和图像-图像的超分上取得了很好的成绩，但是在盲超分（blind super-resolution，输入的图像是分布外的/泛化的/OOD, 未知退化的）上还是不如GAN。

相关工作

盲超分辨率：

a) 显式退化模型：训练时使用退化参数（图像处理方法是 模糊+下采样+图像增强如 JPEG 压缩）

b) 隐式退化模型：需要学习退化过程，需要大型数据集才有好的繁华能力

c) 除了GAN外还有很多非生成方法，如CNN、对比学习、注意力机制。

还可以知道

1. 使用简单的卷积结构是因为全卷积模型可以更好的泛化到未见过的分辨率（注意力机制虽然对图像质量有积极影响，但是会使对不同横纵比图像的泛化能力变差）
2. 图像条件扩散模型比回归模型具有同事产生清晰和多样化样本的优势，而GAN因为经常崩溃而多样性优势不及扩散模型

方法

提出了SR3+：结合了 简单的卷积结构 和 具有两个关键创新的训练过程 的灵活且鲁棒的扩散超分模型

简单的卷积结构是指 U-Net 结构

两个训练过程的关键创新是指：

• 参数退化（Parameterized degradation）：包括图像模糊（高斯、Kernel、Sinc）、加噪、JEPG压缩和下采样
• 噪声调节增强（noise conditioning augmentation）

网路结构

（低分图像x插值到高分大小和退化过的图像拼接作为输入)

HR-LR退化流程

（图中蓝色部分是参数退化过程，黄色是噪音条件增强过程）

有研究指出，重复的参数退化组合（higher-order deformations）使用效果更佳；消融实验表明，在噪音条件增强阶段进行加噪比在参数退化组合中加噪效果好

调节噪音水平超参可以产生逼真的纹理和视觉细节

实验

固定放大倍数为4x（64x64 -> 256x256），通过多个消融实验来确定最佳的图像增强方式、模型大小和数据集大小