域适应加雾代码：通过《bringing old photos back to life 》

目录

        我想说的一些话：

摘要

引言

1相关工作

1.1大气散射模型

 1.2图像加雾

1.2.1基于传统方法的雾图合成

1.2.2基于深度学习的雾图合成

1.2.3图像处理软件加雾

2.方法

2.1图像到图像的翻译

2.2变分自编码器

2.3 域适应雾图合成

3.实验

4结论

附录：开源代码和姊妹文章（去雾）

我想说的一些话：

在研究去雾的过程中，发现数据集问题是一个比较棘手的问题，于是顺手做了一下数据加雾的任务，思路很简单，把去雾的输入输出反过来训练，一般的模型都可以做到加雾任务，有时改动极少的一些中间代码即可。我将其总结之后视作水文进行了发表，由于操之过急且未重视，文章中难免有些错误，如公式序 、画图粗糙等问题，但是无伤大雅，希望能给大家带来一些思路或者灵感。

代码我放在百度云中，论文的部分核心中文版我放在此博客中，英文发表的全文我放在百度云中。其中一些含有公式等，为了节省时间，我进行截图替代，造成不便多多谅解！中文版为较早写的草稿，以英文版为准。见附录

下面开始正文。

摘要

引言

1相关工作

1.1大气散射模型

 1.2图像加雾

1.2.1基于传统方法的雾图合成

传统方法的雾图合成，主要通过公式(1)和公式(3)，加雾流程如图(3)所示。室内雾图合成可用的数据集有Middlebury Stereo[36-40]、NYUv2数据集等，后者源数据是通过Microsoft Kinect获取的，经过对深度缺失值的填充以及标记等后处理的图片有1499张，通常这些数据可以用来进行深度估计、语义分割等任务。室外雾图合成可用的数据有HAZERD数据集，以及Cityscapes[41]、KITTI [ 42]

Fig . 3 Haze image generation based on traditional method.

图3 基于传统方法的雾图生成

基于传统方式的雾图生成，通过读取深度图和原始清晰图像在线合成雾化图像.

1.2.2基于深度学习的雾图合成

生成对抗 络GAN [18]在提出后，受到广泛的关注，并可用来进行雾图合成。经典的图像翻译模型pix2pix[1]模型由多分辨率生成器，多尺度判别器构成：判别器能够对生成结果进行多尺度判别，判别器使用Patch GAN结构，最终结果为其输出的判别矩阵的平均，生成器的基础结构则是U-Net[21]，能够生成高分辨率和清晰的结果；但是该方法是监督学习，若用来进行加雾，则能利用的数据就是人工合成的雾图对，其训练出来的结果和真实雾图也会有一定的差异. 著名的非监督图像转换方法Cycle-GAN[4]经提出后，为不成对数据训练提供了一个有效的损失函数循环一致性损失，通过该损失，可以利用真实雾图进行加雾， 利用GAN加雾的算法通常增加额外损失[1, 23,25,26] , 增加了需要调节的超参数和训练的难度.另外GAN模型通常需要更多的数据进行训练，数据的质量对模型的训练效果有很大影响. 无监督方式主要利用循环一致性损失，无绝对映射的训练方式会使产生的结果出现非期望转换风格，有监督加雾模型又陷入雾图对的问题，利用合成雾图会导致加雾结果不真实。

1.2.3图像处理软件加雾

2.方法

2.1图像到图像的翻译

图像到图像的翻译[1,2]是指通过学习将图像从一个域映射到另一个域. 监督学习的图像翻译需要成对数据集，对应的图像翻译算法有pix2pix[1]模型，pix2pixHD[2]模型等.非监督学习的图像翻译[3,4]不需要成对数据集，数据的收集变得简单。 图像翻译需要学习不同域图像的联合分布.在无监督环境中，数据由来自两个不同域中的两个边缘分布组成，从边缘分布推断联合分布是一个高度不适定问题，需要在联合分布的基础上加入额外的假设，如共享潜空间假设[3]、循环一致性损失[4]等. 如文献[4]中提出的Cycle- GAN模型，解决了数据不匹配问题，文献[3]中提出了基于生成对抗 络和变分自编码器的UNIT框架，从共享潜空间角度对每个域使用VAE-GAN进行建模，进行两域之间样本的学习.

2.2变分自编码器

变分自编码器(VAE)从变分和贝叶斯理论出发，期望编码向量的后验分布尽量接近多元正态分布，本质是在常规自编码器的基础上，对编码的结果加上了“高斯噪声”，使得解码器能够对噪声有鲁棒性，利于解码结果多样化；同时，使用KL散度损失约束编码结果的分布靠近正态分布，相当于对编码器施加正则项，如图所示2. 图像重建时，从潜空间进行采样操作不可导，无法进行梯度下降.假设数据映射到多元正态分布 ，

Fig4. Hybrid samples learning network structure diagram based on latent space translation.

 图4基于潜空间翻译的混合样本学习 络结构图

2.3 域适应雾图合成

3.实验

一些结果如下图所示

 图 5 Adobe lightroom和我们的方法与SOTS测试集中部分数据的的定性比较

4结论

更新（使用方法，和云盘中加入权重，和压缩包）：

依赖库：

一般情况下直接安装如图所示即可。

附录：开源代码和姊妹文章（去雾）

代码：

链接: https://pan.baidu.com/s/1ruZeQhuxLBBoMza2FNsmxg 提取码: uxmn 复制这段内容后打开百度 盘手机App，操作更方便哦

对应的英文论文：

链接: https://pan.baidu.com/s/1BNHKhHDxbhWm4of4tygZxA 提取码: q278 复制这段内容后打开百度 盘手机App，操作更方便哦

姊妹博客：

图像去雾，利用《bringing old photos back to life》 的开源代码_Alocus的博客-CSDN博客

图像去雾，利用《bringing old photos back to life》 训练并修改_Alocus的博客-CSDN博客

完善后的根据深度图加雾代码Python_Alocus的博客-CSDN博客

文章知识点与官方知识档案匹配，可进一步学习相关知识OpenCV技能树首页概览11578 人正在系统学习中