海面复杂背景下图像增强算法研究

摘" 要：该文提出一种改进的基于去雾理论的夜间低照度图像增强算法。通过对暗通道先验去雾算法在处理夜间复杂灯光图像中存在的伪光晕、亮度不准等问题进行分析，采用一种可以边缘保持的滤波方法进行暗通道求取，并针对图像特点对大气光值进行精确估计，结合采样方法提升处理效率，实现对低照度图像的有效增强。经过实验分析，该算法能有效地防止光晕现象，改善图像的亮度和噪声。

关键词：海面复杂背景；图像增强；低照度；图像去噪；暗通道先验

中图分类号：TP751" " " 文献标志码：A" " " " " 文章编号：2095-2945（2023）31-0036-06

Abstract： In this paper， an improved night low illuminance image enhancement algorithm based on defog theory is proposed. Based on the analysis of the problems of 1 halo and inaccuracy of brightness in the dark channel prior defogging algorithm in dealing with the complex light image at night， a filtering method which can preserve the edge is used to calculate the dark channel. According to the characteristics of the image， the atmospheric light value is accurately estimated， combined with the sampling method to improve the processing efficiency， and realize the effective enhancement of the low illumination image. Through experimental analysis， the algorithm can effectively prevent the halo phenomenon and improve the brightness and noise of the image.

Keywords： sea surface complex background; image enhancement; low illuminance; image denoising; dark channel priori

与室内或野外陆地不同，海上光照十分复杂，实际拍摄的图像，往往因为天气、光照因素等各种环境因素使得整体图像对比度较低，难以直接获取所需要的特征。例如，阴天雾霾海况会导致光线极暗，会出现图像欠曝光现象，海面图像整体偏暗；逆光条件下拍摄的海面可见光图像会出现过曝光现象，海面图像整体偏亮。图像的质量直接影响最后的检测和计算精度，所以对图像进行预处理是十分重要的一步。本文重点研究欠曝光或低照明环境中海面图像的增强算法。

1nbsp; 低照度直方图分析

1.1" 正常光照时图像特点

由于拍摄条件限制，本节选取12幅陆地天空曝光适中的可见光图像数据说明此类图像在直方图方面的特点，选取的图像数据如图1所示，其直方图曲线与峰值点的集合分别如图2和图3所示。

通过表1可以看出，曝光适中海面可见光图像在不同标准差下的累加频率与正态分布的累加频率非常接近，因此在客观数据方面曝光适中海面可见光图像的直方图分布接近于正态分布。

在直方图拟合方面，Celik等[1]提出了混合正态分布拟合图像直方图分布的方法，若图像出现一个背景和一个面积较大的目标，那么可以用混合二阶正态分布拟合图像的直方图分布。对于海面可见光图像，海面背景面积很大，而目标面积很小，图像整体可近似为一个海面背景，图像的直方图接近于某一个正态分布，海面可见光图像直方图的峰值点也接近于某一个正态分布的峰值点，根据统计学中的参数最大似然估计[2]，海面可见光图像直方图分布的标准差接近于某一个正态分布的标准差。

1.2" 夜间低照度图像和有雾图像的关联

启发自He的暗通道去雾算法[3]，在2011年，Xuan等[4]提出了一种基于暗通道去雾的低照度视频增强算法，通过对大量低照度图像反转图的图像表征及直方图表征进行观察，发现其与雾天图像存在高度相似性，并利用两者的关联提出了一种用于低照度图像增强的算法。

低照度图像，一般指的是光照不足或夜间拍摄得到的光线较暗的图像，如图4所示。观察其直方图分布可以发现，其灰度值范围一般都在靠近直方图的左侧分布。将图像进行反转后，发现图像的直方图也随之向较高一侧分布，通过图5可以观察到低照度反转图像的视觉效果及直方图分布和雾天图像有着很高的相似性。

通过对大量图像的对比分析，Xuan等将去雾算法在低照度图像的增强中进行了验证并取得了较好的效果，同时该算法也为低照度图像的增强提供了一定的理论和现实依据。

2" 暗通道去雾原理

暗原色先验理论是He等[3]提出，并应用到图像去雾中。该理论提出在户外无雾的图像中，除去天空元素之外的任何一个像素点的邻域Ω中，存在一个最暗的点，该点在一张RGB图像的3个通道数据中，最小值趋近于0。因此，对于任意的图像定义其暗通道为J dark

式中：Ω表示像素点的邻域，一般选择为7×7或者15×15的正方形区域；y为邻域中的一个像素点；J c（y）是无雾图像的3个通道的值，J dark（x）为无雾时的图像暗通道，其中每个像素值趋近于0。

由式（1）可知，如果希望求得去雾后的图像，则需要求解大气光常数A，以及透射率分布t（x），将式（1）改写为

等式两端同时进行最小化运算有

式中：c表示图像3个通道的值，结合式（1）可以推导出

最终可以得到透射率t（x）为

实际中常常会引入一个常数ω∈（0，1）来保留一部分的雾气，通常ω越大去雾效果越明显，通常设置为w=0.95[5]。

最终可以得到图像的恢复公式为

实际中为了避免除数是0的情况，对参数t0的取值进行了限制，一般情况下t=0.1。

3" 改进的基于暗通道去雾的夜间图像增强算法

经过上述滤波算法进行图像降噪后，图像中的噪声水平明显降低，但由于光照不足，图像中的目标仍然识别度较低，故本设计基于有雾图像和低照度反转图像存在的高度相似性[4]，通过对当前基于模型的暗通道先验图像去雾算法进行研究改进，实现了一种对于夜间低照度图像增强的方法，并验证了算法的有效性。

3.1" 图像重采样

利用暗通道先验进行去雾的过程中，会发现有大量的时间消耗在图像滤波及透射率细化上。为了满足实时的要求，在保证精确率的同时可以尽可能减少时间的消耗，加入了采样的手段，利用采样后小图的透射率对大图透射率进行估计，然后进行去雾处理，所以选取较为合适的采样倍数也是需要解决分析的问题。如果采取采样倍数过大时，可能影响最终去雾的效果，造成透射率信息严重丢失[6]，无法较好地对图像进行复原增强；如果采样倍数过低，反而在升降采样时造成了大量的时间消耗，达不到省时的效果。除此之外，也需要选择合适的采样手段来实现更好的效果。

3.1.1" 最大值降采样

在采用较大倍数的采样时，会造成在图像的边缘明暗过度的位置出现纹理丢失的现象，这是由于采取的抽样方式的特点所致。

采用临近值采样的方法是指在图像的行列2个方向按照指定的缩略倍数N×M，行列上分别每隔N和M个点取值，将其作为最终的结果。采用这种方法在大部分情况下会存在很明显的影响。

所以，最终采用最大值降采样的方式，其有效避免了上述问题。最大值降采样和临近降采样的区别在于，其将图像行列上每M×N取块，计算该范围内的最大值作为采样后该点的像素值大小。采用这样的方式后，降采样的结果在亮暗边界处不会造成边缘过度模糊，避免大量过渡区域的边缘信息不被采样处理造成信息丢失。

3.1.2" 双三次样条插值升采样

经过上述的图像降采样处理之后，处理得到的图像会出现明显的块效应，这是由于在对图像复原时，在小块中透射率的取值一样，缺少平滑过渡。尤其对于高倍降采样之后，如果对复原图像每个临近小块内都采用相同数值的透射率，会最终出现图像分布不均的问题。

针对这个问题，考虑对图像升采样时加入插值的方式去还原图像。考虑到插值效果和时间计算复杂度，最终选择了处理效果和效率较高的双三次样条插值。

双三次样条插值考虑到相邻的灰度像素值变化的影响，其根据附近16点的灰度整像素值及对应的导数进行运算，所以其插值效果在一阶及二阶导数上都是连续的。

沿x方向的4个像素点Z0、Z1、Z2、Z3，每2个像素点之间使用一个三次多项式进行拟合，像素点处的函数一阶及二阶导数必须连续。

对于亚像素位置（x，y）的灰度值，采用双三次插值算法，可设其表达式为

则双三次插值如下所示，其中u、v表示离亚像素位置最近的一个整数点位置坐标，Δx、Δy分别表示亚像素位置离整像素位置在x、y轴的亚像素位移。

f（u+Δx，v+Δy）=ABC ，" （10）

式中：A、B及C都是矩阵，其具体的形式如下

图6是对图像进行五倍双三次样条插值后的结果。

3.2" 保边引导图像透射率估计

假设大气光亮度A已知，有雾图像模型放在每一个通道，即

Ic（x）=Jc（x）·Ac（1-t（x）） ， （14）

式子两边除以Ac得到

由前面公式可知，对于无雾图像除去天空外，J dark→0，即有

依此得到

即透射率

式中：设置常数ω（0lt;ωlt;1），目的是使估计值接近于自然，这是因为即使在大气非常纯净的情况下，大气中也必然包含着水气。如果直接利用这里估计的透射率图像，那么在恢复图像中会产生“光晕”，为此需对透射率进行优化以消除恢复图像中的光晕。

针对图像边缘明显的块状光晕效应，He论文中求取暗通道时采取局部最小滤波方式，但是在夜间图像中，会发现如果存在局部光照过量或过暗（如路灯、车灯等），其实可以认为其边缘处透射率不再满足该条件，如果此时采取最小值滤波，可能将局部的噪声引入或采集到景深之外的点作为最终的透射率大小。

考虑到上述不足，本文在求取暗通道时采用引导滤波算法进行优化改进，避免在像素点值变化较大的边缘区域，由于较大估计误差而导致的边缘块状现象。同时引导滤波能够保持图像梯度的相对性，从而对图像暗通道的边缘有良好的保持性。

引导滤波是一种局部线性模型，该模型认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并做平均即可。故滤波前后的图像满足如下关系

qi=akIi+bk，∀i∈ωk ，" （20）

式中：I是引导图像，qi是输出，ω是以k为中心像素的窗口，ak和bk都为该窗口对应的线性系数。上面的线性关系自然保证了图像梯度的相对性不变，对图像两边求导可以得到

▽q=a▽I 。 " （21）

但是，如果图像中任何一个地方的系数a和b都相同，那么无异于对整个图像进行了一个线性变换，并没有起到保边滤波的功效。要达到保边滤波的效果，期望a和b是随着图像内容变化的，在边缘区域a尽量大，保持梯度，在平滑区域a尽量小，以尽量平滑。输出q应该尽量和原始图像一致，并以此为约束条件来求解a和b，也就是最小化如下目标函数

这里，∈是对较大ak进行惩罚的正则系数。用于防止求得的a过大，也是调节滤波器滤波效果的重要参数。通过最小二乘法可以得到参数ak和bk的表达式如下

式中：ω为窗口ω中像素数目，pk、μk分别表示输入图像和引导图像在窗口ω中的均值，σ是图像在窗口ω中的方差。

在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包含，即每个像素都由多个线性函数所描述。因此，如之前所说，要具体求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，即

引导滤波最大的优势在于，可以写出时间复杂度与窗口大小无关的算法，因此，在使用大窗口处理图片时，其效率更高。

如图7所示，分别是通过He论文中的最小滤波和本文使用的保边引导滤波方式求取暗通道之后获得的透射率分布结果。可以发现，采用传统的暗通道中的最小滤波方式，在光照高低过渡的部分会出现很多的块状分布，而经过本文的方法改进之后，既可以达到求取图像暗通道的效果，又可以尽可能地对景深过渡处的透射率进行有效估计。

3.3" 大气光照模型估计

研究发现Xuan等通过去雾的思想对低照度图像进行了增强，并取得了不错的效果。但是同时发现，最终的图像会存在整体颜色由于大气光值估计不准带来的图像整体颜色过暗过亮，接下来将进一步精确求解大气光值。

夜晚图像内总是存在若干极暗的图像区域，而对应到反转图像时，这些图像区域的亮度值就会很高，而在计算大气光的值时，所取的像素点也总是在这些区域当中。本文采用最简单的方式计算大气光值，即取图像亮度最高的像素点的值作为这张反转夜晚图像的大气光值。

式中：Index（·）代表取对应像素值在图像中的位置，I表示反转夜晚图像I的暗通道图。这样计算得到的大气光A是个包含 3个值的向量，分别对应图像RGB 3个色彩通道。引导大气光值估计如图8所示。

4" 结论

本文提出了一种基于暗通道去雾优化后的低照度图像增强方法。根据雾天图像和低照度图像反转的相似特征，介绍了暗通道去雾的理论基础并进行应用，分析了该算法直接应用于夜间道路图像的问题和不足，并针对这些问题进行改进分析，解决了景深突变处的黑边效应及块状效应，有效估计了大气光值改善图像亮度，并结合采样的手段提升了算法效率。最后，对多种算法进行实验仿真对比，验证了改进后算法对于图像效果和质量的有效改善与提升。

参考文献：

[1] CELIK T，TJAHJADI T.Automatic image equalization and contrast enhancement using Gaussian mixture modeling[J]. IEEE Transactions on Image Processing，2012.

[2] 茆诗松，程依明，濮晓龙.概率论与数理统计教程（第二版）[M].北京：高等教育出版社，2011.

[3] He K， JIAN S， FELLOW， et al. Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2011，33（12）：2341-2353.

[4] XUAN D， PANG Y A， WEN J G. Fast efficient algorithm for enhancement of low lighting video[C].IEEE International Conference on Multimedia amp; Expo， 2011.

[5] 金观昌.计算机辅助光学测量[M].北京：清华大学出版社，1997.

[6] XU H， GUO J， LIU Q， et al. Fast image dehazing using improved dark channel prior[J].IEEE， 2012：663-667.