基于透射率优化和颜色修正的水下图像增强方法

李向春，张浩，刘晓燕，宗芳伊，刘军礼

(齐鲁工业大学(山东省科学院)，山东省科学院海洋仪器仪表研究所，山东 青岛 266001)

海洋蕴藏着极其丰富的资源，是国防战略安全的重要领域，海洋军事竞争日趋激烈。水下图像是海洋信息的重要载体，在海洋科学研究的诸多领域，都涉及到水下成像技术。在海洋工程方面，水下图像可用于海底管道铺设、泄露检测，坝体裂缝检测，水下环境监测，沉船打捞等；在海洋开发方面，可应用于海底地貌勘测以及海底资源勘探，为海洋资源的开发提供有用信息；在水下目标探测与识别方面，可侦察、探测和识别可疑目标。

在海洋环境中，由于复杂的成像环境和光照条件导致水下图像存在颜色失真、对比度低、信噪比低等弱点，水下图像降质主要是由水体对光的吸收和散射造成的。由于不同波长的光在水中传播时有不同的衰减率，造成水下图像的颜色退化，前向散射导致图像的细节模糊，水中溶解的有机物和悬浮颗粒对光的背景散射导致图像对比度降低，不能直接提取出有用的信息，降质的图像难以直接应用于海洋工程、海洋开发。为获取更加清晰有用的水下图像，研究水下图像增强技术，对后续图像多特征提取与目标识别具有重要意义。

现有的水下图像增强和复原技术，大致可分为非物理模型方法和基于物理模型方法。非物理模型方法包括空域法、变换域法、基于颜色恒常性理论的方法以及综合型方法。水下图像增强的空域法常用的处理技术是增强对比度，包括对比度拉伸、锐化、直方图均衡化和限制对比度直方图均衡化。基于空域法的图像增强技术较为成熟，实现简单，处理后的水下图像对比度增强较为明显，但仍存在颜色失真、放大噪声、引入伪影等缺陷。2013年，Henke等[1]提出了一种基于特征的彩色恒常假设算法修正水下图像颜色失真，该算法基于灰度世界假设条件，首先分离水下图像的前景与背景，只对前景区域进行白平衡算法处理，但该方法处理结果的对比度和偏色校正结果都不够理想。2015年，Li等[2]提出了一种水下图像增强综合方案。首先，通过简单的去雾算法去除散射衰减的影响，接下来依次采用颜色补偿、直方图均衡、饱和度和光强度拉伸算法提高水下图像的对比度、亮度以及获得相对真实的色彩，最后使用双边滤波进行去噪，实验结果验证了该方法的有效性。

基于物理模型的方法可分为基于假设条件或先验知识的方法、基于图像去雾模型的改进方法以及基于水下成像光学属性的方法。2010年，Carlevaris-Bianco等[3]研究发现不同颜色的光照在水中传播时衰减程度不同，通过该先验知识估计成像场景深度，进而移除光照散射对水下图像造成的影响。2012年，Chiang等[4]提出的基于波长补偿和去雾模型的水下图像复原方法，考虑自然光照和人造光源的影响修正水下成像模型，由背景光各颜色的衰减程度估计场景处的深度，结合标准残余能量比率进行波长补偿，最终有效提高了水下图像的清晰度和颜色保真度，其建立的水下成像数学模型的普适性有限，从而导致无法准确的恢复水下丢失的颜色和对比度。2013年，Kim等[5]提出了一种新的得到粗透射率图的方法，针对大气中去雾图像的透射率估计，利用最小信息量损失原理估计透射率，当一些物体比大气光更明亮时，该方法比暗通道先验去雾法[6]更准确地估计出透射率。2016年，Li等[7]提出了一种基于蓝绿信道去雾和红信道修正的方法来复原水下图像。首先，对经典的暗通道先验去雾进行扩展和修正来处理水下图像的蓝绿信道；然后，根据灰度世界假设理论进一步修正红信道；最后，使用一种自适应的曝光算法来解决水下图像出现的过饱和或欠饱和问题。2017年，倪锦艳等[8]采用大气光暗原色先验去雾算法求取水下图像透射率，并根据物体和背景光颜色对透射率进行自适应优化，利用色温调节还原物体颜色。朱文青等[9]提出根据水下图像成像特点，建立水下光学成像模型，采用改进的暗原色算法进行图像去模糊，由直方图均衡化和双边滤波器对去模糊之后的图像增强对比度。

综上所述，水下图像增强和复原技术在一定程度上均可改善图像质量问题，但已有方法仍然存在一些不足。本研究结合非物理模型和基于物理模型方法的优势，针对水下图像因背景散射及水对光的选择吸收作用而导致的图像模糊、颜色失真问题，根据先去除背景散射影响后修正颜色失真的思路，提出一种基于透射率优化和颜色修正的水下图像增强方法，能够有效地提高图像对比度，改善颜色失真，方法的实时性较好。

1 水下成像模型

1.1 经典水下成像模型

McGlamery[10]提出的经典的水下成像系统计算模型认为，相机系统接收到的光分量有3部分(图1)，分别为直接入射分量、前向散射分量(反射光随机偏离传播路径后被相机接收)及后向散射分量(部分光照在未到达场景前被水或悬浮微粒反射，随后被相机接收)。

图1 水下光学成像原理图Fig.1 Principle diagram of underwater optical imaging

在通常情况下，由于场景与相机距离很短，可忽略前向散射对成像造成的影响，自然光照条件下，水下成像模型可简化为：

I(x)=J(x)t(x)+A(1-t(x)),

(1)

式中，I(x)表示水下退化图像；J(x)表示清晰图像；J(x)·t(x)表示直接分量；A(1-t(x))表示背景散射分量；A表示水下背景光；t(x)表示场景光透射率。

1.2 基于不同波长衰减差异的水下成像模型

由于水对光能量的选择性吸收作用，使得不同波长的光衰减情况不一致，不同于在大气中传播，考虑到各颜色通道具有不同的透射率，基于不同波长衰减差异的水下成像模型为：

Ic(x)=Jc(x)tc(x)+Ac[1-tc(x)],c∈{r,g,b},

(2)

式中，c表示图像中的红绿蓝3个颜色通道；Ic(x)表示水下退化图像；Jc(x)表示清晰图像；即真实场景图像，tc(x)表示场景光透射率(tc(x)∈[0,1])；Ac表示水下背景光，得到清晰图像Jc(x)为

(3)

2 基于透射率优化与颜色修正的水下图像增强方法

水体对光具有散射作用，因前向散射导致图像的细节模糊，后向散射导致图像对比度降低，不同波长的光在水中传播时有不同的衰减率，红光首先消失，绿光次之，蓝光传输最远，造成水下拍摄的图像呈现蓝绿基调。为了去除图像模糊、提高图像的对比度以及修正颜色偏差，根据先去除背景散射影响，然后使用直方图均衡化进一步提高图像对比度，最后使用白平衡算法修正颜色失真的思路，提出一种基于透射率优化和颜色修正的水下图像增强方法，该方法能够改善水下图像细节模糊、颜色失真的缺陷。

2.1 水下背景光Ac的估计

水下背景光通常被认为是水下图像中最亮的颜色。He等[6]利用暗通道获取水下背景光，选取暗通道中亮度最大的前0.1%像素，其中像素值最大的点作为背景光的估计值，此时水下图像全局背景光的选取极易受到水中白色物体的干扰，使得背景光数值估计过高。基于透射率优化和颜色修正的水下图像增强方法中，提出选取蓝/绿-红差异最大的像素点作为水下背景光的估计值，可有效避免背景光估计偏高的问题[11]。

四叉树细分分层搜索算法步骤：

步骤1：将一幅输入图像均分为4个矩形区域，记为Bi,i∈{1,2,3,4}区域；

步骤2：记SBi=平均像素值-标准差，SBi最高区域为候选区域，在该候选区域中选取前0.1%最亮的像素点，并存储到一个集合Ω(x)中；

步骤3：重复上述过程，直至候选区域像素数目小于设定的阈值T；

步骤4：在集合Ω(x)中选取蓝/绿-红差异最大的像素点作为水下背景光Ac的估计值[7]。

2.2 R通道透射率估计

根据公式(3)得到透射率映射函数一个样例图(图2)，若输入像素在[α,β]范围内(100<α<150,200<β<250)，则输出像素在[0,255]范围内。若输入像素不在[α,β]范围内，则输出像素超出[0,255]的范围(斜线阴影区域为信息损失部分)，这样就会造成视觉上的瑕疵。使用最小信息量损失原理[5]估计透射率t(x)，使用导向滤波进行细化[12]。在x∈Ω的一小块图像中，假设透射率是相同的，信息量损失定义如公式(4)所示：

(4)

图2 透射率映射函数样例图Fig.2 Sample diagram of the transmittance mapping function

将公式(3)代入公式(4)中，得到

(5)

式中，Dloss表示信息量损失，Ir(x)表示红色通道的水下退化图像，Ar表示红色通道的水下背景光，tr(x)表示红色通道的场景光透射率(tr(x)∈[0,1])。

为了使信息量损失最小，公式(5)应满足以下两个约束条件：

(6)

对公式(6)进行推导，推导如下：

(7)

即：

(8)

结合导向滤波对tr*(x)进行细化：

(9)

其中，s=(sr,sg,sb)T是一个尺度向量，ψ是一个补偿因子，如公式(10)所示， (s*,ψ*)为最佳参数值。

(10)

2.3 G和B通道透射率估计

在本项目的图像增强方法中，选取一个典型的线性关系表达式，来近似常见水下成像环境中散射系数随波长的变化[13]：

bc=(-0.001 13λc+1.625 17)b(555)。

(11)

研究表明，浮游植物对波长为440 nm和675 nm附近的光具有明显的吸收峰值，而对550～650 nm的光吸收较弱，因此上式中选择555 nm为参考波长[14]。

因为算法中只需要知道不同波长光散射系数之间的比值，所以并不需要知道参考波长555 nm处的散射系数值。根据相机感光元件对不同波长光的响应曲线，在本算法中选取特定的波长620、540和450 nm来分别代表3个颜色通道的标准波长。标准波长的选择依据是相机成像时对光谱的响应及sRGB色彩空间各颜色通道与光谱的关系。因此可得不同颜色通道的光衰减系数比为：

(12)

其中，cg/cr表示“绿-红衰减系数比”，cb/cr表示“蓝-红衰减系数比”。这两个比值均小于1，因为红光在水中的衰减要比绿光和蓝光强。

利用R通道的透射率和各颜色通道间衰减系数比，可估算G和B通道的透射率：

(13)

2.4 对比度增强与颜色修正

去模糊之后的水下图像灰度分布不均匀，就需要利用直方图均衡化对其进行进一步的对比度增强。由于水体对光的选择性吸收，水下图像整体以蓝绿色调为主，因此使用白平衡算法修正颜色偏差。

2.5 算法流程

算法流程图如图3所示。方法步骤如下：

输入：水下降质图像Ic(x)

步骤1：利用四叉树细分分层搜索算法估计水下背景光Ac，针对不同波长的光在水中具有不同的衰减系数，从水下背景光中估计出不同颜色通道的衰减系数比；

步骤2：以大气中雾化图像可准确估计透射率的方法为基础，使用最小信息量损失原理估计红色通道透射率tr(x)，在水下降质图像中选择参考图像，根据参考图像，结合导向滤波对tr(x)进行透射率精细估算，结合各颜色通道的衰减系数比，根据公式(13)估计tg(x)、tb(x)，从而可估算出G和B通道传输图；

步骤3：将水下背景光Ac、透射率值tc(x)代入公式(3)中，通过逆求解水下成像模型得到清晰化的水下图像Jc(x)；

步骤4：通过直方图均衡化算法，提高水下图像对比度；

步骤5：使用白平衡算法进行颜色修正，得到增强的水下图像。

图3 水下图像增强方法流程图Fig.3 Flow chart of underwater image enhancement method

3 实验结果与分析

为了说明基于透射率优化和颜色修正的水下图像增强方法的有效性，对网络上收集的真实水下图像进行处理，图像的分辨率为412×310，分别使用直方图均衡化算法、暗通道去雾算法[6]、GIMP内嵌的Retinex算法[15]、优化对比度增强算法[5]、基于透射率优化和颜色修正的水下图像增强方法对水下图像进行增强处理，效果如图4所示。

从主观进行评价，直方图均衡化算法提高了图像对比度，但整体图像偏蓝色基调；暗通道去雾算法虽然扩大了场景中的可见范围，但局部区域颜色失真较严重；GIMP内嵌的Retinex算法整体增强效果较好，但视觉效果不自然，部分区域呈现红色；优化对比度增强算法中，该方法采用最小信息量损失原理来估计透射率，图像处理结果相比较于原图像提高了对比度，但一些细节信息未恢复。相比之下，基于透射率优化和颜色修正的水下图像增强方法处理效果较好地去除雾状模糊，远处的鱼群、礁石清晰可见，视觉效果更自然。

为了进一步说明基于透射率优化与颜色修正的水下图像增强方法的有效性， 采用客观指标对各种算法和方法进行了评估。利用信息熵(Entropy)来衡量图像所包含的信息量，其值越大，信息含量越高，细节越丰富; 利用水下彩色图像质量评价(UCIQE)[16]来量化水下图像非均匀颜色偏差、模糊以及对比度。

U=c1×σc+c2×nl+c3×μs,

(14)

式中，U为水下彩色图像质量评价值，σc为色度的标准方差，nl为亮度的对比度，μs为饱和度的平均值，c1、c2、c3分别为线性组合的权重值。

对于水下图像：

U=0.468 0×σc+0.274 5×nl+0.257 6×μs。

图4 水下图像增强算法结果对比图Fig.4 Comparison charts of underwater image enhancement algorithm results

表1给出了水下图像的Entropy和UCIQE的比较结果。从表1中可以看出，基于透射率优化和颜色修正的水下图像增强方法具有较高的信息熵和UCIQE值。

表1 基于信息熵和水下彩色图像质量客观评价方法的平均值

4 结论

在海洋环境中，由于噪声干扰，水下光学图像具有模糊、颜色失真等问题，为了解决该问题，提出了一种基于透射率优化和颜色修正的水下图像增强方法。从主观评价上，该方法与直方图均衡化算法结果相比，改善了颜色偏差的缺陷；与暗通道去雾算法相比，改善了局部区域颜色失真的缺陷；与GIMP内嵌的Retinex相比，色彩更自然；与优化对比度增强算法结果相比，改善了水下图像细节模糊的缺陷。水下背景光的估计容易受水中白色物体、人工光源及图像中过曝区域的影响，导致估计值偏大。在下一步的研究中，拟建立一种基于海洋光学理论的水下成像背景光估计模型，使得水下背景光的估计更加准确。