结合邻域特征与IDCSCM的红外与可见光图像融合

巩稼民,刘爱萍,马豆豆,杨红蕊,张凯泽,赵梦凯

(西安邮电大学通信与信息工程学院,陕西 西安 710121)

1 引 言

图像融合是一种增强技术,旨将单一或多种类型的传感器在同一时刻捕捉到的同一应用场景中的图像,经过一系列数学运算,生成稳健或信息丰富的图像,以便于后续处理或帮助决策[1]。可见光图像通常具有较高的空间分辨率和丰富的细节信息以及较强的明暗对比,因此,可见光图像符合人类的视觉感知。然而,这些图像很容易受到外界条件的影响,例如不良的照明,雾和恶劣天气的其他影响。与此同时,红外图像是根据物体表面的热辐射进行成像,可以抵抗这些外界环境变化的干扰,但通常具有低分辨率和差的背景纹理信息。因此,将红外图像与可见光图像进行融合,既可以抵抗外界环境变化的干扰,又具有较强的目标识别能力和丰富的场景细节信息。近几年,可见光和红外图像的融合技术已经广泛应用于物体识别,检测,图像增强,监视和遥感等领域[2]。

近年来,基于多尺度分解的红外和可见光图像融合算法引起了人们极大的关注,许多学者并获得了大量的研究成果。常用的多尺度分解有金字塔变换[3]、小波变换、轮廓波变换(Contourlet)[4]、非下采样轮廓波变换(Non-subsampled Coutourlet Transform,NSCT)[5]以及非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)[6]。近年来,NSST被广泛使用,不仅具有前几个变换的优点,也克服了前几种算法的缺点,同时由于有梯形的支撑区间,对信号可以进行最优的稀疏逼近,其计算时长也大大缩短。

基于脉冲耦合神经网络模型(Pluse Couple Neural Network,PCNN),因为符合人眼视觉的机理与特性,进而被广泛使用于融合策略[7]。Zhan等人[8]提出了一种改进的神经网络模型被命名为脉冲皮层模型(Spiking Cortical Model,SCM),其继承了PCNN模型的优点,并且含有较少的参数,计算复杂度较低。Zhao等人[9]将SCM模型与NSST结合用于多聚焦图像融合,有效地防止了变换中图像的像素失真域。但是SCM对于图像较暗区域的信息捕捉能力较弱,针对此缺点,江泽涛等人[10]提出了DCSCM模型,并应用于红外与可见光图像融合,增强了对于较暗区域的信息捕捉能力。本文采用NSST将源图像分解为低频子带和高频子带图像,根据相应的邻域特征选择DCSCM的激励,同时对DCSCM进行改进,弥补缺陷,更适用于图像融合。实验证明,本文提出的方法与其他方法相比,有较明显的优势。

2 NSST原理

针对小波变换的缺点,K.Guo等人[11]提出了剪切波变换,但是由于变换过程中也需要对图像进行下采样,因此该变换并不具有平移不变性。2007年,Easley等人对剪切波变换进行改进,在处理图像时避免了下采样,从而提出了NSST。

在二维状态下,合成膨胀系数的仿射系统定义如下集合形式:

MAB(x)={Ψl.m.n(x)=|detA|j/2(BmAlx-n):l,m∈Z,n∈Z2}

(1)

式中,ψ∈L2(R2);矩阵A和B是2×2的可逆矩阵,且矩阵B行列式的值为1。l为分解尺度,m为方向数目,n为空间位置。对于∀f∈L2(n),满足:

(2)

图1 NSST分解框架图

如图1所示,首先,源图像经过非下采样拉普拉斯金字塔滤波器(NLP)分解成包含源图像的大部分信息和能量的低频子带图像和一系列包含源图像的边缘细节信息的高频子带图像。然后,对高频子带图像构造相应的剪切波滤波器组(SF),并与之进行卷积运算,得到各个方向的边缘信息。

3 SCM原理与改进DCSCM模型

3.1 SCM原理

PCNN模型是由德国科学家R.Eckhorn[12]提出的,该模型根据猫科动物的视觉神经机理简化而来形成的一个神经网络模型。SCM是由中国学者Zhan K.[13]对于PCNN模型简化而来的一种改进模型,并应用于图像融合。SCM具有全局耦合,脉冲同步,参数设置较少,低计算复杂性等优势。SCM的数学模型如式(3)～(7),分为接收域、调制域、脉冲产生域三个部分。

接收域表达式如下:

(3)

Fij(n)=Sij(n)

(4)

其中,(i,j)表示对应像素点位置;pq为相邻像素位置;Sij(n)为外部激励;W为权重;Ypq为邻域神经元的输出。

调制域表达式如下:

Uij(n)=f*Uij(n-1)+Sij*(Lij(n)+1)

(5)

调制域是对接收域产生的输入信号进行调制,从而形成神经元的内部活动Uij(n),f是调节活动的衰减项。

脉冲产生域表达式如下:

Eij(n)=g*Eij(n-1)+h*Yij(n-1)

(6)

(7)

式中,Eij(n)为控制神经元点火的阈值函数；g,h分别为阈值衰减和放大系数,对下一次的脉冲输出进行调控；Yij(n)表示第n次的脉冲输出状态。Yij(n)=1时,则完成一次点火状态。

3.2 DCSCM原理

SCM是PCNN的改进模型,不仅具有全局耦合、脉冲同步、参数设置较少、低计算复杂性等优势,同时SCM模型还具有很强的表达图像细节信息的能力,但是该模型存在对图像较暗区域信息的捕捉不够敏感的。因此,针对此缺点,提出双通道脉冲皮层模型(DCSCM)。DCSCM原理框图如图2所示。

图2 DCSCM原理框图

如图2所示,DCSCM同样可分为三部分:输入域、调制域、脉冲产生域。从SCM数学模型式(5)可得Uij(n-1)对Uij(n)的影响很小,因此可以忽略此项,同时将外部激励变成双通道输入,数学模型如下:

(8)

(9)

(10)

(11)

为了降低修改参数对整个模型性能的影响,将动态门限改为:

Eij(n)=Eij(n-1)-Δ+h*Yij(n-1)

(12)

其中,Δ为常数,在本文中Δ值为0.1。

(13)

3.3 IDCSCM

(1)为了使DCSCM模型更适用于图像融合,迭代次数的选择非常重要,迭代次数过大或者过小都会影响整个算法的性能。为此,选择在DCSCM输出端添加一个赋时矩阵[14],用于记录神经元脉冲第一次完成点火时对应的n值。因此,DCSCM的最终输出为赋时矩阵的输出。赋时矩阵的添加解决了参数n设定的问题。数学定义式如下:

(2)从式(10)～(13)可以看出,当输入激励为0时,DCSCM无法产生脉冲,即无法进入点火状态,会导致赋时矩阵进入无限循坏状态。为了避免此类情况,在DCSCM的输入部分添加一个判断条件,先判断外部是否有激励,如果为0,则使得赋时矩阵输出无穷大,直接终止循环。数学定义式如下:

(15)

4 融合算法

本文具体的融合框架如图3所示。步骤:①红外与可见光源图像分别过NSST分解为高频和低频子带图像；②选取低频和高频子带图像相应的邻域特征作为改进DCSCM的外部激励,并通过数学模型比较选取相应的子带系数进行融合；③将融合得到的低频和高频子带图像经过逆变换进行重建得到新的图像。

图3 融合算法框图

4.1 低频融合

低频子带图像近似于源图像,包含源图像中的大部分信息,反映了图像中目标的亮度和位置分布。但是低频分量中也包含了源图像的少量边缘信息,因此只考虑所在邻域均值大小这一点,忽略了这种情况。为了解决这一问题,本文将低频分量的邻域均值与能保留边缘信息的区域方差取大结合起来,作为改进DCSCM的输入激励。具体数学表达式如下:

(16)

AVE(x,y)是低频分量中以(x,y)为中心的3×3区域的均值。

(17)

SL(x,y)=

(18)

4.2 高频融合

对于人眼视觉来说,一幅图像的关注点在于其对比度,而图像的局部对比度就是目标边缘信息相对于背景信息的突出程度,而低频分量主要包含目标背景信息,高频分量主要包含边缘细节信息。因此,将高频子带系数的绝对值与低频分量的邻域均值之比表示局部对比度,并作为改进DCSCM的激励。具体表达式如下:

(19)

其中,Hpq(x,y)为高频子带系数；pq为分解层数和方向数。

4.3 融合步骤

Step 1:根据式(8)～(15)分别代入低频和高频子带图像计算相应改进DCSCM的外部激励。

Step 2:程序初始化。令Lij(n)=0,Uij(n)=0,Yij(n)=0。并将激励代入式(14)计算第一次点火的时间。

Step 3:通过比较选择低频与高频子带的融合系数。

5 实验与分析

为了更能体现本文算法的性能,分别选取两组图像进行比较实验,同时在相同参数设定下与其他3种方法进行比较,分别为NSCT-PCNN[15]、NSCT-SF-PCNN[16]、双通道PCNN[17],对于文献[17]中的方法在本文中暂命名为ADUPCNN。对于所有方法,分解尺度的参数为nlevel=[2,2,4,4],PCNN的参数均和原文一样,DCSCM的参数取值为:

h=20。

实验结果如图4和图5所示。在第一组图中,图(c)目标人物中心亮度不高,且人物边缘细节出现模糊现象,背景中山丘以及右下角树木的轮廓以及细节不清楚。图(d)中,目标人物亮度符合,但是背景信息基本模糊,边缘细节完全看不清楚,且建筑物附近还出现了阴影,视觉效果太差。图(e)背景中山丘、树林等太过平坦,且左下角树木细节纹理丧失。与其他方法相比,本文中所提到的算法,不仅能很好地保留红外目标,而且也同样很好地保存了背景信息,如图中的山丘、树木、建筑物等。

图4 第一组图像融合结果

图5 第二组图像融合结果

从第二组图中可以看出,图(c)与图(d)、图(e)的融合图像产生了伪影,而且图(c)与图(e)中背景纹理模糊。为了更加清晰地进行比较,将目标人物区域局部放大,如图6所示,可以看出,图(c)中心人物亮度较暗,目标人物有轻微伪影。图(d)人物外部轮廓周围有一圈阴影,背景纹理信息丧失,图(e)虽然目标人物亮度清晰但背景信息丢失。相比其他方法,本文提出的方法无论是在目标人物还是背景细节方面都有较好的性能,且对较暗区域的信息处理较好。

图6 对图5中目标人物区域的放大

除了主观评价,本文还选用了平均梯度(AG)、标准差(STD)、信息熵(IE)、互信息(MI)、结构相似度(SSIM)等客观评价方法。客观评价结果如表1所示。从实验结果表中可以看出,第一组图中,本文提出的方法与其他方法相比,在客观评价上是最优的；第二组图中可以看出,本文提出的方法,虽然在AG与SSIM方面不是最优,但在其他三种客观评价准则方面是最优的。

表1 客观评价结果

综合主观评价与客观评价,本文提出的算法与其他三种算法相比,不仅改善了传统算法对于图像暗区域信息捕捉能力,而且在性能上也有很大的提升。

6 总 结

本文提出了一种邻域特征与IDCSCM相结合的红外与可见光图像融合算法。源图像经过NSST被分解为低频和一系列高频子带图像,对高频子带图像构造相应的SF,并进行卷积,得到高频子带图像的各个方向的信息。低频子带图像包含源图像的大部分信息,但也含有少量边缘细节信息,因此选取其邻域均值与邻域方差作为IDCSCM的激励,并进行融合；高频子带图像含有丰富的边缘细节信息,选择高频子带系数的绝对值与低频子带系数的邻域均值之比,作为IDCSCM的输入激励,并进行融合。最后将融合得到的各子带分量经过逆NSST变换对图像重建得到最终新的融合图像。实验证明,本文提出的方法从主观和客观评价方面均有优势,证明了本算法的可行性。但本算法也有一些局限性,如AG与SSIM不是最优,这也是以后需要研究的一个重要方向。