一种改进的全变分模型校正红外焦平面阵列条纹非均匀性

潘科辰，顾国华，陈 钱，隋修宝



一种改进的全变分模型校正红外焦平面阵列条纹非均匀性

潘科辰，顾国华，陈 钱，隋修宝

（南京理工大学 电子工程与光电技术学院，江苏 南京 210094）

针对传统的红外图像非均匀性校正方法精度低，易破坏图像细节和边缘等缺点，本文提出了一种新的基于全变分理论的红外图像非均匀性校正方法。在分析不同正则项对全变分模型去噪性能影响的基础上，针对红外图像条纹非均匀性的几何特征，对原有的全变分模型进行了修正，使新模型既能约束图像水平方向的梯度，又能保护图像垂直方向的梯度。通过Split Bregman迭代最小化新的全变分模型，显著降低了计算复杂度，使其能广泛应用于实时视频序列。通过不同环境下对真实场景的实验，表明该方法不但能有效地校正红外图像的条纹非均匀性，还能较大程度地保护住图像的细节和边缘信息。

红外焦平面阵列；非均匀性校正；全变分；Split Bregman迭代；L1正则

0 引言

红外焦平面阵列（IRFPA）被广泛应用在不同的领域，包括医疗成像，军事，消防救援行动。由于焦平面阵列各传感器响应的非均匀性，红外图像普遍存在严重的空间域固定噪声[1-2]。对于线阵红外探测器和非制冷凝视型红外探测器，非均匀性条纹噪声是其中最为主要的一种固定噪声。因此，一个有效的非均匀性去条纹算法能显著地提高IRFPA图像质量。

目前国内外的非均匀性校正方法主要分为两类：基于定标（CB）的方法和基于场景（SB）的方法。CB法具有模型简单，计算方便等优点。其中最典型的为单点校正和两点校正。但该方法需要周期性的对红外探测器进行重新标定来抑制温漂，无法在真实场景中实现实时的校正过程[3-4]。SB法因能克服上述中CB法的缺点而成为现在研究的主流趋势，其中最典型的SB法有神经网络法[5]，卡尔曼滤波[6]，和基于恒定统计的方法[7]。这些方法都能做到实时校正红外焦平面探测器的各项参数，但模型复杂度高，同时由于校正参数的误差，极易产生鬼影现象。

上述所有的非均匀性算法都是通过调整红外探测器输出的增益和偏置来校正一般的非均匀性噪声。对于条纹非均匀性，我们需要特殊的方法单独处理[8]。目前最普遍的图像去条纹方法是设计一个离散傅里叶变换低通滤波器。该方法模型简单但极易模糊图像的细节信息。为了进一步提升去条纹效果，一些学者提出了基于小波的改进方法[9-10]；一些学者提出了基于直方图匹配和运动匹配的改进方法[11-13]；还有一些学者完全从图像直方图特征的角度进行考虑。目前去条纹效果较好的是Tendero提出的中间均衡直方图法（Midway Equalization）[14]。然而，由于缺乏对条纹噪声几何特性的考虑，这些方法在去条纹的同时都会一定程度地模糊图像的细节和边缘信息，使原本分辨率不高的红外图像更为模糊。

本文在通过分析前人提出的全变分去噪理论[15-17]，结合对红外图像条纹噪声几何特性的分析，从图像空域处理角度出发，提出了一种改进的全变分模型校正红外图像条纹非均匀性。文中首先介绍了全变分理论的基本原理，接着分析了IRFPA非均匀性条纹噪声的几何特性，改进了全变分模型中的正则项。最后详细介绍了Split Bregman法对模型进行最优化迭代的具体过程，并通过仿真实验和定量数据结果，分析了该模型的性能。

1 全变分图像去噪基本理论

基于全变分（Total variation）模型（即TV模型）的图像去噪方法首先由Rudin和Osher提出，由于其优异的去噪性能和在去噪过程中能比较好的保护图像边缘信息等特点，近年来逐渐成为图像研究的热点[18]。全变分去噪的基本思想是将图像去噪问题转换成一个图像模型能量泛函最小化问题，通过调整模型中的保真项和正则项，实现各种不同形式噪声的去除，同时较好地保存图像的边缘特征，使得去噪后的图像质量得到很大的改善。

具体来说，全变分理论将图像视作一个定义在二维空间上的有界变差函数，将非均匀条纹噪声视作一个固定的加性噪声，得到方程(,)＝(,)＋(,)。其中(,)是探测器输出的含噪图像，(,)是真实场景的无噪图像，(,)是非均匀性条纹噪声，非均匀性校正的任务是从(,)最大限度的复原(,)。由于噪声图像的全变分明显要比无噪声图像的全变分大，因此该图像复原过程可以归结为最小化一个如下所示的含有全变分项泛函能量方程：

式中：u是图像水平方向的一阶差分；u是图像垂直方向的一阶差分，将(2)式代入(1)式，并导出Euler-Lagrange扩散方程：

从该方程中可以看出基于L2正则的全变分模型本质上是一个各向同性扩散，优点是去噪能力强，缺点是极易造成图像边缘模糊。同时，基于L2正则的全变分模型被证明会造成图像亮度的极大变化。因此，一种基于L1正则的更有效的全变分模型被提出：

其Euler-Lagrange扩散方程为：

2 基于单向全变分IRFPA条纹非均匀性校正

2.1 单向全变分模型

与随机噪声不同，非均匀性条纹噪声对于图像梯度的影响主要集中在沿着轴水平方向方向，对于轴垂直方向则几乎没有影响。因此，对于噪声项(,)，有性质nn，其中n是噪声项水平方向的梯度，n是噪声项垂直方向的梯度。考虑到该性质，我们提出了一种改进的单向全变分模型以适用于去除IRFPA图像条纹非均匀性的任务中。在基于L1正则全变分模型的基础上，修正了竖直方向梯度信息u为(－)，改进的全变分模型如下：

将式(6)代入式(1)中，得到新的泛函能量方程：

2.2 单项全变分模型的离散化表达

考虑到图像为一个大小为×的二维矩阵，其水平方向和竖直方向一阶梯度信息的离散数学表示分别如下：

将式(8)与式(9)代入式(7)中，最终得到全变分法去非均匀条纹模型的离散数值表达形式：

式中：平衡系数1和2通常选定为一个较小值，如0.01。

2.3 Split-Bregman最优化方法

传统的全变分模型的最优化求解是通过先导出一个Euler-Lagrange扩散方程，然后用最陡梯度法进行最优化求解，该方法计算量大，计算复杂度高。同时由于基于L1正则的全变分模型存在不可微点，最陡梯度法在这些点处无法求导，从而导致方法失效。

Split-Bregman法是近几年提出的一种非常高效的优化方法，尤其适合于存在L1范数项的方程最优化问题[19]。其具体过程如下：

首先引入辅助变量d＝u，d＝(－)，将式(7)由一个无约束优化问题转化为一个约束优化问题，得到方程：

s.t d＝u，d＝(－)(11)

然后通过拉格朗日乘子法，引入辅助变量b和b，将式(11)进一步转化为一个无约束的方程进行最优化：

式中：和是方程的Bregman惩罚系数。

具体求解时将方程中，d，d，b，b这5个参数分离出来，在迭代其中一个参数时固定住其它参数。对于未知数，可得到分离系数后的方程：

这是一个典型的L2范数最优化问题，其等价于一个基于线性算子的迭代过程：

该过程可以通过快速傅里叶变换得到封闭解，即：

式中：是快速傅里叶变换；－1为傅里叶逆变换。

对于未知数d和d，可得到分离系数后的方程为：

这是一个L1范数和L2范数混合方程的最优化问题，该问题可以通过引入一个收缩算子来求解[20]，得到方程：

对于未知数b和b，则直接采用代入法迭代求解：

综上，Split Bregman法可以将方程(7)这种复杂的L1正则和L2正则混合最优化问题转换为3个较为简单的子最优化问题[21]，其中关于的方程能通过FFT来求解，关于d，d的方程能通过收缩算子来求解。这些方法都具有计算量低，收敛速度快等优点，在具体计算时，，d，d各自独立，可以并行进性。因此采用Split Bregman对于本论文中提出的模型进行最优化能够快速得到稳定的最优解。

3 实验结果与分析

为了验证本文提出算法的有效性，将该算法对红外图像序列进行处理，并与文献[14]中提到的Midway Equalization法进行对比，后者是目前效果最好的单帧非均匀条纹校正方法。采用Matlab 2012来搭建仿真平台，实验用的原始图像数据则来自于320×256的非制冷红外焦平面探测器。具体实施时把图像序列分为两组：一组是简单场景下的图像序列，背景细节信息比较简单，非均匀性条纹噪声对图像的破坏比较严重；另一组是复杂场景下的图像序列分别进行，背景细节和边缘信息比较复杂，但部分非均匀性条纹噪声与背景融成一体，对图像的破坏性较简单场景下的轻。同时将平衡系数统一设置为0.01。

3.1 仿真结果

第一组测试结果显示在图1～图3。图1是原始的红外图像，图2是Midway Equalization法处理后的结果，图3是单向全变分模型处理后的结果。可以看到在简单的场景中，这两种模型都可以显著地去除红外图像的条纹不均匀性。但是Midway Equalization法处理后的图像在两边会产生黑边，造成图像严重的扭曲和失真。

第二组图像的测试结果如图4～图6所示。其中图4是原始图像，图5是Midway Equalization法处理后的结果，图6是单向全变分模型处理后的结果。可以看到在复杂的场景中，这两种算法的处理效果就会显现出明显不同。基于单项全变分法仿真结果不但能很好地去除条纹非均匀性，而且可以最大限度地保护图像的细节和边缘信息。而基于Midway Equalization法的仿真结果则会在去条纹的同时对图像的细节产生模糊。

图1 简单场景下具有条纹非均匀性的IRFPA图像

图2 Midway Equalization法对图1处理后的结果

图3 单向全变分法对图1处理后的结果

图4 复杂场景下具有条纹非均匀性的IRFPA图像

图5 Midway Equalization法对图4处理后的结果

图6 单向全变分法对图4处理后的结果

3.2 定量分析

为了进一步对我们的算法得到客观的评价，我们采用一系列指标如平方差误差（MSE）[22]和图像粗糙度指数[23]来进行定量分析。其中平方差误差（MSE）能表明算法的去噪能力，图像粗糙度指数能表明算法对图像细节的保护能力。

平方差误差MSE的物理意义是两幅图像之间的差异程度，其数学定义如下：

式中：nuc是含有非均匀条纹噪声的原始图像；destripe是采用不同的去条纹算法处理后得到的图像。和是图像水平和竖直方向的像素数。将图1和图4作为待处理样本为nuc，通过单向全变分法，Midway Equalization法，小波收缩法，co-occurrence matrix和histogram modification分别得到destripe，计算值见表1。

表1 不同图像校正算法对不同场景下红外焦平面阵列处理 得到的MSE值

从表1可以发现，无论在哪个场景下，单向全变分法的MSE值通常比其他去条纹算法高。这意味着单向全变分得到图像与原始图像之间的差异比其他去条纹算法得到的图像与原始图像之间的差异更大。定量的说明了相比较与其他图像去条纹算法，我们的模型可以更有效地去除条纹非均匀性。

图像粗糙度的物理意义是图像细节的丰富程度。其数学定义如下：

表2 不同图像校正算法对不同场景下红外焦平面阵列处理得到的粗糙度r值

4 结论

去除红外图像的条纹非均匀性是图像处理领域一个极具挑战性的任务，因为大部分的算法不能有效地区分条纹噪声和背景信息，在去噪的同时极易使图像模糊。本文通过合理利用条纹噪声的方向信息，提出了一种改进的基于单向全变分的条纹非均匀校正模型。为了解决模型中L1范数极小化问题，引入Split Bregman法对方程进行迭代最优化。实验结果证明，该模型在去除条纹非均匀性的同时，能最大限度地保护图像的边缘和细节信息。最重要的是，相比于传统的非均匀校正算法，我们的算法校正时只需要单帧信息，所以即使是在场景旋转和缩放的条件下，依然能较高效率的校正IRFPA图像的条纹非均匀性。在未来的工作中，为了进一步提高算法的性能，可以在模型中添加一个自适应选取平衡系数的算法；同时由于校正后的图像还残留少许低频非均匀噪声，需要进一步与其他非均匀校正算法相互配合来解决。

[1] MILTON A F, BARONE F R, KRUER M R. Influence of nonuniformity on infrared focal plane array performance[J].., 1985, 24(5): 855-862.

[2] SCRIBNER D A, KRUER M R, KILLIANY J M. Infrared focal plane array technology[J]., 1991, 79(1): 66-85.

[3] FRIEDNBERG, GOLDBLATT I. Nonuniformity two-point linear correction errors in infrared focal plane arrays[J]., 1998, 37(4): 1251-1253.

[4] PERRY D L, DERERENINAK E L. Linear theory of nonuniformity correction in infrared staring sensors[J]., 1993, 32(8): 1854-1859.

[5] 张菲菲, 王文龙, 马国锐, 等. 基于非局部均值滤波与神经网络的红外焦平面阵列非均匀性校正算法[J]. 红外技术, 2015, 37(4): 265-271.

ZHANG Fei-fei, WANG Wen-long, MA Guo-rui, et al. Neural network nonuniformity correction algorithm for infrared focal plane array based on non-local means filter[J]., 2015, 37(4): 265-271.

[6] TORRES S N, HAYAT M M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays[J]., 2003, 20(3): 470-480.

[7] HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]., 1999, 8(8): 1149.

[8] SHEN H, AI T, LI P. Destriping and inpainting of remote sensing images using maximum aposteriori method[C]//, XXXVII, 2008, Part B1: 63-70.

[9] YANG Z, LI J, MENZEL W P, et al. De-striping for MODIS data via wavelet shrinkage[C]//, 2003, 4895: 187-199.

[10] TORRES J , INFANTE S O. Wavelet analysis for the elimination of striping noise in satellite images[J].. 2001, 40(7): 1309 -1314 .

[11] HORN B K , WOODHAM R J. Destriping LANDSAT MSS images by histogram modification[J]., 1979(10): 69-83.

[12] CARR J R, F PELLON de Miranda. The semivariogram in comparison to the co-occurrence matrix for classification of image texture[J].., 1998, 36: 1945-1952.

[13] QIAN W, CHEN Q, GU G. Correction method for stripe no- nuniformity[J]., 2010, 49(10): 1764-1773.

[14] TENDERO Y, LANDEAU S, GILLES J. Non-uniformity correction of infrared images by midway equalization[J/OL].., 2012: doi: 10.5201/ ipol.2012.glmt-mire

[15] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J].., 1992, 60(1): 259-268.

[16] VOGEL C R, OMAN M E. Iterative methods for total variation denoising[J]., 1996, 17(1): 227-238.

[17] CHAMBOLLE A. An algorithm for total variation minimization and applications[J]., 2004, 20(1): 89-97.

[18] ESTEBAN V, PABLO M, SERGIO T. Total variation approach for adaptive nonuniformity correction in focal-plane arrays[J]., 2011, 36(2):172-174 .

[19] GOLDSTEIN T, OSHER S. The split Bregman method for L1-regularized problems[J].., 2009, 2(2): 323-343.

[20] DONOHO D L. De-noising by soft-thresholding[J]., 1995, 41(3): 613-627.

[21] WU Chulin, TAI Xuecheng. Augmented Lagrangian method, dual methods, and split Bregman iteration for ROF, vectorial TV, and high order models[J]., 2010, 3(3): 300-309.

[22] SUI Xiu-bao, CHEN Q, GU G H. Algorithm for eliminating stripe noise in infrared image[J]., 2012, 31(2): 106-112.

[23] PABLO Meza, GUILERMO Machuca, SERGIO Torres. Simul- taneous digital super-resolution and nonuniformity correction for infrared imaging systems[J].s, 2015, 54(21): 6508-6515.

An Improved Total Variation Model for Correcting the Stripe Nonuniformity in IRFPA Image

PAN Kechen，GU Guohua，CHEN Qian，SUI Xiubao

(,,210094,)

Traditional nonuniformity correction algorithms for infrared focal plane array suffer from drawbacks such as low correction accuracy and damages in image details and edges. Aiming at these problems, a new method based on total variation is proposed for infrared image nonuniformity correction. On the basis of analyzing the influence of different regularization terms on the performance of the total variation model and geometric features of the stripe nonuniformity, we modify the original total variation model so that the new model can either constrain the image gradient of the horizontal direction, or protect the image gradient of the vertical direction. By using the Split Bregman to minimize the total variation model, the computational complexity is significantly reduced so that it can be used in real-time video sequence. We test the experiments on real scene under different circumstances and indicate that our algorithm can effectively remove the column stripe nonuniformity, while the details and edges are well preserved.

infrared focal plane array，nonuniformity correction，total variation，Split Bregman iteration，L1-norm

TN216

A

1001-8891(2016)02-0138-06

2015-10-13；

2015-12-04.

潘科辰（1990-），男，硕士研究生，主要研究方向为红外图像处理。E-mail：panrun123@126.com。