基于可见光图像的近红外场景仿真

周 强，白廷柱，刘明奇，邱 纯



基于可见光图像的近红外场景仿真

周 强，白廷柱，刘明奇，邱 纯

（北京理工大学光电学院 光电成像技术与系统教育部重点实验室，北京 100081）

利用地物光谱仪采集了晴天条件下典型地物在380～1100nm的光谱反射率，并利用经过定标后的CMOS相机采集典型地物不同时段的可见光、近红外图像，结合相机辐射定标结果和地物目标的反射率建立了可见光、近红外图像灰度值的映射关系，且对简单场景进行图像分割，并通过查找表快速将可见光图像转化为近红外图像。建立了太阳辐射模型，在反演精度要求不是很高的条件下，可以反演一天内任意时刻的近红外图像。仿真结果表明，本文方法可生成真实感较好的近红外图像，为后续的各时段、各种天气条件及多种地物的近红外场景仿真奠定基础。

可见光；近红外；场景仿真；光谱反射率；太阳辐射模型

0 引言

鉴于景物在近红外波段成像的特点[1-2]及在军事领域的潜在应用，受到国内外从事相关研究人员的普遍重视[3-5]，本文就近红外图像仿真工作存在的一些问题，对近红外图像仿真方法做了改进，结合实验室定标结果和野外实拍图像对相机进行定标，提高了反演的近红外图像逼真度。通过建立查找表对反演算法进行优化，提高了反演速度。利用太阳辐射模型仿真了晴天条件下典型目标一天中不同时刻的近红外图像，本文方法可获得较好的近红外场景仿真图像，为以后仿真不同天气任意时段内的近红外场景仿真提供参考。

1 典型地物目标可见-近红外光谱反射特性分析

利用ISI921VF-512型号地物光谱仪采集了典型地物目标法线方向的光谱反射率[4]数据，统计结果如图1、图2及表1所示。本节选择具有代表性的草坪和墙面作为研究对象，从图1、图2可以看出春、夏、秋草坪的光谱反射率变化趋势基本一致，冬季枯草体内几乎不含叶绿素，因此冬季的反射率曲线和其它季节差别较大；不同季节的墙面的光谱反射率在可见和近红外波段内基本不变，主要是因为人工地物物理化学特性和外部结构比较稳定。表1是2013年4月12日的光谱反射率数据，从中可以得出典型地物目标平均反射率在上、下午变化很小，并利用这一特性反演某一天不同时刻的近红外图像。

2 晴天太阳辐射模型及其分析

获得太阳辐射数据主要有实地测量和理论模拟计算。由于实测的工作量大，而我国的太阳辐射观测站点很稀疏，所以一般均借助理论计算，文献[6-9]提供了各种计算晴天太阳辐射的模型，在文献[6-7]中验证了HOTTEL模型的精度，通过HOTTEL模型计算的太阳辐射值与实测值误差一般小于5%，符合本文仿真计算要求。根据HOTTEL模型得到水平面瞬时太阳总辐射：

＝cb＋cd(1)

式中：cb为水平面瞬时太阳直射辐射；cd为水平面瞬时太阳散射辐射。

采用MATLAB计算平台对HOTTEL模型进行编程，计算了太阳瞬时总辐射值。计算结果如图3所示。

3 基于可见光图像的近红外图像反演

典型地物目标在可见光和近红外波段均是通过反射外界光来实现不同的照度分布，不象长波红外波段还有自身辐射，因此对于同一材质的可见光纹理和近红外纹理在空间上具有相同的统计分布特性[10-11]，所以可用可见光图像反演近红外图像。

3.1 可见光场景图像的分割

在一幅场景中可能存在不同的地物目标，它们的反射率并不相同，因此通过目标反射率特性反演近红外图像时需要对场景进行图像分割，如图4(a)可见光原图像由墙面背景和灌木组成，本文采用一种简单有效的图像分割方法：阈值法。利用最大类间法[12]获取图像自适应阈值，再将图像分成背景和目标两部分。分割结果如图4(b)和(c)。

图1 不同季节同一时段草坪的光谱反射率曲线

图2 不同季节同一时段墙面的光谱反射率

表1 各种地物光谱平均反射率

图3 太阳辐照度随当地太阳时变化曲线

图4 可见光图像分割结果

3.2 相机在实验室的辐射定标

根据相机成像原理及文献[13]中的分析，相机最终输出的图像灰度值（DN）可简化表示为：

DN＝×＋1(2)

式中：是受多种因素影响的综合函数；1为光电转换过程中的暗电流噪声；是相机入瞳处的辐亮度。

本文所用相机为德国某公司生产的近红外增强CMOS相机，相机响应波段为250nm～1100nm，在采集可见、近红外图像时，分别采用可见滤光片（透光波段380nm～760nm，透过率为0.95）和近红外滤光片（透光波段760nm～1100nm，透过率为0.95）。通过辐射定标实验和最小二乘法线性拟合的方法可确定相机输出的图像灰度值和入射辐亮度的数值关系。在中国计量科学研究院对所用相机进行辐射定标，定标时相机CMOS增益为1倍、曝光时间为4ms、镜头光圈数为22，定标结果如下：

vr＝3.4495×10－7DNvr3＋1.6044×10－4DNvr2＋

0.0298DNvr－0.4610 (3)

nir＝3.9297×10－5DNnir3－0.0027DNnir2－

0.2131DNnir＋12.0182 (4)

式中：vr和nir分别为相机入瞳处接收到的可见、近红外光的辐亮度；DNvr和DNnir分别为相机输出的可见光、近红外图像的灰度值。由于定标时积分球所用溴钨灯光源和太阳光谱曲线不同，以及辐亮度计和相机响应光谱曲线的影响，在实验室标定的相机接收辐亮度和灰度之间的对应关系式(3)、(4)在野外并不精确，通过室外实验验证：式(3)在野外仍然成立，而式(4)误差较大，因此需要对相机在近红外波段的定标进行修正，提高仿真精度。

3.3 相机辐射定标的室外修正

根据大气辐射传输理论，相机入瞳处探测到的可见光、近红外波段的辐亮度和两波段目标反射率之间满足如下关系：

＝×¢×(5)

式中：¢为太阳辐射到目标上的辐亮度；是相机入瞳处目标反射的辐亮度；是被测目标的反射率；是大气透过率，可用大气辐射传输软件MODTRAN计算得之，在相机与目标景物较近的情况下，大气透过率的影响可以忽略，文中相机到景物距离为8m，大气透过率在0.99以上。

设vr¢和nir¢分别是太阳辐射到目标上的可见光和近红外波段的辐亮度，nir¢/vr¢[14]的比值为1/3.58。

室外采集不同太阳辐照度下，同一时刻白板的可见光和近红外图像，通过图像灰度值及式(3)、(5)可计算出该时刻下目标的可见光波段辐亮度，进而用nir¢/vr¢算出目标近红外波段的辐亮度。随着太阳辐照度的变化，可以得到近红外图像灰度值和近红外波段积分辐亮度值一一对应的数组。利用最小二乘法线性拟合，确定相机输出的图像灰度值和入射辐亮度的数值关系如下：

nir＝－7.6993×10－6DNnir3＋2.7×10－3DNnir2－

0.1492DNnir＋3.3724 (6)

3.4 近红外图像反演算法

结合式(3)、式(5)以及式(6)，就可以得到相同条件下近红外、可见光图像灰度值之间的关系，如下：

在用式(7)反演时，涉及高次运算，对图像逐像素点采用上式计算，运算量会非常大，因此在反演过程中先建立一个查找表，将可见光图像灰度值0～255分别用式(7)计算，所得近红外灰度值存入表中，表中可见、近红外灰度值具有一一映射关系。

仿真前对可见光图像进行分割，分割后不同目标对应不同的查找表，最后对仿真得到的近红外图像进行合成。

应用查找表[15]可将可见光图像迅速反演成近红外图像，在其它条件相同时，对一幅512×640的可见光图像反演，文献[5]需要8h，而用本文提出的算法耗时10s。且用修正后的定标关系，近红外仿真图像的逼真度有了很大的提高。

3.5 不同时刻近红外图像生成

根据成像原理，影响近红外图像灰度值的主要因素是目标反射率和太阳辐射照度，第1节的实验结果表明典型地物目标的反射率在一天中几乎不变，因此在反演精度不是非常高的情况下可以用太阳辐照度的变化来反映近红外图像灰度值的变化，不同时刻近红外图像生成具体算法如下：

2）设所要生成近红外图像的目标时刻为goal，同样应用式(1)可求出该时刻的太阳辐照度goal，进而得到goal时刻的近红外图像平均灰度值为：

3）goal时刻近红外图像中对应像素点(,)的灰度值为：

4 仿真的实现与结果分析

为了验证本文提出的仿真理论和算法，利用MATLAB软件反演了沥青路面、灰色地砖、绿色草坪、灌木和墙面的近红外图像，仿真结果如图5～图8所示，其中，(a)、(b)及(c)是13:00的图像；(d)和(e)是16:00的图像。本文实拍图像拍摄于2014年8月7日，天气情况：晴；能见度：10km。可见光图像与近红外图像两者拍摄角度略有差别。

图5 沥青路面的仿真结果

图6 灰色地砖的仿真结果

图7 灌木和墙面的仿真结果

图8 绿色草坪的仿真结果

由仿真结果可以看出，利用本文算法可以较好地表现近红外场景特征。在仿真速度和图像的逼真度上都比前人的算法有了很大的提高，而且在仿真精度要求不高时，可以仿真一天中任意时刻的近红外图像。图5中的目标种类比较单一且均匀没有遮挡，所以仿真效果较好。图6中的一小撮绿草和图7中灌木和墙面背景的交界处的一小枝灌木仿真的灰度均偏暗，这是由于反演时用的不是绿色植被的近红外与可见光反射率比值，实际上绿色植被近红外与可见光反射率比值远大于墙面及地砖，因此仿真的那一小枝植被灰度比实拍图像暗；图7(e)的右下角有阴影，而仿真的图7(d)并没有，这是由于灌木结构和不同时刻太阳辐射角度的影响造成。图8中实拍草地近红外图像局部有许多阴影，而仿真的却没有，这是由于仿真时用的是绿草的近红外与可见光反射率比值，而实际上阴影部分灰度值是受土壤和绿草共同影响的。

5 结论

本文根据相机成像原理确定了相同条件下的可见光图像灰度值和近红外图像灰度值之间的映射关系，基于可见光图像仿真出近红外图像，又通过建立晴天太阳辐射模型，反演了同一天中不同时刻的近红外图像。仿真结果表明文中提出的方法可以快速仿真出有真实感的近红外场景图像。后续工作将考虑同一场景中不同地物的精确分割、周围环境对地物目标的影响，地物目标本身的散射特性、地物的方向反射率特性、天气条件等因素影响下的近红外场景仿真，提高仿真算法的适用性和仿真的逼真度。

[1] 张健, 张建奇, 邵晓鹏. 基于Vega+Prime的红外场景生成技术在成像制导仿真系统中的应用[J]. 红外技术, 2005, 27(2): 124-128.

[2] 顾聚兴. 近红外成像与热成像[J]. 红外, 2005, 26(12): 40-42.

[3] J. Q. Sun, D. Messinger, M. Gartley. Enhanced DIRSIG scene simulation by incorporating process models[C]//, 2009, 8158: 81580F.

[4] Yang Huilei, Ding Yan, Zhang Zhemin. A NIR scene simulation method based on reflection properties of target[C]//, 2013, 8783: 87830A.

[5] 江乐. 基于地物反射波谱的近红外场景仿真技术研究[D]. 北京: 北京理工大学, 2014.

[6] 后尚, 田瑞, 闫素英. 呼和浩特地区太阳辐射模型分析[J]. 可再生能源, 2008, 27(2): 79-82.

[7] 邱国全, 夏艳君, 杨鸿毅. 晴天太阳辐射模型的优化计算[J]. 太阳能学报, 2001, 22(4): 456-460.

[8] 王亚吉. 太阳辐射光谱的测量与应用研究[D]. 南京: 南京信息工程大学, 2011.

[9] 徐青山, 藏海祥, 卞海红. 太阳辐射实用模型的建立与可行性研究[J]. 太阳能学报, 2011, 32(8): 1180-1185.

[10] 胡海鹤, 白廷柱, 郭长庚, 等. 零视距地物长波红外特征场景仿真研究[J]. 光学学报, 2012, 32(10): 1011002.

[11] 邵晓鹏, 张建奇, 徐军. 一种自然红外纹理的生成方法[J]. 西安电子科技大学学报, 2003, 35(5): 613-616.

[12] Ostu N A. Threshold Selection Method from Gray-Level Histograms[J]., 1979, 9(1): 62-66.

[13] 任建伟, 万志, 李宪圣, 等. 空间光学遥感器的辐射传递特性与校正方法[J]. 光学精密工程, 2007, 15(8): 1186-1190.

[14] 江乐, 白廷柱, 丁艳, 等. 基于典型目标反射率的近红外场景仿真[J]. 光子学报, 2014, 43(8): 08100041-08100046.

[15] 胡海鹤, 郭长庚, 胡海燕. 基于数据库查找表技术的实时红外场景仿真[J]. 红外技术, 2013, 35(6): 329-333.

Near Infrared Scene Simulation Based on Visual Image

ZHOU Qiang，BAI Ting-zhu，LIU Ming-qi，QIU Chun

(,,100081,)

In this paper we used a spectrometer to collect the spectral reflectance of typical ground objects at 380-1100nm under sunny conditions and a calibrated CMOS camera to collect images of the typical objects in visible and near infrared wavelengths at different time of the day. We established a gray value mapping relationship between visible images and near-infrared images, combining camera radiation calibration results and different reflection characteristics of ground objects. Also we exerted segmentation on simple scenes and converted visible images to near infrared images by the above established mapping relationship. In addition, we built a solar radiation model. We could inverse near infrared images at any time in a day, if the requirement of inversion accuracy is not very high. The simulation results show that the method we proposed could generate realistic near infrared images and lay a solid foundation for the subsequent near infrared scene simulation of different ground objects on different weather conditions and at different time of the day.

visible spectrum，near-infrared，scene simulation，spectral reflectance，solar radiation model

O436；TP391.9

A

1001-8891(2015)01-0011-05

2014-10-06；

2014-11-13.

周强（1988-），男，江西省上饶市，硕士研究生，主要研究方向为近红外仿真和图像处理。E-mail: zqljj1111@163.com。

白廷柱（1955-），男，北京，教授，主要研究方向为光电成像技术、红外仿真、紫外通信等。E-mail: tzhubai@bit.edu.cn。

国家部委预研项目，编号：110010202。