全天相机云图去噪算法的研究∗

高振斌，李梦慈，邱 波，陈建军，曹子皇，宋 涛

(1.河北工业大学，天津 300401；2.中国科学院国家天文台，北京 100101)

云图是天文学、气象学等学科的研究热点。云的分布情况、云量大小和云的类型等均是大气分析和天气预报的重要因素，但噪声对云图分析造成干扰。云图噪声分为引入噪声和固有噪声两类：(1)引入噪声指云图在传输、转换和存储过程中引入的干扰信息，该噪声影响云图的质量；(2)固有噪声指云图本身所含噪声，固有噪声会对云观测和云图分析造成干扰，使云图平均灰度值变化或将噪声部分误判为云层等，影响分析的准确性。因此，对云图进行去噪处理至关重要。目前，国内外针对云图引入噪声的研究较为广泛。除传统的高斯平滑[1]、九点滤波算法[2]、中值滤波法[3]、自适应滤波框[4]等方法外，文[5]采用流行的机器学习去噪算法进行云图去噪，包括高斯混合模型[6]，过完备稀疏变换模型[7]，K-SVD[8]，超完备DCT字典[9]。文[10]提出了一种基于Tetrolet变换和偏微分方程、广义交叉验证的云图去噪算法。这些改进算法使得去噪后的云图具有较高的峰值信噪比，并且图像边缘清晰，细节完整。总体而言，引入噪声去噪算法的研究较为成熟。本文主要研究云图固有噪声的去噪算法，下文所提噪声均为云图的固有噪声。

全天相机云图是通过全天空成像技术，通过全自动、全色彩天空成像系统，提供实时处理和显示24小时的天空状态。全天相机拍摄的云图是角度自下而上、以天空为背景的云图[11]，换言之，全天相机云图是一种地基云图，导致全天相机云图的固有噪声主要来自天空中的因素。目前，常采用红绿蓝(RGB)三通道[12]方法进行云检测及太阳去除，但由于天空背景的不均匀性，红绿蓝三通道法存在一定误差。文[13]通过生成晴空图的方法对红绿蓝三通道法进行改进，较好地去除太阳噪声。但该方法需结合云图每个像素的像素/天顶角和像素/方位角，对相机的校准要求较高，成本高且易产生误差。文[14]提出了照相机加云高仪(Camera Plus Ceilometer，CPC)算法，可检测太阳是否被云层遮挡，提高了云检测的准确度，但该方法没有除去太阳噪声。文[15]提出了结合辐射数据确定云图太阳位置的方法，该方法需要结合辐射数据，不能直接处理云图。文[16]提出了亮温阈值分割法，该方法只是削弱了太阳噪声的影响，并没有完全去除。文[17]提出了时间分割法和差分法去除月光噪声，但这两种方法仅能处理灰度值图像，无法保留云图的红绿蓝信息。总体而言，国内外对云图固有噪声去噪算法的研究多为去除或削弱太阳和月亮噪声，而云图中还存在如雷电、冰晶等干扰项。并且，许多去噪算法需要结合辐射[15]、温度[16]等数据，较为繁琐，或对相机等设备有较高要求[14]，成本较高。本文通过图像处理技术，可实现多种类型的噪声去除工作，简单便捷，成本较低。

本文的主要创新点有：(1)在经过大量的人工阅图后将噪声进行合理分类，把云图固有噪声甄别为5种常见噪声和4种特殊噪声，并对应于不同的天空状态；(2)对不同噪声进行针对性处理，总结出不同噪声的分布、区域大小等特点，然后结合噪声与云层相对位置等因素有针对性地提出边界阈值法、时间轴法、反比例线性变换等8种去噪算法，从而基本实现各种天空状态下的云图去噪；(3)提出了一种交互式多类型噪声去除系统，可减少算法执行时间，并选取200张典型云图噪声数据进行实验分析。实验结果表明，该系统可以有效去除常见噪声，基本保持云层和天空信息的完整性，简单便捷地实现云图去噪。

本文的数据来源于中国科学院国家天文台提供的LAMOST云图数据，共计有2 201张大小为2 592×1 728像素的彩色云图。

1 云图噪声分类及去噪算法

云图噪声可以分为星光噪声、月光噪声、日光噪声、雷电噪声、反光噪声和特殊噪声等。

1.1 星光噪声

星光噪声的灰度级跨度较大，像素点小，灰度值比天空高。因此，可以认为星光是一种随机出现的白点，是夜空这一暗区域中的白色像素。这一特征与椒盐噪声的特征相同，故可用中值滤波去噪算法。此外，根据全天相机连续拍摄的特性，可以采用的第二种去噪算法为时间轴法。在针对该类噪声的处理中，所有的彩色云图通过(1)式全部转为256级灰度图后再进行处理。

其中，Gray为像素点的灰度值，范围为0～255。

1.1.1 中值滤波法

中值滤波法是去除单点无规律分布噪声的有效手段。该方法通过确定一个含奇数像素的滑动窗口，将窗口内的各像素灰度值排序，用其中值代替原灰度值成为窗口中心的灰度值，从而消除孤立的星光噪声点，它属于一种非线性图像平滑技术。噪声区域的大小随具体图片而定，通过实验发现，噪声区域半径过小会导致滤除效果不好，过大则导致云图其它细节受到影响。

1.1.2 时间轴法

由于云图数据是连续拍摄的视频帧，每帧之间间隔5 min左右，由此发现，30 min内天空灰度值、星体数量、星光强度等的变化几乎可以忽略不计，故本文认为30 min内的云图所含天空信息不变。但由于地球自转和公转的影响以及星星的像素点较小的特性，使得30 min内云图中星体的位置略有偏差。全天相机的拍摄周期大约为5 min，选用与待处理云图的时间差在30 min内的一张云图作为背景图，遍历所有像素点的灰度值，发现星光比背景天空的灰度值高，整体灰度值越高的图像，星光与天空的灰度值差越大。如果某一点的灰度值a(i，j)满足：

则令a(i，j)=b(i，j)，其中，am，bm为原图、背景图灰度值的平均值；Istar为观察全部数据集后选取的固定星光阈值，阈值偏大会导致噪声难以完全去除，阈值偏小会导致图像整体变暗。通过实验发现，Istar取0.2时，去噪效果较好。

实验证明，时间轴法在保留云层和天空信息完整性方面优于中值滤波。中值滤波能完整去除星光噪声，更加简单便捷。星光噪声原图和结果图如图1。

1.2 月光噪声

通过对云图数据的观察，在相邻的2～3天内，每天临近同一时刻，月亮所在的位置相差不大。根据月亮的这一特点，可以采用差分法去除月光噪声[17]。月光噪声的灰度值较高，因此，可以采用边界阈值法；月光的亮度受云层厚度的影响，故还可采用反比例线性变换法。此外，由于云图数据的连续拍摄特点，月光噪声同样可以采用时间轴法。

1.2.1 差分法

差分法可用于检测运动目标。将待处理的云图称为原图；在数据库中筛选出不同日期但相同时刻的云图，称为背景图。为了避免混入其它噪声形成不必要的干扰，背景图最好选择仅含月亮无云的图。将原图与背景图转化为灰度图，并进行图片相减，可以有效去除月光噪声[17]。

1.2.2 边界阈值法

月光灰度值极高，直接将高灰度值置为0，不但会在图片上留下一个突兀的黑洞，还破坏了云层或天空信息，而且月光噪声通常伴随着散射噪声出现。散射噪声是由于月光受天空中水蒸气等因素的影响，发生散射，在月光附近形成的面积较大、亮度稍暗的光晕。因此仅将高灰度值部分置0难以完整除去月光及散射噪声，所以需要对月光部分进行补偿。通过研究月光边界的云层信息，发现边界点的灰度值与云图平均灰度值成正比。当像素点灰度值a(i，j)满足

图1 (a)星光噪声原图；(b)中值滤波结果图；(c)时间轴背景图；(d)时间轴结果图Fig.1 (a)Original image of starlight；(b)Result image of median filtering； (c)Background image of timeline；(d)Result image of timeline

可判定该部分为月光，令a(i，j)=bou，其中，am为云图灰度值的平均值；bou为云图边界点的灰度值；Imoon为观察全部数据集后选取的固定月光阈值。阈值Imoon过大将不能完全识别月光，过小会将部分天空或云层误判为月光。文中Imoon参考数值为0.68。将灰度值转换成红绿蓝三通道，重复上述过程，可得到红绿蓝结果图。

1.2.3 反比例线性变换法

将红绿蓝云图转换为灰度图后发现，云层较厚的部分月光较暗，云层较薄的部分月光较亮，而当月亮未被云层覆盖时，月光最亮，灰度值也最高。因此可以得出结论：月光越亮的部分去噪后亮度变化越大。因为月光噪声的灰度值与云层厚度成反比，所以去噪后像素点的灰度值与原始灰度值成反比。

其中，Pn(i，j)为去噪后像素点的灰度值；Po(i，j)为原始像素点的灰度值；C为常数。为了保证云图在去除月光噪声后不突兀，月亮与天空的连接处平滑，要求连接处的像素点满足去噪前后灰度值相等的条件，即

其中，Pn为去噪后月亮与天空连接处像素点的灰度值；Po为连接处像素点的原始灰度值；am为云图灰度值的平均值；Imoon为观察后选取的固定阈值。将(5)式代入(4)式，可得出常数C的值，从而得到反比例线性变换法的公式：

反比例线性变换法先遍历所有像素点，满足(3)式的像素点确定为月光噪声，代入(6)式，其余像素点不变。

差分法的优点是可以基本去除月光噪声，去噪效果优于时间轴法和反比例线性变换法；缺点是造成整体灰度值降低，破坏云层信息，且计算时需要无云的背景图，不能处理彩色图像。因此差分法适用于月亮未被云层覆盖的情况。

边界阈值法的优点是可以在不破坏云层的情况下完整去除月光噪声，保持天空信息和云层信息的完整性，还可以处理彩色图像；缺点是比较复杂。因此，边界阈值法适用于月亮被云层覆盖的情况。

时间轴法的优点是可以同时去除月光噪声和星光噪声，可以处理彩色图像；缺点是不能完整去除噪声，需要背景图。

反比例线性变换法的优点是方法最简单，无需背景图，月亮区域与天空连接平滑，不会使图像突兀，图像整体灰度值不变。反比例线性变化法去噪效果优于时间轴法，但不如差分法。该方法不能处理彩色图像。

这4种去噪算法各有利弊，在实际应用中，要根据云层信息、云图数据库大小等选择合适的去噪算法。噪声原图和结果图如图2。

图2 (a)差分法原图；(b)差分法背景图；(c)差分法结果图；(d)边界阈值原图；(e)边界阈值结果图(RGB)；(f)时间轴原图；(g)时间轴结果图(RGB)；(h)反比例线性变换原图；(i)反比例线性变换结果图Fig.2 (a)Original image of difference method；(b)Background image of difference method；(c)Result image of difference method；(d)Original image of boundary threshold；(e)Result image of boundary threshold(RGB)； (f)Original image of timeline； (g)Result image of timeline(RGB)；(h)Original image of inverse proportional linear transformation；(i)Result image of inverse proportional linear transformation

1.3 日光噪声

日光噪声的分布、位置、出现方式、云层对去噪算法的影响等特点与月光噪声非常相似。故可用月光去噪算法去除日光噪声。但日光噪声像素点更大，灰度值更高，很难完整去除日光噪声，针对这一特性提出一种新的去噪算法——密集时间轴法。

密集时间轴法是在时间轴法的基础上改进的。由于日光像素点较大，可选择30 min内的5～6张云图实现日光噪声的去除。将原图遍历像素点灰度值与其余背景图进行比较，当满足

时，将背景图像素点灰度值赋给原图。其中，Isun为观察全部数据集后选取的固定日光阈值，文中Isun参考数值为0.68。也可以将灰度值换成红绿蓝通道值进行彩图去噪。

密集时间轴法的优点是能基本去除噪声，可以处理彩色图像。缺点是需要多张背景图，比较复杂繁琐，图像连接处不光滑。该方法适合处理太阳未被云层覆盖的情况。原图和结果图如图3。

1.4 雷电噪声

雷电噪声通常出现在云层下方，因此，不存在被云层覆盖的情况。雷电噪声呈树杈状，整体细长，根部粗，枝叶部分细。利用这一特性，可以采用形态学开运算法去除雷电噪声。

图3 (a)密集时间轴原图；(b)密集时间轴结果图(RGB)Fig.3 (a)Original image of dense timeline；(b)Result image of dense timeline(RGB)

形态学开运算是图像处理的一种常用方法，原理是先进行形态学腐蚀再进行形态学膨胀。即先消除图片中细小高亮的目标物，再填补消除物体造成的空洞并平滑边界，同时保持图像大小不变。

形态学开运算可以基本去除雷电噪声，保持云层和天空信息的完整性，雷电与天空的连接处比较平滑，是一种比较理想的雷电去噪算法。原图和结果图如图4。

图4 (a)原图；(b)结果图(RGB)Fig.4 (a)Original image；(b)Result image(RGB)

1.5 反光噪声

反光噪声是由于日光或月光照射在镜头上反光造成的一种噪声，所以反光噪声通常伴随日光或月光出现。与散射噪声不同，反光噪声不出现在太阳或月亮周围，其分布不规律。反光通常带有颜色，故可用红绿蓝通道法去噪。此外，反光部分的灰度值比背景天空高，还可用边界阈值法去噪。

1.5.1 红绿蓝通道法

红绿蓝指的是彩色图像的红绿蓝三种不同的通道，反光区域的红绿蓝三通道值大小不同，而其余部分的红绿蓝三通道值相差无几。将云图的三通道分离，求出每个通道的平均值，用最高的通道减去最低的通道即可得到反光部分。随后利用图片减法，原图减去反光部分乘权值系数，可以去除反光噪声。

1.5.2 边界阈值法

反光的灰度值比背景天空高，但与部分云层灰度值接近。为保持云层信息完整，需要对边界阈值法进行改进。由于反光噪声的像素点较小，在进行云图处理时可以人为标记反光噪声部分，仅用边界阈值法处理标记部分。

红绿蓝通道法的优点是算法简单，可以基本去除反光噪声，当权值系数较大时还可以去除部分散射噪声。缺点是只适用于整体灰度值比较低的情况，权值系数很难确定为最佳值。

边界阈值法的优点是能完整去除反光噪声，不破坏天空云层信息，适用于各种云图。缺点是非常繁琐，需要进行标记。原图和结果图如图5。

图5 (a)原图(含标记)；(b)RGB通道法结果图；(c)边界阈值法结果图(RGB)Fig.5 (a)Original image(with label)；(b)Result image of RGB channel；(c)Result image of boundary threshold(RGB)

1.6 特殊噪声

全天相机云图中包含许多特殊噪声，本文主要介绍其中的4种，包括积雪噪声、白光噪声、雨水噪声和冰晶噪声。

由于积雪、白光、雨水和覆盖整个镜头的冰晶会完全破坏云层和天空信息，故将其作为废弃云图，不进行处理。本文仅讨论冰晶噪声较小的情况。

由于冰晶噪声的饱和度较高，灰度值与天空部分相差无几，可以将饱和度和边界阈值法结合去除冰晶噪声。首先定义饱和度阈值Sice，再结合边界阈值法，当像素点的灰度值大于阈值Iice且饱和度大于饱和度阈值Sice时，判定为冰晶噪声。文中Iice参考数值为150，Sice参考数值为80。将冰晶噪声的像素点灰度值用噪声与天空或云层的边界点灰度值替代，可以去除噪声。但云的饱和度与冰晶噪声类似，该方法会破坏云层信息，故在进行云图处理时可以标记冰晶噪声部分，仅对标记处进行去噪处理。可以将灰度值换成红绿蓝三通道，重复上述过程，得到红绿蓝结果图。

饱和度结合边界阈值法可以基本去除冰晶噪声，但连接处有灰度值的跳变，连接不平滑使图像突兀，而且该方法繁琐，需要获取连接处灰度值信息并进行标记。特殊噪声和冰晶噪声去噪结果图如图6，噪声种类特点如表1，不同噪声去噪算法总结如表2。

图6 (a)积雪；(b)白光；(c)雨水；(d)冰晶(大)；(e)冰晶(小)原图；(f)结果图(RGB)Fig.6 (a)snow； (b)white light； (c)rain； (d)ice(large)； (f)Original image of ice(small)； (g)Result image(RGB)

表1 噪声种类及其特点Table 1 Types of noise and their characteristics

表2 不同噪声去噪算法总结Table 2 Summary of different noise denoising algorithms

2 交互式多类型噪声去除系统

云图去噪算法较多，需要根据实际情况选择不同的去噪算法，获得最佳去噪结果。但这样需要的执行时间较长，而且部分算法需要一张甚至多张背景图和噪声标记，比较复杂繁琐。为克服以上缺点，本文将不同噪声的去噪算法进行整合，提出一种交互式多类型噪声去除系统，可以实现大量云图的去噪工作。

通过对不同噪声特点的研究发现，日光和月光的灰度值较高，容易与背景天空区分。而其余噪声的灰度值不具备明显特征，难以同云层及天空区分。因此，只能判断云图中是否含有日光、月光，很难自动判别星光、雷电和反光噪声。

本文采用半自动的交互式系统设计，通过人工交互判断是否含某类噪声，然后系统进行相应的自动去噪处理。

在这个综合系统中，选择中值滤波法去除星光噪声，选择反比例线性变换法去除月光噪声和日光噪声，选择形态学开运算法去除雷电噪声，选择红绿蓝通道法去除反光噪声，系统流程图如图7。

由于部分云图不含噪声，并且通过观察发现，时间间隔较短的云图中噪声种类、位置、大小等信息相似，为更好地说明系统的去噪效果，本文对原始数据进行了筛选。选出200张具有典型噪声的云图，通过交互式多类型噪声去除系统的处理，采用图像质量主观评价法，请20位观察者对去噪图像进行评价，取平均值作为图像去噪效果的结果，如表3。其中指标 “去噪完整性”，定义去噪后图中无明显噪声的云图为优，去噪后残余较少噪声的云图为良，其余为差。指标“云层天空信息完整性”，定义去噪后基本保持云层天空信息完整的云图为优，去噪后较少云层或天空信息被破坏的云图为良，其余为差。

通过对实验结果的“去噪完整性”、“云层天空信息完整性”两方面进行分析发现，通过去噪系统的云图多数可以基本除去噪声；去噪效果不好的情况中，部分是因为存在特殊噪声，其余均为反光噪声难以完全去除。这说明目前的反光噪声去除方法还有待改善，在今后的研究中应将如何去除反光噪声作为重点。同时，该算法可以基本保持云层和天空信息的完整性。实验中有20张效果较差的云图，通过观察分析发现均为将云层误识别为反光噪声，因此如何有效区分反光噪声与云层仍需进一步探索。若要更加有效地去除噪声，应该结合实际情况选择更适合的去噪算法。

图7 系统流程图Fig.7 System flow chart

表3 交互式多类型噪声去除系统去噪效果Table 3 Denoising effect of interactive multi-type noise removal system

该系统的缺点是不能自动判别噪声，在接下来的工作中，可以考虑利用图像分类技术，比如卷积神经网络[18]，进行云图特征值提取，通过距离分析、聚类，实现噪声自动分类。为提高分类准确性，可利用对抗网络[19]生成与原始数据有相同分布的样本，增大训练集，对系统进行预处理。

3 结 论

本文经过大量的人工研读，将全天相机云图的固有噪声进行了分类，共分为星光噪声、月光噪声、日光噪声、雷电噪声、反光噪声和特殊噪声，并分别进行分析，总结出不同噪声的分布、区域大小和其它特征；然后根据这些噪声的特性并结合云图中云的位置、天空信息等，有针对性地提出了8种对应的去噪算法，能较好地实现各种情况下不同噪声的去除。同时，为了减少执行时间，实现大量云图的快速去噪，设计了一种交互式多类型噪声去除系统，并在实验中选用200张典型云图进行处理。该系统的缺陷是不能自动判别噪声类型，在接下来的研究中需要考虑利用图像分类技术实现噪声自动分类；而且系统去除反光噪声的部分不是十分理想，需要进一步研究能够有效区分反光和云层的方法。