基于LoG算法的水果热成像检测

韩亚辉，王 琢,2，刘佳鑫,2

（1.东北林业大学 机电工程学院，黑龙江 哈尔滨 150040；2.东北林业大学 林业人工智能研究院，黑龙江 哈尔滨 150040）

0 引言

水果含有丰富的营养且能促进消化，具有健康、美容的功能，是日常生活中的重要食品之一[1-2]。我国是水果生产大国，但是水果每年的出口量仅占总产量的3%左右，主要原因在于我国的水果分级水平低，以人工分级为主[3-4]。此外，水果从种植者到消费者手中，要经过采摘收购、保鲜贮藏、包装运输、市场销售等过程[5]，在这些处理过程中水果极易受损。水果损伤会严重影响水果的经济效益[6]，因此对于水果的损伤检测显得尤为重要。

传统的检测方法例如感官评定[7]和理化指标检测方法[8]等有损检测造成了水果的浪费。与此同时，有损检测技术已无法满足目前大量水果的检测需求。因此无损检测技术越来越受到检测行业的重视。无损检测是在不破坏被测对象的前提下，根据被测物体的热、光、电等特征，对被测物体的品质进行测量的技术[9]。门洪等[10]研究了苹果的损伤部位与完整部分的温差特性，通过设置不同的加热距离和拍摄距离获得对比热图像，并且定性定量地分析了果梗和花萼的温度曲线和温差，以此来排除果梗和花萼对损伤特征提取的影响。周其显等[11]利用热成像技术研究了损伤苹果表面温度的变化，结果表明在缺陷部位的温度曲线变化与果梗花萼处的温度曲线变化存在明显的差异。从以上研究可知，热成像技术可以达到缺陷检测的目的。但是以上研究仅判断了损伤部位的温差特性，并未获得损伤区域的边缘轮廓。

损伤水果的边缘轮廓可以使用边缘检测技术获得。边缘检测是图像处理和计算机视觉中的基本问题，对于图像处理中的特征提取，目标识别具有重大意义[12]。水果一旦存在缺陷，会很大程度的影响水果品质。水果的缺陷检测主要针对水果表面的缺陷进行及时检测[6]。本研究对获得的热图像进行卷积操作加深损伤部位的边缘信息，之后使用边缘检测算法进行损伤部位的提取。常用的边缘检测算法主要有Canny算子、Sobel 算子、Laplacian、Scharr 滤波器等。利用红外热像仪所获得的水果热图像，其干扰噪声大于传统的可见光图像中的噪声[13]，然而以上提到的几种常规边缘检测方法不能有效地克服红外图像中的噪声部分。LoG 算法通过对图像进行卷积滤波，然后再通过计算二阶过零点来检测边缘，因此可以有效地克服红外图像中的噪声。黄玉蕾利用LoG 算法的这种特点设计了结合形态学滤波的边缘检测算法，实验结果表明，该方法保留了更加完善的边缘信息[14]。张阳等利用双边滤波的LoG 算法进行边缘检测，结果表明该算法可以有效地消除噪声，获得准确的边缘信息并且具有良好的检测精度[15]。

1 LoG 算法简介

Laplacian算子是n维欧几里德空间中的一个二阶微分算子，常用于图像增强领域和边缘提取。LoG 算法就是对一个标准高斯函数进行二次偏微分。

二维正态高斯函数为：

式中：σ是方差，决定了图像平滑程度的大小[16]。σ越大，高斯图像锐化程度越大，周围像素权重越大高斯滤波作用越大；σ越小，高斯图像越扁平，周围像素权重越小，高斯滤波作用越小。

通过原始图像f(x,y)与高斯函数卷积定义滤波之后的图像：

式中：f*(x,y)为滤波之后的图像；*代表卷积操作。

因为对函数先卷积再求微分和先求微分再卷积的结果相同，即：

所以，定义LoG 算法为：

2 实验过程

实验选取具有局部损伤的苹果，使用FORTIC 340系列手持式热像仪获取水果损伤部位正面（图中水果的裂缝为水果的损伤部位）、损伤部位的背面、果梗处等3个方向的可见光图像，如图1所示。在Ubuntu 系统中使用Clion 集成开发环境中的OpenCV 库以及LoG 算法生成不同的高斯卷积模板并进行图像的滤波，滤波结果如图2所示，其中K代表卷积核的尺寸大小。之后使用LoG 算法对水果图像进行损伤检测，检测结果如图3所示。为了量化评价不同的卷积模板对于水果损伤部位边缘检测的影响，引入有参考和无参考图像评价方法对不同边缘检测结果进行评价。

图1 水果可见光图像Fig.1 Visible light image of fruit

图2 损伤部位图像卷积结果Fig.2 Convolution results of damaged image

图3 损伤部位边缘检测结果Fig.3 Edge detection results of damaged parts

3 评价方法

为了进一步解释LoG 算法在热成像检测中的作用，本研究使用均方误差、峰值信噪比、结构相似度、Laplacian 函数、方差函数等5 种评价方法对实验结果进行分析。

3.1 均方误差（Mean Square Error，MSE）

大小为m×n的干净图像f和噪声图像k，均方误差MSE 定义为：

式中：f(x,y)为点(x,y)的灰度值；k(x,y)代表了高斯滤波之后图像点(x,y)灰度值。MSE 衡量了两幅图片之间的灰度值差异。

3.2 峰值信噪比（Peak Signal to Noise Ratio，PSNR）

峰值信噪比是目前普遍使用的一种图像客观评价指标[17]，用于衡量图像失真程度。PSNR 定义为：

式中：MAXI2是图片最大可能像素，MAXI2＝2B－1。B代表灰度级数，如果每个像素都由8 位二进制表示，那么就为255。

3.3 结构相似度（Structural Similarity，SSIM）

结构相似度的定义如下：

式中：μx，μy分别代表原始图像与滤波图像的灰度均值；σx，σy分别为原始图像与滤波图像的标准差；常数C1＝(K1B)2，K1取经验值为0.01；C2＝(K2B)2，K2取经验值为0.03。

3.4 Laplacian 函数

Laplacian 评价方法是利用Laplacian 算子对图像进行卷积得到图像的高频分量，利用高频分量评价图像质量。定义如下：

式中：G(x,y)代表卷积之后的图像。

3.5 方差函数

方差函数基于清晰图像的灰度差异比模糊图像的灰度差异更大这一原理来评价图像质量。其定义如下：

式中：μ代表整幅图像的平均灰度。

4 结果分析

根据边缘检测量化结果进一步分析了LoG 算法中不同的K以及σ对于损伤部位边缘检测的影响。边缘检测图像的量化结果如表1所示，其中K代表卷积核的大小。表1中分别展示了在MSE、PSRN、SSIM、Laplacian、方差等5 种评价方法中边缘检测结果随卷积核大小以及σ的变化情况。

表1 滤波结果量化值Table 1 Quantized value of filtering results

分析表1中的数据可知，在MSE 评价方法中保持LoG 算法中的K不变，横向比较不同σ变化情况，其变化最大的一组数据是在K＝11 时取得，极值差为1492.20；保持其σ不变纵向比较不同K变化情况发现，在σ＝5 时其变化范围最小，极值差为4125.13。因此在MSE 评价方法中纵向变化的最小值是横向变化最大值的2.76 倍，即LoG 算法中K值的影响是σ值的2.76 倍。

根据以上方式分别分析其它4 种评价方法，PSNR评价方法中横向变化最大值在K＝11 时取得，其值为1.6145，纵向变化最小值在σ＝20 时取得，其值为7.0481，该方法纵向变化的最小值是横向变化最大值的4.37 倍；SSIM 评价方法是横向变化最大值是在K＝11 时取得，其值为0.069935，纵向变化最小值在σ＝40 时取得，其值为0.191439，该方法纵向变化的最小值是横向变化最大值的2.74 倍；Laplacian 评价方法是横向变化最大值是在K＝9 时取得，其值为1.49624，纵向变化最小值在σ＝30 时取得，其值为3.59167，该方法纵向变化的最小值是横向变化最大值的2.4 倍；方差评价方法是横向变化最大值是在K＝13 时取得，其值为180.426，纵向变化最小值在σ＝5时取得，其值为1038.721，该方法纵向变化的最小值是横向变化最大值的5.76 倍。

综上分析可得，在LoG 算法中，卷积核尺寸对于边缘检测结果的影响远大于σ值的影响。因此，本研究将重点分析卷积核尺寸对于边缘检测结果的影响。为了更加突出卷积核对于数据变化的影响，本文把表1中的数据转化为图4～图8的可视化图像。

图4～图8中横轴代表σ值，每个σ又包含了K取4 种不同值的数据，纵轴代表MSE、PSNR、SSIM、Laplacian、方差的取值范围。从5 幅图中可以更加直观地看到σ值变化对于评价数据的影响远小于卷积核变化的影响对于评价数据的影响。

从图4中可以看到当卷积核尺寸不断增大之后，MSE 的值逐渐增大，这是由于增大卷积核尺寸之后，图像的中心像素受到领域内的加权影响越来越大导致卷积之后的图片灰度值与原图像相比差别增大，从而导致MSE 值的变化越来越大。观察图3中的损伤检测结果可以看出随着MSE 的增大，损伤部位的边缘信息显示的更加丰富。在图5～图8中，随着滤波核尺寸不断增大，图像的PSNR、SSIM、Laplacian、方差大致呈现逐步下降的趋势。观察图3可知，随着PSNR、SSIM、Laplacian、方差值的降低，边缘检测的结果越来越好，而且更加的接近水果真实的损伤状态。但是当K＝13 时，水果损伤周围的完整部位也被检测为损伤部位，这是因为卷积模板过大使周围的完整水果图像受到损伤部位图像的加权影响，错误地检测了损伤部位。

图5 PSNR 数据图Fig.5 PSNR data map

图6 SSIM 数据图Fig.6 SSIM data map

图7 Laplacian 数据图Fig.7 Laplacian data map

图8 方差数据图Fig.8 Variance data map

5 结论

针对水果损伤部位检测的问题，本文首先对使用热像仪获得图像进行卷积滤波处理，之后使用LoG 算法进行边缘检测获得损伤部位的边缘轮廓，并且使用5 种不同的评价方法量化检测结果。从边缘检测的量化结果来看，卷积核的尺寸和σ对于水果损伤部位的边缘检测结果均具有影响。通过分别分析每种评价方法中的卷积核尺寸和σ值量化结果，得出卷积核尺寸对于水果损伤部位边缘检测结果的影响远大于σ值的结论。此外，从本研究的边缘检测结果来看，增大卷积核尺寸可以有效地加深损坏部分的边缘信息，但是当尺寸过大时，会影响损伤部位检测的结果。研究证明了LoG 算法在热成像损伤水果检测中的实用性和可行性，为损伤水果的检测提供了可行方案。