基于拉普拉斯卷积网络和SMM分类器的小麦麦粒识别*

康朋新，卿粼波，滕奇志，何小海，董德良

(1.四川大学 电子信息学院，四川 成都 610064；2.中储粮成都粮食储藏科学研究所，四川 成都 610091)

0 引言

进入21世纪以来，中国的粮食产量连创新高，而粮食安全问题也越发显得重要。作为中国主要食用谷物的小麦的质量安全是国家粮食安全的重要组成部分。

小麦质量鉴定是对麦粒的正常、生病、破碎情况进行观察[1]，通常是由人工来完成，这样的方式需要消耗大量的人力劳动。随着机器学习的兴起，逐步形成了首先对小麦麦粒进行分割，接着提取小麦轮廓、纹理等特征，最后训练分类器并识别的方法。

小麦麦粒分割通常有以下几种方法：

(1)阈值分割[2]。阈值分割是选取灰度阈值将图像分为目标区域和背景区域。根据阈值选取方法的不同又分为自动阈值分割和手动阈值分割。

(2)区域生长[3]。区域生长是将具有相似性质的像素聚集在一起构成区域，首先需要先选取一个种子点，然后将种子像素周围的相似像素合并到种子像素所在的区域中。

(3)基于边缘的分割方法[4]。该方法利用在区域边缘上的像素灰度值变化往往比较剧烈的情况，通过检测包含不同区域的边缘来对图像进行分割。

在分割之后对得到的小麦区域进行纹理、轮廓等特征的提取，这里纹理特征使用灰度共生矩[5]来表示，并将提取的特征送到Blinear SVM[6]分类器进行训练和识别。可以看出上述方法需要对小麦图像进行分割处理而且不可以自己学习特征。而LENet[7]可以直接对小麦麦粒的图像进行自动的特征提取，不必经过分割环节并且可以自己学习特征。由于小麦麦粒的图像有行列信息，因此对提取的特征进行矩阵化处理，并送入效果更佳的SMM[8]分类器进行训练识别。

1 拉普拉斯卷积网(LENet)

LENet由3部分组成，分别是输入层、中间层和输出层。其中输入层通过对输入图片进行取块、中心化处理之后得到样本的协方差矩阵。中间层对得到的协方差矩阵求特征值和特征向量，并且对特征值对应的特征向量按照特征值大小进行升序排列之后，选取前k个作为网络的权重参数，在得到权重参数之后与输入图片做卷积得到下一层的输入。最后的输出层对上一层得到的卷积图进行分块直方图编码，并融合成最终的特征。

1.1 输入层

(1)

依据协方差矩阵的定义，得到协方差矩阵为：

(2)

1.2 中间层

对于输入层得到的C1进行拉普拉斯映射特征映射处理。建立如下的目标函数：

(3)

(4)

其中D1是一个对角矩阵，它的对角元素对应W_L每一行元素的和。

(5)

经过上式的线性变换，目标函数的优化可以变为：

s.t.TC1′L(C1′)TTT=IL1

(6)

L1=D1-W_L1

(7)

其中L1是拉普拉斯矩阵，是大小为F1×F1的单位矩阵。通过对下面的矩阵方程求解，可以得到目标函数优化的解。

L1α=λD1α

(8)

通过求解上面的方程，可以得到F1个特征向量，再对这些特征向量按照对应特征值大小进行升序排列之后，利用最小的k个特征值对应的特征向量作为网络的参数。权重参数可以表征为：

f=1,2,3,…,F1

(9)

其中，tomats1,s2是一个函数，将V∈Rs1×s2变换到W∈Rs1×s2；qf(Lα=λDα)表示广义特征矩阵经过按特征值大小升序排列之后对应的第f个特征向量。选取广义特征矩阵最小的k个特征值对应的特征向量来提取所有中心化之后的块向量的特征。在获得第一层卷积层的卷积核之后，定义第一层卷积层的输出为：

(10)

(11)

(12)

Y=[Y1,Y2,…,YF1]∈Rs1s2×F1Nmn

(13)

重复第一层求取特征值和特征向量的过程，则第二层卷积层的卷积核可以表示为：

f=1,2,…,F2

(14)

定义两层卷积层的输出为：

(15)

输出的数量为F1×F2。

1.3 输出层

(16)

(17)

2 SMM分类器及矩阵化处理

2.1 SMM分类器

2015年，Luo Luo等提出支持矩阵机的新分类方法SMM[8]，最大程度上使用了矩阵的行列相关信息，来提高分类的精度。SMM也是使用权重矩阵W的低秩性，区别于Blinear SVM将W分解为两个矩阵的方式，SMM用核范数来保证W的低秩性。其目标函数如下 ：

(18)

该目标函数可看作F范数[9]、核范数[10]、Hinge Loss Function的结合，相对于Blinear SVM，该分类器更加充分地利用了样本的行列相关信息，在分类时有更好的效果。

2.2 矩阵化处理

3 实验及结果

在建立的小麦麦粒图像数据库进行了测试，经验性地设置LENet的参数，对小麦麦粒图像进行特征提取，并对提取到的特征向量矩阵化之后送入到SMM分类器进行训练识别。同时对小麦麦粒图像进行分割、轮廓和纹理特征提取，并把特征送入Blinear SVM分类器进行训练识别。

建立的小麦麦粒图像数据库包含7 000张小麦麦粒图像，主要由正常、生病、破碎3种小麦麦粒组成。图1所示从左到右分别是小麦的正常、生病、破碎的图像。

图1 小麦麦粒图像数据库的正常、生病、破碎图像

在实验中将小麦麦粒图像分为测试和训练两部分，进行了两组实验。第一组实验随机选取训练样本4 000张小麦麦粒图像，测试样本3 000张小麦麦粒图像；第二组实验随机选取训练样本5 000张，测试样本2 000张。利用LENet提取特征，用SMM作为分类器进行训练识别，再分别与LENet+Blinear SVM分类器和轮廓、纹理+Blinear SVM分类器方法进行比较，结果如表1所示。

表1 算法识别率比较表 (%)

注：方法1为轮廓、纹理+Blinear SVM；方法2为LENet+Blinear SVM；本文方法为LENet+SMM。

从表1中可以看出，LENet+ SMM的方法相对于轮廓和纹理方法以及LENet+ Blinear SVM的方法有更好的识别效果。这是由于该方法利用了LENet的自动学习特性，对小麦麦粒的特征进行了更高层次的提取，同时在提取特征的时候考虑了样本图像的行列相关信息，并且使用了SMM分类器进行分类，因而取得了更好的识别效果。

4 结束语

本文提出了一种使用新的卷积网络LENet和SMM分类器对小麦麦粒图像进行特征提取和分类识别的方法。LENet能够对小麦的麦粒图像进行自动特征提取而不必经过分割环节，另外考虑了小麦麦粒样本的行列相关信息，引入SMM分类器进行分类。经过实验表明，LENet+SMM分类器的方法相较于LENet+Blinear SVM分类器和轮廓、纹理特征+Blinear SVM的方法，LENet+SMM有更好的识别效果，使得小麦麦粒识别的识别率有了较大的提升。

参考文献

[1] 陈丰农. 基于机器视觉的小麦并肩杂与不完善粒动态实时检测研究[D]. 杭州：浙江大学, 2012.

[2] OHTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1):62-66.

[3] OHTA Y I, KANADE T, SAKAI T. Color information for region segmentation[J]. Computer Graphics & Image Processing, 1980, 13(3):222-241.

[4] HUECKEL M H. A local visual operator which recognizes edges and lines[J]. ACM, 1973,20(4): 634-647.

[5] 高程程, 惠晓威. 基于灰度共生矩阵的纹理特征提取[J]. 计算机系统应用, 2010, 19(6):195-198.

[6] PIRSIAVASH H, RAMANAN D, FOWLKES C. Bilinear classifiers for visual recognition[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc, 2009:1482-1490.

[7] Kang Pengxin, He Xiaohai, Qing Lingbo, et al. A new convolution network based on Laplacian eigenmap[C]// International Conference on Machinery, Materials and Computing Technology, 2017.

[8] Luo Luo, Xie Yubo, Zhang Zhihua, et al. Support matrix machines[C]// International Conference on Machine Learning,2015:938-947.

[9] 伍俊良，石聪聪.一个矩阵F-范数不等式的推广[J]. 西南大学学报(自然科学版), 2016, 38(4):50-53.

[10] 赵新斌. 一类带有核范数的优化问题的梯度算法[D]. 北京：北京工业大学, 2012.