基于知识蒸馏及改进ShuffleNet v2的棉花病虫害识别方法

摘要：为探索及时、准确识别危害棉花叶片病虫害的方法，做好防护和治理工作。针对自然环境下棉花叶片图像受复杂背景影响导致分类精度降低以及模型参数量大使其不便于移动端部署的问题，提出了一种基于知识蒸馏的棉花病虫害识别模型ESSKNet。首先构建了包含8种类别的棉花病虫害图像数据集，其次通过在ShuffleNet v2模型引入SK-Attention自适应调整卷积核的大小关注棉花叶片不同尺寸大小的病斑信息并降低棉花病虫害图像复杂背景对模型的影响，将卷积核大小从3×3调整为5×5使神经网络更好地捕捉图像中的上下文信息和长程依赖关系。然后选取EfficientNet v2模型作为教师模型，ESSKNet模型作为学生模型，使用MGD方法进行知识蒸馏。试验结果表明，改进后的模型对棉花病虫害的识别准确率达96.06%，并且该模型参数量仅有EfficientNet v2的6.6%。该模型能有效识别棉花病虫害且更便于部署在移动设备上，以实现对棉花病虫害图像实时、精确地识别。

关键词：棉花病虫害；ESSKNet；知识蒸馏；图像分类；SK-Attention；ShuffleNet v2

中图分类号：TP391.41  文献标志码：A

文章编号：1002-1302（2024）15-0222-10

收稿日期：2023-08-07

基金项目：新疆维吾尔自治区高校基本科研业务费科研项目（编号：XJEDU2022J009）；中央引导地方科技发展专项（编号：ZYYD2022B12）。

作者简介：戴 硕（2000—），男，安徽亳州人，硕士研究生，主要从事计算机视觉方向研究。E-mail：2402874453@qq.com。

通信作者：白 涛，硕士，副教授，主要从事农业大数据、数据挖掘研究。E-mail：bt@xjau.edu.cn。

棉花是世界上最主要的经济作物之一，也是天然纤维的来源。棉花病虫害是造成棉花减产和棉花品质下降的主要原因。据统计，植棉国家每年因棉花病害造成的损失约占棉花产量的15%～20%，有些年份甚至高达50%［1］。棉花病虫害的精准识别和及时采取科学的防治措施，对促进棉花产业的健康发展至关重要。在农业作物病虫害识别方面，传统的机器学习方法［2-6］，例如支持向量机（SVM）等需要手动提取有效的特征［7］，对于棉花病害这种类型较多、形态复杂且不同生长期表现不同的情况，该类方法对于特征的提取比较困难。此外，传统的机器学习方法对于数据集中噪声、不完整等问题的处理能力较弱，容易出现过拟合或欠拟合现象，导致分类效果不理想［8］。

近年来，随着计算机视觉技术的不断发展，深度学习在图像识别领域取得了良好的表现并得到广泛的应用，如AlexNet［9］、ResNet［10］、GoogleNet［11］等。研究人员将卷积神经网络用于植物病害图像识别，使植物病害图像识别的准确率大幅提升。例如，Li等使用ResNet18识别和分类苹果叶片病害，取得了98.5%的准确率［12］；王哲豪等提出基于MobileNet v2和迁移学习的番茄病害研究方法，准确率达到93.67%［13］；Vypirailenko等使用DenseNet和迁移学习方法来识别杂草并识别其增长阶段，取得了71.81%的top1-accuracy和93.45%的top3-accuracy［14］。为了提高卷积神经网络的分类性能，研究人员使用多个小卷积核串联代替大卷积核来达到提升感受野、减少参数量的目的［15］。然而，Ding等在研究中证明了使用大的卷积核而不是一堆小卷积核是一个更强大的范式，与小核卷积神经网络（CNN）相比，大核CNN具有更大的有效感受野和更高的形状偏向而不是纹理偏向［16］。在其提出的模型RepLKNet中，首次使用了31×31大小的超大卷积核，在ImageNet数据集的下游任务上取得了与Swin Transformer相当或更高的结果，而且延迟更低；Zeaiean等评估多数滤波器的核大小对提高遥感图像分类准确性的影响，发现通过将内核大小从 3×3增加到5×5和7×7，整体的精度和Kappa系数均有提高［17］。

虽然目前利用CNN识别农作物病害取得了一些成果，但传统卷积神经网络通过加深网络的层数、增加卷积核的个数和提高卷积核尺寸来提高网络的性能，模型的参数量和计算复杂度会急剧增加，不利于模型在移动端的部署。知识蒸馏技术是利用大型复杂模型的知识，提高小型模型的性能和效率［18］，以达到减少模型参数量、提高模型速度和节省计算资源等目的。例如，Yu等提出了一种基于知识蒸馏的分类模型，对大豆叶片的不同形态进行分类，在3 200张大豆叶片图像数据集上，总分类精度为0.956［19］；Kurup等利用胶囊网络和知识蒸馏方法进行植物病害分类任务。将复杂的胶囊网络的知识迁移到简化的模型上，通过最小化模型之间的距离来传递知识，从而提高植物病害分类的性能［20］。利用知识蒸馏来提升卷积神经网络分类性能已经有很多研究，但是将其应用在棉花病虫害识别领域的研究却相当少。

上述方法在处理简单环境下叶片病虫害的分类方面取得了相对成功，然而在自然环境中，受到棉花叶片密度高、叶片重叠、光照不均匀、背景复杂等诸多干扰，图像背景通常包含类似叶片和病斑的元素，使得模型难以对叶片病虫害进行精准分类。为了更加充分地利用深层特征，研究人员通过运用注意力机制来降低复杂背景的影响并选择那些对目标最为关键的信息［21］。Peng等构建了RiceDRA-Net深度残留网络模型，通过引入Res-Attention模块用于复杂背景的水稻叶片病害检测，在测试集上的识别准确率达到了97.86%［22］。Yang等通过在YOLO v4中引入空间和通道注意力模型的CBAM克服田间环境中的噪声，实现对不同密度分布的小麦穗的准确检测和计数，平均准确率达到了94%［23］；鲍浩等在卷积模型中引入注意力机制，增强了模型对病害区域的关注，同时降低了背景噪声的干扰，对田间拍摄的豆叶病害图像识别性能均达到99%以上［24］。

面对复杂自然环境下棉花叶片病虫害的识别，现有的模型往往识别效果不佳。为了让模型能够在实际场景中得到部署和应用。本研究提出了一种基于知识蒸馏及改进ShuffleNet v2的棉花病虫害识别方法，首先在ShuffleNet v2模型中引入 SK-Attention模块降低复杂背景干扰的同时提取不同尺度的叶片病斑特征，其次将模型结构中的卷积核大小从3×3调整为5×5以充分利用大感受野来提取叶片病斑特征信息，最后使用EfficientNet v2作为教师模型对改进后的模型进行知识蒸馏，在保证模型轻量化的同时，进一步提高棉花病虫害的分类准确率。

1 材料与方法

1.1 数据集构建

棉花病虫害的出现与生态气候、土壤环境以及年份等诸多因素有关，图像数据难以从自然环境中采集。针对棉花病虫害图像数据少的问题。本试验从Kaggle数据平台的Cotton plant disease公开数据集获取了棉蚜虫、棉铃虫、棉花茎枯病、棉花白粉病、棉花叶斑病和健康叶片各600张图片，为了补充模型的病害检测能力，从cotton leaf disease dataset公开数据集获取了418张棉花曲叶病和419张棉花镰刀型枯萎病图片，最终获得棉花病虫害图像共计4 437张，共8类病虫害图像数据。本试验将图片的尺寸统一转换成224×224×3像素。各类别棉花叶片病害样本图片如图1所示。数据集按照8 ∶2的比例划分为训练集和测试集。棉花病虫害数据集中的图像类别和数量见表1。

1.2 知识蒸馏

Hinton等引入软目标（即带有参数T的类概率）并提出了知识蒸馏概念。它是通过将一个复杂的模型的知识（如特征，预测结果等）传递给一个简单的模型，以提高简单模型的性能和泛化能力［25］。目前常见的知识蒸馏方法有3种：self-distillation［26］（St）、masked generative distillation［27］（MGD）和attention transfer［28］（AT）。Self-distillation的学生模型和教师模型都来自同一个训练过程中的不同时间戳的快照，将教师网络的输出引导学生网络的训练；MGD主要利用遮盖掩码技术进行有针对性的知识蒸馏；AT利用教师模型和学生模型在相同的特征层上进行比较，从而引导学生模型学习类似于教师模型的特征表示。上述这些方法都可以提高学生模型的泛化能力和鲁棒性，提高其精度。本研究使用的MGD是一种适用于分类、检测和分割的生成式知识蒸馏方法，它通过将教师模型的生成器和判别器信息传递给学生模型，来提高学生模型的性能。MGD知识蒸馏方法的整体框架见图2。MGD知识蒸馏的步骤如下：首先使用Tl∈RC×H×W和 Sl∈RC×H×W 分别表示教师和学生的第l个特征图，并设置第l个随机掩码来覆盖学生的第l个特征，表达式为

M1i，j=0 if Rli，j<λ

1，其他。（1）

式中：Rli，j是（0，1）的随机数；i和j分别是特征图的水平坐标和垂直坐标；λ表示掩码比率。使用掩码覆盖的特征图尝试生成教师特征图的计算方法为

G［falign（Sl）·Ml］→Tl；（2）

G（F）=Wl2{ReLU［Wl1（F）］}。（3）

式中：G为包含2个卷积层的投影仪层Wl1和Wl2和1个激活层ReLU。Wl1和Wl2为3×3的卷积层。蒸馏过程中MGD的蒸馏损失表示为

Ldis（S，T）=∑Ll=1∑Ck=1∑Hi=1∑Wj=1{Tlk，i，j-G［falign（Slk，i，j）Mli，j］}2。（4）

式中：L是蒸馏层的总和；C、H、W表示特征图的形状；S和T分别表示学生和教师的特征。总损失为

Lall=Loriginal+α·Ldis。（5）

式中：Loriginal是任务中模型的原始损失；α是平衡损失的超参数。在本试验中，超参数γ和α分别设置为默认值0.15和0.000 07。

1.3 ShuffleNet v2模型

ShuffleNet v2模型是由旷视科技团队提出的一种轻量高效的卷积神经网络模型［29］。它在保证模型准确率的前提下，极大地减少了模型的复杂度和

计算量。ShuffleNet v2模型结构见图3。ShuffleNet v2的基本模块是由2个连续的操作组成的，分别是逐通道分组卷积和通道混洗。逐通道分组卷积将输入特征图按通道数进行分组，对每组进行逐点卷积、3×3的深度可分离卷积和逐点卷积操作，每次卷积操作后使用批量归一化（BN）加快模型收敛速度，在每次逐点卷积后使用ReLU激活函数增加非线性特征，然后将各组结果拼接起来，得到输出特征图。通道混洗（channel shuffle）则是通过将特征图在通道维度上进行分组、重排、拼接等操作，实现了通道之间信息的交流和组合。ShuffleNet v2中的下采样模块采用了分组卷积的思想，将输入特征图分为若干组，然后对每组进行逐通道的卷积操作，在通道维度上拼接起来得到输出特征图。这样，在不增加计算量的前提下，可以将特征图尺寸减半。同时，由于采用了分组卷积，参数量也大大降低，从而进一步减小了计算量和内存占用。

1.4 SK-Attention注意力机制

为了改善在复杂场景下识别棉花病害的准确率，关注输入数据中不同尺寸大小的病斑信息，并在一定程度上降低计算复杂度，在模型的下采样单元中添加了SK-Attention注意力机制。注意力机制可以通过对输入信息的关注和聚焦，提高信息处理的效率和准确性。在卷积神经网络中，卷积核的大小决定了感受野的大小，而不同大小的感受野对不同尺寸的目标有不同的效果。SK注意力机制允许每个神经元根据输入信息的多尺度自适应地调整其感受野（卷积核）的大小［30］。

SK注意力机制的结构见图4。主要包括Split、Fuse和Select。Split部分分别使用3×3的普通卷积和3×3的空洞卷积对输入的特征图进行卷积操作，得到U1和U2 2个不同的特征图。Fuse部分将U1和U2 2个特征图使用element-wise summation方法进行融合，将融合后的特征图U经过全局平均池化层和全连接层，实现对通道信息的提取。Select部分使用Softmax函数归一化计算每个通道的权重分数，并加权处理在对应的通道上，最后将经过加权处理后的新特征图进行融合，得到最终的特征图，经过信息通道的提取和筛选，输出图像相较于输入图像融合了更多关键信息，并加强了这些关键信息在图像中的表现。

1.5 ESSKNet网络模型

尽管ShuffleNet v2在轻量级图像分类任务上已经取得了很好的结果，但仍然有提高准确性的余地。且ShuffleNet v2模型本身较小，可以考虑在增加一定的模型参数量的情况下提高准确性。为了满足准确识别棉花病虫害的需要，本研究提出了一种基于知识蒸馏及改进ShuffleNet v2的棉花病虫害识别模型ESSKNet。

ESSKNet模型的基本单元见图5，与原模型相比，改进后的基本单元使用5×5的深度可分离卷积

替换了3×3深度可分离卷积，相比于3×3卷积，使用5×5卷积可以有效扩大感受野，在卷积层中，卷积核的大小可以决定神经元的感受野大小，5×5的卷积感受野明显高于常规3×3卷积。使用5×5卷积相比传统卷积使用了更大的卷积核，能够覆盖更大的区域，从而获取更多的上下文信息，提高特征的表达能力。其次，使用5×5卷积可以增加网络的非线性能力，因为它能够捕捉更大和更复杂的特征模式，并对它们进行更强的非线性变换。这样可以让网络更好地适应训练数据的复杂性，提升模型的泛化性能。ESSKNet网络模型还在下采样模块中添加了SK-Attention通道注意力机制，SK注意力机制在学习通道注意力信息时，能够使用不同尺寸的卷积核对输入特征图进行提取特征，来选择融合不同感受野的特征图信息，并根据各自通道的重要度来自适应地调整特征图中每个通道的权重，以提高模型的性能。最后使用EfficientNet v2作为教师模型对改进后的模型进行MGD知识蒸馏。ESSKNet网络模型的具体结构见图6。

2 结果与分析

2.1 试验环境与参数设置

本研究试验的试验环境为Windows10系统，运行内存为32GB，CPU为Intel XeonE5-2620 v4 @ 2.10 GHz 2.10 GHz处理器，GPU是具有 12 GB 专用显存的NVIDIA TITAN V，使用Pytorch 1.7.1深度学习框架。具体参数见表2。

2.2 评价指标

本研究采用Accuracy、Kappa系数、F1micro、F1macro作为评价指标用于衡量模型对数据分类的准确性和性能，其中Accuracy为分类正确的样本数占总样本数的比例；Kappa系数是一种衡量分类精度的指标，取值范围为［-1，1］，其值越高，则代表模型实现的分类准确度越高［31］。F1micro和F1macro是基于精确度和召回率来计算的，其中F1micro用于表示模型对所有标签进行分类时的综合表现，F1macro用于评估模型对每个标签的预测能力。不同评价指标的计算公式如下：

Accuracy=TP+FNTP+TN+FP+FN；（6）

Kappa=P0-Pc1-Pc；（7）

F1micro=2×Precisionmicro×RecallmicroPrecisionmicro+Recallmicro；（8）

F1macro=2×Precisionmacro×RecallmacroPrecisionmacro+Recallmacro。（9）

式中：TP（true positive）代表将正类预测为正类的样本数； TN（true negative）代表将负类预测为负类的样本数；FP（false positive）代表将负类预测为正类的样本数；FN（false negative）代表将正类预测为负类的样本数，也称为“假阴性”；P0 是分类器实际预测准确的概率；Pc是模型根据分布情况所能预测的准确率。如果Pc=1，则Kappa系数=1，表示分类器的表现完全一致，即Kappa系数取最大值；如果Pc=0，则Kappa系数=-1，表示分类器的表现完全相反，即Kappa系数取最小值。Precisionmacro表示精确率的宏平均值；Recallmacro表示召回率的宏平均值。宏平均值是指在每个类别上分别计算指标的平均值。可以通过混淆矩阵来计算每个类别的精确率和召回率。Recallmicro指的是所有正例样本中，被分类器正确预测为正例的样本比例；Precisionmicro指的是所有被分类器预测为正例的样本中，属于正例的样本比例。

2.3 模型对比试验

为了验证本研究所提的ESSKNet模型相较于其他分类网络模型的优势，本研究分别选取EfficientNet v2、RepGhostNet、ShuffleNet v2、ResNet50和Resnest101在自建棉花病虫害数据集上进行试验，在训练超参数相同的情况下，模型识别准确率的试验结果见表3。图7是各模型在测试集上的准确率变化曲线。

通过试验结果可以看出，EfficientNet v2的性能在各项指标上都表现最优，因此本研究使用其作为教师模型进行知识蒸馏。其次，通过使用知识蒸馏方法训练的ESSKNet模型在准确率上仅比教师模型EfficientNet v2低了1.47百分点，且参数量和浮点计算量只有EfficientNet v2的6.6%和5.3%，进一步说明了该方法的有效性。ESSKNet模型性能指标接近ResNet50，但参数量和浮点计算量分别只有ResNet50的15.7%和33.1%。该模型相较于其他对比模型，在识别准确率、参数量和浮点计算量方面更加均衡，能够有效地识别棉花病虫害，且更加适合移动端的部署，进行棉花病虫害监测任务。

2.4 知识蒸馏方法对比试验

为了测试不同知识蒸馏方法对模型识别准确率的影响，将不使用知识蒸馏的改进ShuffleNet v2模型作为基线模型baseline，与分别使用AT、Soft Target和MGD 3种知识蒸馏方法进行对比，试验结果见表4。

通过试验结果可以看出，3种蒸馏方法均对模型准确率有一定的提高。其中使用MGD方法进行知识蒸馏得到的模型与其他蒸馏方法对比，在所有指标上都表现最优。MGD蒸馏方法通过masked feature获得了部分的特征图，然后再生成新的特征图去模仿教师网络的特征图，相比原始的特征模仿，增大了网络学习的难度，从而迫使学生网络去学习一个更优秀的特征表示。因此，本研究使用MGD知识蒸馏方法来训练改进后的网络。

2.5 消融试验

为了验证模型改进方法的有效性，以及使用知识蒸馏方法（kd）、增加SK-Attention（sk）和将卷积核大小调整为5×5（k5）的改进方法对ShuffleNet v2模型性能提升的效果，本研究将使用不同模块的网络在棉花病虫害图像数据集上进行试验。以ShuffleNet v2模型为基础，每组试验依次增加上述改进方法，以验证模型改进方法对最终模型的影响。其中“√”表示引入该种改进方法，试验结果见表5。

从表5中可以看出，在下采样单元中添加SK-Attention注意力机制，模型的准确率提高了0.11百分点，虽然模型的参数量增加了2.341 M，但该方法依旧对模型整体识别精度有所提升。在ShuffleNet v2的基础上将卷积核调整为5×5，模型的准确率提高了0.11百分点，Kappa系数提高了1.23百分点。在添加SK注意力机制的基础上，使用卷积核大小为5×5的卷积代替传统卷积，模型的准确率继续提高了0.34百分点。将改进的模型使用MGD方法知识蒸馏后得到的模型准确率继续提高了1.91百分点，Kappa系数提升了2.19百分点，且模型的参数量不发生变化。综合SK注意力机制、替换卷积核大小为5×5的卷积和MGD知识蒸馏的改进，最终ESSKNet模型的准确率为96.06%，Kappa系数为95.49%，相较于ShuffleNet v2在准确率和Kappa上分别提升了2.36百分点和2.71百分点。SK-Attention通过引入可变形卷积来捕捉不同的空间关系，使模型能更好地适应不同尺寸的棉花病斑信息，提高模型的泛化能力。在引入SK注意力机制的基础上，将卷积核的大小由3×3调整到了5×5，卷积核涵盖更大的感受野，可以让神经网络更好地捕捉图像中的上下文信息和长程依赖关系。针对棉花病虫害病斑分布不同，特征不一等特点，本研究的改进模型可以更好地学习到全局信息，从而提升了模型的分类效果。

2.6 不同类别的评价结果

为了更全面地评估本研究所提出的ESSKNet网络相较于其他网络模型对不同类别棉花病虫害图像的识别性能，在相同的试验条件下将测试集数据输入模型进行分类，表6以精确度、召回率、F1分数和准确率为评价指标，6种模型对不同种类棉花病虫害图像的识别结果，图8是ESSKNet模型对不同类别棉花病虫害识别准确率的混淆矩阵图。

由表6可知，ESSKNet对8类棉花病虫害图像的识别精确度均在93%以上，优于RepGhostNet和ShuffleNet v2模型。其中，ESSKNet对棉花枯萎病、棉花叶斑病、白粉病、棉花曲叶病和健康5种类别的识别效果较好，4项指标均达到了95%以上，对棉花茎枯病的识别效果较差，其精确度为93.22%，召回率为91.67%，F1分数为92.44%，准确率为91.67%，4个指标均为所有类别中最低。通过综合其他模型对棉花茎枯病的识别结果可以看出，棉花茎枯病在所有模型的识别结果中均为最低，这可能是由于棉花茎枯病的生育期、生态环境、病原菌致病力不同等导致的，表现出不同的病症。所有模型识别棉花叶斑病都表现很好，这与其图片的特征较为明显和稳定有关，容易被计算机视觉领域中的算法所捕捉。但在某些病害中，各项指标之间存在较大差异，例如，白粉病类别的准确率较高，但召回率相对较低，说明在该种病害的分类中，模型对负例的区分能力更强。总的来看，该模型在测试集上的平均准确率达到了96.72%，能有效地识别出不同棉花病虫害种类。

3 讨论与结论

棉花病虫害会直接影响棉花的产量和质量，通过深度学习方法对棉花病虫害进行及时、准确地识别能够帮助农民采取合适的防治措施，提高诊断的准确性和效率。棉花病虫害形态复杂，不同的病虫害在棉花上的表现也有所不同，同时由于光照、角度等因素的影响，使得棉花病虫害图像的特征提取比较困难。

本研究使用EfficientNet v2作为教师模型进行知识蒸馏，在ShuffleNet v2模型的基础上采用5×5卷积替换了常规卷积、在下采样单元中添加SK注意力机制并进行了多组对比试验。通过分析各种改进模块，发现使用知识蒸馏方法可以通过分类效果好但是参数量较大的模型将学习到的特征信息传递给轻量模型，从而提高轻量模型的识别准确率。对于处理具有复杂背景的棉花图像来说，注意力机制可以使模型减少无关背景的影响，关注图像中最相关的部分，可以增强模型的表征能力，SK注意力机制通过输入信息的多尺度自适应地调整其感受野，在下采样单元中添加SK注意力机制，使模型在下采样时给关键信息分配更多的权重，从而使模型对特征图的重要性进行选取，最终达到更好的目标分类效果。将3×3改为5×5卷积可以使模型获得更大的感受野，便于捕捉到更多细节信息和图像特征，有助于模型识别更复杂、更抽象的图像模式。

针对棉花叶片病虫害的识别，以8种常见的棉花叶片病虫害图像作为研究对象，通过公开数据集中的图像数据构建了8类棉花叶片病虫害图像数据集。在ShuffleNet v2模型的基础上，添加通道注意力机制SK-Attention并将模块中的3×3卷积核调整为5×5的卷积核。最后选取EfficientNet v2模型使用MGD方法进行知识蒸馏，为了验证本研究所提的各种优化方法的有效性，本研究通过消融试验进一步说明了各种优化方法对模型性能的提高具有促进作用。

本研究结论如下：（1）针对固定大小的卷积核对叶片大小不同病斑识别时分类准确率低的问题，采用通道注意力机制SK-Attention可以提高网络的特征提取能力，降低图像中自然环境噪声的影响。将模块中的3×3卷积核调整为5×5的卷积核使神经网络更好地捕捉棉花病虫害病斑图像具有形状偏向的上下文信息和长程依赖关系。（2）通过选取EfficientNet v2模型作为教师模型，ESSKNet模型作为学生模型，使用MGD方法进行知识蒸馏，可以有效提高模型的识别精度。（3）本研究提出的棉花病虫害识别模型ESSKNet准确率达到96.06%，与原始ShuffleNet v2模型对比，准确率提高了2.36百分点，Kappa系数提高了2.71百分点，参数量和浮点计算量只有EfficientNet v2的6.6%和5.3%，更加便于部署，可以实现快速、精准的棉花病害监测，为智慧棉田的建设提供支持。

参考文献：

［1］张树珍. 棉花主要病害与防治措施［J］. 现代农业科技，2017（7）：116-119.

［2］张红涛，朱 洋，谭 联，等. 基于FA-SVM技术的烟草早期病害识别［J］. 河南农业科学，2020，49（8）：156-161.

［3］牛 冲，牛昱光，李 寒，等. 基于图像灰度直方图特征的草莓病虫害识别［J］. 江苏农业科学，2017，45（4）：169-172.

［4］马慧琴，黄文江，景元书，等. 基于AdaBoost模型和mRMR算法的小麦白粉病遥感监测［J］. 农业工程学报，2017，33（5）：162-169.

［5］张 莉，纪铭阳，胡宗玉，等. 基于随机森林和逻辑回归分类模型的烟叶精选品控指标筛选［J］. 江苏农业科学，2020，48（3）：214-217.

［6］任 杰，柳 毅，金 鑫，等. 基于数据挖掘的蔬菜图片病害自动分类［J］. 北京师范大学学报（自然科学版），2006，42（6）：592-596.

［7］王燕妮，贺 莉. 基于多分类SVM的石榴叶片病害检测方法［J］. 计算机测量与控制，2020，28（9）：191-195.

［8］Sugathan A，Sruthi S，Shamsudeen F M. A comparative study to detect rice plant disease using convolutional neural network （CNN） and support vector machine （SVM）［J］. Journal of Food，Agriculture & Environment，2020（2）：18.

［9］Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

［10］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

［11］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015：1-9.

［12］Li X，Rai L. Apple leaf disease identification and classification using ResNet models［C］//2020 IEEE 3rd International Conference on Electronic Information and Communication Technology （ICEICT）.Shenzhen：IEEE，2020：738-742.

［13］王哲豪，范丽丽，何 前. 基于MobileNet v2和迁移学习的番茄病害识别［J］. 江苏农业科学，2023，51（9）：215-221.

［14］Vypirailenko D，Kiseleva E，Shadrin D，et al. Deep learning techniques for enhancement of weeds growth classification［C］//2021 IEEE International Instrumentation and Measurement Technology Conference （I2MTC）.Glasgow：IEEE，2021：1-6.

［15］Nawaz M，Nazir T，Khan M A，et al. Plant disease classification using VGG-19 based faster-RCNN［C］//Singh M，Tyagi V，Gupta P，et al. International Conference on Advances in Computing and Data Sciences.Cham：Springer，2023：277-289.

［16］Ding X H，Zhang X Y，Han J G，et al. Scaling up your kernels to 31×31：revisiting large kernel design in CNNs［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New Orleans：IEEE，2022：11953-11965.

［17］Zeaiean Firrozabadi P，Hasani Moghaddam H. Evaluate the impact of Majority filter kernel size on increasing the accuracy of remotely sensed images［J］. Geography and Human Relationships，2018，1（2）：806-817.

［18］Yim J，Joo D，Bae J，et al. A gift from knowledge distillation：fast optimization，network minimization and transfer learning［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：7130-7138.

［19］Yu X，Fu L R，Dai B S，et al. Soybean leaf morphology classification based on FPN-SSD and knowledge distillation［J］. Journal of Northeast Agricultural University，2020，27（4）：9-17.

［20］Kurup R V，Anupama M A，Vinayakumar R，et al. Capsule network for plant disease and plant species classification［C］//Smys S，Tavares J，Balas V，et al. International conference on computational vision and bio inspired computing.Cham：Springer，2020：413-421.

［21］Li Y H，Pan Y W，Yao T，et al. Learning click-based deep structure-preserving embeddings with visual attention［J］. ACM Transactions on Multimedia Computing，Communications，and Applications，2019，15（3）：1-19.

［22］Peng J L，Wang Y，Jiang P，et al. RiceDRA-net：precise identification of rice leaf diseases with complex backgrounds using a res-attention mechanism［J］. Applied Sciences，2023，13（8）：4928.

［23］Yang B H，Gao Z W，Gao Y，et al. Rapid detection and counting of wheat ears in the field using YOLO v4 with attention module［J］. Agronomy，2021，11（6）：1202.

［24］鲍 浩，张 艳. 基于注意力机制与改进残差模块的豆叶病害识别［J］. 江苏农业科学，2023，51（16）：187-194.

［25］Shorten C，Khoshgoftaar T M. A survey on image data augmentation for deep learning［J］. Journal of Big Data，2019，6（1）：60.

［26］Zhang L F，Bao C L，Ma K S. Self-distillation：towards efficient and compact neural networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（8）：4388-4403.

［27］Yang Z D，Li Z，Shao M Q，et al. Masked generative distillation［M］. Cham：Springer Nature Switzerland，2022：53-69.

［28］Chen P G，Liu S，Zhao H S，et al. Distilling knowledge via knowledge review［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021：5006-5015.

［29］Ma N N，Zhang X Y，Zheng H T，et al. ShuffleNet v2：practical guidelines for efficient CNN architecture design［C］//Computer Vision - ECCV 2018：15th European Conference，Munich：ACM，2018：122-138.

［30］Li X，Wang W，Hu X，et al. Selective kernel networks［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. California：IEEE，2019：510-519.

［31］McHugh M L. Interrater reliability：the kappa statistic［J］. Biochemia Medica，2012，22（3）：276-282.