面向水利监管的违采事件检测并行化方法研究

马斌 徐海军 陈嘉靖

摘 要：现有卷积神经网络检测方法不能满足高检测精度和速度的要求。针对此不足，利用卷积神经网络选取目标检测算法，以ＤａｒｋＮｅｔ５３ 网络模型为基础，结合黄河流域违采事件特点，对模型加入并行化设计，以检测速度和检测精度为评价指标，利用对比实验验证并行化后的ＨＯ－ＤａｒｋＮｅｔ 网络模型的加速效果。结果表明：并行化前ＨＯ－ＤａｒｋＮｅｔ 模型的精确率约７５％、召回率约９６％、ｍＡＰ＠ ０．５ 为９８．５８％、ｍＡＰ＠ ０．５ ∶ ０．９５ 为６４．２５％，与ＤａｒｋＮｅｔ５３ 模型相比，并行化前ＨＯ－ＤａｒｋＮｅｔ 模型的ｍＡＰ＠ ０．５、ｍＡＰ＠ ０．５ ∶ ０．９５ 值分别提升了７．９８％、８．７９％；与并行处理前ＨＯ－ＤａｒｋＮｅｔ 模型相比，并行处理后ＨＯ－ＤａｒｋＮｅｔ 模型的ｍＡＰ 精度值未发生太大变化，但其加速比提高了２．３２，对于视频图像的处理速度为２１ ｆｐｓ／ ｓ，达到视频图像处理速度标准。

关键词：ＨＯ－ＤａｒｋＮｅｔ 模型；水利监管；违采事件检测；并行化；黄河

中图分类号：ＴＶ８５３；ＴＶ８８２．１ 文献标志码：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２３．１０．０２２

引用格式：马斌，徐海军，陈嘉靖．面向水利监管的违采事件检测并行化方法研究［Ｊ］．人民黄河，２０２３，４５（１０）：１２２－１２５．

近年来，频繁发生的黄河违规采砂事件对流域生态系统造成了严重破坏。为此，相关部门提出开展黄河河道采砂专项整治行动，通过强化法治管理，维护河道采砂秩序，促进黄河流域生态系统平稳发展［１］ 。在众多检测技术中，目标检测算法在水文检测、水位信息智能识别、砂石检测［２］ 等方面发挥着重要作用，其中基于深度学习的目标检测算法应用尤其广泛［３］ 。深度学习是在卷积神经网络的基础上，通过增加网络深度提高计算机提取数据特征的能力［４］ 。然而，增加网络深度会加大运算量，影响检测效率。采用数据并行、模型并行等方法对多模型进行优化，可以加速运算。数据并行是指在完整模型基础上，通过把数据划分为若干份，实现多批次数据同时训练。此时并行设备数量会受到批数据大小的限制，当批数据过大时，达到相同收敛精度所需的迭代次数会大幅度增加。模型并行是指将模型按层或者其他方式分解为若干份来进行训练，这种方法通常用于拆分大型模型，以加速训练过程，但其扩展性较差。目前，ＰｙＴｏｒｃｈ 和ＴｅｎｓｏｒＦｌｏｗ 等主流深度学习框架都采用数据并行方式。

本文以面向水利监管的违采事件为研究对象，首先改进检测算法模型，减少梯度信息量，再采用并行运算提高模型训练速度和检测速度，最后基于违采事件监管数据集验证模型并行后的加速效果，以期为快速、准确地检测违采事件提供新技术。

１ 理论方法

１．１ 卷积神经网络

卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）模型［５］结构分为卷积层、池化层和全连接层。卷积层从输入特征图像通道提取特征信息［６］ ；池化层对提取的特征信息进行下采样，减轻网络模型的过拟合程度；全连接层连接提取的特征图像，使用分类器得到最终分类结果。在卷积神经网络模型中，通常会在若干个卷积层和池化层之后引入全连接层，池化层伴随卷积层交替显示。

１．２ 目标检测算法

ｏｎｅ?ｓｔａｇｅ 和ｔｗｏ?ｓｔａｇｅ 算法是基于深度学习的主要目标检测算法［７－８］ 。ｔｗｏ?ｓｔａｇｅ 算法先通过某种方式生成一些候选框，再通过卷积神经网络对候选框进行分类。常见的ｔｗｏ?ｓｔａｇｅ 目标检测算法有Ｆａｓｔｅｒ－ＲＣ?ＮＮ［９］ 、Ｒ－ＦＣＮ［１０］ 算法，此类算法要进行多次检测和分类，运行较慢。而ｏｎｅ?ｓｔａｇｅ 目标检测算法只需将数据一次传送进网络，就可以预测出所有的边界框。常见的ｏｎｅ?ｓｔａｇｅ 目标检测算法有ＳＳＤ 和ＹＯＬＯ ｖ３ 算法，此类算法没有单独的候选区域提取过程，不需要产生候选框，仅一个前馈ＣＮＮ 网络就可以完成目标的位置检测和分类预测任务，因此ｏｎｅ?ｓｔａｇｅ 目标检测算法简便快捷、运行较快。ｏｎｅ?ｓｔａｇｅ 目标检测算法中ＤａｒｋＮｅｔ５３网络模型作为基于残差网络结构的卷积神经网络模型，被广泛应用于目标检测领域。本文基于ＤａｒｋＮｅｔ５３ 网络模型展开违采事件检测研究。

２ 违采事件检测模型构建与并行化分析

２．１ 违采目标群选取

通过调查黄河流域违规采砂事件发现，违采人通常利用手推车、装载车、挖掘机等进行采砂，再进行非法售卖。因此，本文主要选取违采人、采砂工具等作为特定的违采目标群来进行模型设计。２．２ 违采事件检测模型构建ＤａｒｋＮｅｔ５３ 网络模型由卷积层和残差层组成，使用大量残差跳层连接，其包含的梯度信息数量多、重复率高。针对此问题，提出改进的ＨＯ－ＤａｒｋＮｅｔ 网络模型来构建违采事件检测模型。在ＨＯ－ＤａｒｋＮｅｔ 网络模型中，把基础层次的特征图划分成２ 个部分，再使用跨阶段的层次结构将它们合并，可以减少网络模型中大量重复的梯度信息，提高网络模型的处理速度。ＨＯＤａｒｋＮｅｔ网络模型单个模块（ＨＯ＿Ｘ）结构见图１，图中ＣＢＬ 为Ｃｏｎｖ（卷积）、ＢＮ（批量归一化）、Ｌｅａｋｙ＿ｒｅｌｕ 激活函数三者结合的组件；Ｒｅｓ ｕｎｉｔ 组件借鉴Ｒｅｓｎｅｔ 网络中的残差结构，可以增加网络深度；Ｃｏｎｃａｔ 组件的作用是张量拼接，会扩大维度的张量。

３ 数据获取与预处理

数据获取方式有实地拍摄和网上图像爬取。本研究通过实地拍摄获取５ ０００ 张图像，通过网络爬虫技术获得３５ ０００ 张图像，共获取４０ ０００ 张图像作為实验数据集。由于采集的数据集会受到图像尺寸、图像清晰度、目标受遮挡程度等因素的影响，因此需要对采集图像进行数据清洗、人工筛选。采用Ｌａｂｅｌｉｍｇ 软件对数据集进行标注，制作成ＶＯＣ 格式的数据集，在Ａｎ?ｎｏｔａｔｉｏｎ 文件路径下生成与标注图像相对应的ｘｍｌ 文件。对采集的图像进行处理后，得到违规采砂数据集分类数量如下：违采人图像３ １４２ 张，铲车图像２ ８１２张，灰斗车图像２ ７４６ 张，铲子图像２ ６００ 张，挖掘机图像３ ０６８ 张，汽车图像２ ７５０ 张，拉砂车图像３ ３５２ 张。

４ 确定评价指标

采用精确率、召回率和平均精确度（ｍＡＰ）对模型效果进行评估。精确率是指正确预测的正例个数占所有预测为正例的样本个数的比率［１１］ 。召回率是指所有被正确识别的目标数量占所有被识别目标数量的比率［１２］ 。ｍＡＰ 表示一个模型在多个类别上的检测准确性，用ｍＡＰ＠ ０．５ 表示ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）阈值为０．５ 时的平均精确度，用ｍＡＰ＠ ０．５ ∶ ０．９５ 表示ＩｏＵ 阈值为０．５～０．９５时的平均精确度。

衡量并行算法性能的指标有加速比和并行效率［１３］ 。加速比反映系统运行并行程序时发挥并行能力的程度，其与硬件、软件都有关系。并行效率是衡量并行计算系统利用多个处理单元或计算资源时的有效性和性能提升程度的指标，反映实际执行时间与理论最佳执行时间之间的差异。

５ 实验结果分析

采用ＨＯ－ＤａｒｋＮｅｔ 网络模型对违采事件进行实验，使用获取的违规采砂数据集进行训练和测试，批处理大小设置为３２，训练次数为５ ０００ 次，测试次数为１ ０００次，初始学习率设为０．００１，在测试第２ ０００ 次和第４ ０００ 次后各设置学习率为０．０００ １、０．０００ ０１ 进行实验。实验效果见图３ 和表１。

阈值为５０ 时可以实现精确率和召回率的平衡，此时ＨＯ－ＤａｒｋＮｅｔ 网络模型的精确率在７５％附近波动，召回率在９６％ 附近波动。与ＤａｒｋＮｅｔ５３ 模型相比，ＨＯ－ＤａｒｋＮｅｔ模型的ｍＡＰ＠ ０．５、ｍＡＰ＠ ０．５ ∶ ０．９５ 值分别提升了７．９８％、８．７９％，ＨＯ－ＤａｒｋＮｅｔ 网络模型性能有所提高。

在处理速度方面，标准的视频图像处理速度为２４～３０ ｆｐｓ／ ｓ。经过多次实验发现，ＨＯ－ＤａｒｋＮｅｔ 网络模型对于视频图像的处理速度为６ ｆｐｓ／ ｓ，不能达到实际应用需求。因此，采用并行方法进一步对ＨＯ－ＤａｒｋＮｅｔ网络模型进行改进，以提高处理速度。

为验证并行化设计的有效性，本实验继续采用上述违规采砂数据集，设置数据集为２０ ０００ 张图像，其中：１６ ０００ 张为训练图像，４ ０００ 张为验证图像，参数设置保持不变。并行处理前ＨＯ－ＤａｒｋＮｅｔ 网络模型的加速比为１．００，并行处理后ＨＯ－ＤａｒｋＮｅｔ 网络模型的ｍＡＰ ＠ ０． ５ 值为９０． ４０％， ｍＡＰ ＠ ０． ５ ∶ ０． ９５ 值为５５．３９％，加速比为３．３２。并行处理后ＨＯ－ＤａｒｋＮｅｔ 网络模型的ｍＡＰ 精度值未发生太大变化，而检测速度有了大幅度提升。同时经过多次检测发现，并行处理后ＨＯ－ＤａｒｋＮｅｔ 网络模型对于视频图像的处理速度为２１ ｆｐｓ／ ｓ，达到视频图像处理速度标准。

６ 结论

本文围绕黄河流域违规采砂事件，对面向水利监管的违采事件检测方法进行并行化研究。通过分析ＤａｒｋＮｅｔ５３ 网络模型基本结构，结合检测背景、需求和目标等特点，对卷积计算过程进行并行化分析，构建并行化ＨＯ－ＤａｒｋＮｅｔ 网络模型。相比于ＤａｒｋＮｅｔ５３ 网络模型，并行化的ＨＯ－ＤａｒｋＮｅｔ 网络模型可以显著提高检测速度。

参考文献：

［１］ 孙运锋．践行治水思路锚定“两个确保” 深入推动河南水利高质量发展［Ｊ］．河南水利与南水北调，２０２２，５１（１）：１－６．

［２］ ＳＩＴ Ｍ，ＤＥＭＩＲＡＹ Ｂ Ｚ，ＸＩＡＮＧ Ｚ Ｒ，ｅｔ ａｌ．Ａ ＣｏｍｐｒｅｈｅｎｓｉｖｅＲｅｖｉｅｗ ｏｆ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｈｙｄｒｏｌｏｇｙ ａｎｄＷａｔｅｒ Ｒｅｓｏｕｒｃｅｓ［Ｊ］．Ｗａｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２０２０，８２（１２）：２６３５－２６７０．

［３］ ＲＥＮ Ｓ Ｑ，ＨＥ Ｋ Ｍ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔ ａｌ．Ｆａｓｔｅｒ Ｒ?ＣＮＮ：Ｔｏ?ｗａｒｄｓ Ｒｅａｌ?Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔ?ｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１７，３９（６）：１１３７－１１４９．

［４］ ＤＯＮＧ Ｓ，ＷＡＮＧ Ｐ，ＡＢＢＡＳ Ｋ．Ａ Ｓｕｒｖｅｙ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｒｅｖｉｅｗ，２０２１，４０（１）：１００３７９．

［５］ ＢＨＡＴＴ Ｄ，ＰＡＴＥＬ Ｃ，ＴＡＬＳＡＮＩＡ Ｈ，ｅｔ ａｌ．ＣＮＮ Ｖａｒｉａｎｔｓ ｆｏｒＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ｈｉｓｔｏｒｙ，Ａｒｃｈｉｔｅｃｔｕｒｅ，Ａｐｐｌｉｃａｔｉｏｎ，Ｃｈａｌｌｅｎｇｅｓａｎｄ Ｆｕｔｕｒｅ Ｓｃｏｐｅ［Ｊ］．Ｅｌｅｃｔｒｏｎｉｃｓ，２０２１，１０（２０）：２４７０．

［６］ Ｗａｎｇ Ｚ Ｊ，ＴＵＲＫＯ Ｒ，ＳＨＡＩＫＨ Ｏ，ｅｔ ａｌ．ＣＮＮ Ｅｘｐｌａｉｎｅｒ：Ｌｅａｒｎｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｓｕ?ａｌｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，２０２０，２７（２）：１３９６－１４０６．

［７］ 张苗，李璞，杨漪，等．基于目标检测卷积神经网络的图像型火灾探测算法［Ｊ］．消防科学与技术，２０２２，４１（６）：８０７－８１１．

［８］ 张海涛，张梦．引入通道注意力机制的ＳＳＤ 目标检测算法［Ｊ］．计算机工程，２０２０，４６（８）：２６４－２７０．

［９］ ＭＡＮＳＯＵＲ Ｒ Ｆ，ＥＳＣＯＲＣＩＡ?ＧＵＴＩＥＲＲＥＺ Ｊ，ＧＡＭＡＲＲＡ Ｍ，ｅｔ ａｌ．Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｉｄｅｏ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ ＣｌａｓｓｉｆｉｃａｔｉｏｎＵｓｉｎｇ Ｆａｓｔｅｒ ＲＣＮＮ ｗｉｔｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｍｏｄｅｌ［Ｊ］．Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，２０２１，１１２：１０４２２９．

［１０］ ＣＥＮ Ｈ．Ｔａｒｇｅｔ Ｌｏｃａｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｍｏｂｉｌｅ Ｒｏｂｏｔｓ Ｂａｓｅｄｏｎ Ｒ?ＦＣＮ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ［Ｊ］．Ｉｎｔｅｒｎａ?ｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｓｙｓｔｅｍ Ａｓｓｕｒａｎｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｍａｎ?ａｇｅｍｅｎｔ，２０２１：１４（２）：７２８－７３７．

［１１］ 田乔鑫，孔韦韦，滕金保，等．基于并行混合网络与注意力机制的文本情感分析模型［Ｊ］．计算机工程，２０２２，４８（８）：２６６－２７３．

［１２］ 刘万军，王凤，曲海成．融合多尺度特征的目标检测模型［Ｊ］．激光與光电子学进展，２０１９，５６（２３）：１２３－１３３．

［１３］ 王之元，杨学军．并行计算系统度量指标综述［Ｊ］．计算机工程与科学，２０１０，３２（１０）：４４－４８．

【责任编辑 栗 铭】