一种深度学习结合迁移学习推断大坝缺失监测值的方法

王丽蓉,郑东健

(1.中国电建集团西北勘测设计研究院有限公司,西安 710065;2.河海大学水利水电学院,南京 210098)

0 前 言

大坝安全监测系统运行环境复杂，随着时间推移，难以避免出现传感器损坏，电源和通讯中断等监测系统故障，导致大坝安全监测数据缺失，破坏了监测资料的连续性和完整性，尤其大坝内观仪器一旦损坏失效，难以修复，监测数据的缺失不利于大坝安全状态的分析。

大坝安全监测资料的缺失补全，目前主要通过临近时间和相邻测点进行推断。如李梦龙等[1]通过KNN(K-最近邻方法)搜索与缺省值样本相关性最高的有效样本，计算相关样本平均值即得到预测值；这种方法比较简洁，但用均值代替缺省值，可靠性难以保证。王娟等[2]基于核独立分量分析(KICA)，对损坏测点的相关测点进行非线性变换，提取独立分量，将独立分量作为输入，损坏测点测值作为输出，通过训练，建立关联向量机(RVM)模型，实现测值缺失补全。但RVM的训练需要缺失时段之前和之后的监测数据，仅能进行中间缺失段的插补，不适合仪器损坏后再无新增测值的情况。

可见现有方法常常利用相关测点推断损坏测点缺失值，而相关测点的选取局限在与损坏测点相同的监测项目中；实际上不同项目测点测值，如变形、应力、扬压力等从多方面反映大坝性态，本质上是大坝在内外因素作用下的不同响应，不同项目测点与损坏测点的时空关系也是进行缺失值推断估计的重要信息源。同时，当测点损坏时间较长，自身积累的监测资料不足时，现有方法难以在这种情况下保证推断模型的充分训练，使推断值满足精度要求；利用相似区域监测点的资料信息，通过迁移学习，可以弥补自身监测资料的不足。

为此，本文在深入分析大坝安全监测资料缺失值特点的基础上，运用深度学习中的卷积神经网络(Convolutional Neural Network，CNN)和迁移学习中的finetune方法，挖掘工作性态相似区域，不同监测项目测值与损坏测点测值的内在逻辑关系，提出深度学习结合迁移学习的测值缺失估计推断方法，为实现大坝安全监测资料的缺失补全提供支撑。

1 基本理论

1.1 卷积神经网络的建模原理

CNN是深度学习技术的一种，是一种前向有监督神经网络，是传统人工神经网络[3]进一步发展的成果，具有自主抓取数据特征的特点，由于卷积层发挥卷积运算的作用，CNN专门用来处理具有网络结构的数据。

图1 卷积神经网络基本构成

(1)

迁移学习(transfer learning)是机器学习的一个分支，利用数据、任务或模型之间的相似性将在旧领域学习的知识迁移应用于新领域，在数据众多而训练样本缺乏时尤为实用[6]。旧领域即为源域(the source domain)，是有知识、有大量训练样本的领域，是迁移对象；新领域即为目标域(the target domain)，是需要赋予知识、赋予标注的对象；知识从源域传递到目标域就完成了迁移[7]。迁移学习的基本方法包括样本迁移，特征迁移，模型迁移和关系迁移等学习方法。本文采用基于模型的finetune迁移学习方法[8-9]。

CNN对二维矩阵数据进行卷积运算时，遵循公式(2)的二维离散卷积公式。

(2)

将荸荠用大量清水洗去泥土，用去皮刀除去荸荠表面的褐色表皮，将去皮后的荸荠1 kg放置在5 L的玻璃容器中，加无菌水至没过荸荠，浸泡5 min后滤除水分(浸泡时间过长，鲜切荸荠细胞严重失水)，反复浸泡清洗三次，滤干水分备用，该种去皮后的荸荠即为鲜切荸荠。

1.2 迁移学习的原理

公式(1)中：s(t)为信号的连续估计函数；函数x(·)为信号测量结果；w(·)为加权函数；a为测量结果距当前时刻的时间间隔；t为任意时刻。

硬度测试：同样取样自来水与净化水、水量相等。各滴入硬度试剂两滴，自来水瞬间呈粉红色，而净化水则呈现蓝色，说明净化水硬度更低，苏泊尔R9713净水机的软化效果明显。

1.2.1finetune迁移学习方法的原理

Finetune(微调)是一种深度神经网络迁移形式。深度神经网络由多个网络层次构成，2014年，来自康奈尔大学的Jason Yosinski等人[10]率先进行了深度神经网络可迁移性研究，研究结果表明神经网络前几层学习到的基本都是输入数据的浅层特征，即通用特征，因此网络前几层对相似任务均有效。随着网络层次加深，后层网络更偏重于学习数据特定的特征，对特定任务有效。以该研究结果为理论支持，finetune将在源域上训练好的神经网络迁移至目标域，针对目标域的特点将该神经网络部分参数再进行调整，从而获得匹配目标域的网络模型。当目标域标注不足，即训练样本不足时，仅依赖目标域的可用数据难以将神经网络训练完全，引入finetune可解决该问题。

Finetune在迁移深度神经网络时，神经网络的前几层参数固定，后几层参数在源域上进行了预训练，在目标域上调整时以预训练结果为基准。因此finetune具有以下4个特点：

饮食及药物：中药中，香附、郁金、佛手、香橼、玫瑰花等可以疏肝理气，枸杞、女贞子、墨旱莲、桑葚、黑芝麻等有养阴精、补肝肾之功。中成药中的六味地黄丸有滋补肝肾之功，可用于肝肾阴虚出现的腰膝酸软、头晕目眩、耳聋耳鸣等；加味逍遥丸可治疗肝郁血虚引起的两胁胀痛、头晕目眩、月经不调等。一些药食同源之品，如菊花、桑叶、百合泡茶可以清肝明目，玫瑰花、月季花可以调经解郁，莲子、芡实可补肾固精等。

(1) Finetune通过深度神经网络的迁移实现了知识从源域转移到目标域的效果。

(2) 新网络模型前几层的参数由源域决定，微调时不再改变，数据需求量大大降低，因此解决了目标域标注不足，即训练样本不足的问题。

(3) 对于目标域，不需要重新训练神经网络的全部参数，节省时间成本。

1.3.1二维超声良性 表现为良性患者的结点的纵横比值要小于1，边界的形状较为规则，且边界可以清晰的分辨开来，结节内部出现的回声相对较高，粗大钙化较为明显。结节周围的环绕血液信号利用多普勒进行检测，得到的信号为RI＜0.7。于此相比，恶性肿瘤的特征与此数据相反，恶性肿瘤患者横纵比≥1，周围血管不规则，且边界较为模糊，结节内部的获胜较低，表现出微钙化现象，多普勒测定得到的血流信号为RI≥0.7。

(2)CNN模型通过找到相关测点与损坏测点之间的关系来推断缺失值，分别对源域和目标域建立的CNN模型，测点间的关系应该类似。源域训练样本与目标域训练样本在监测项目、测点数量和测点位置上存在相匹配的对应关系。源域和目标域所在位置的坝体体型应该相似。

2 CNN缺失测值估计模型的迁移

2.1 CNN缺失测值估计模型

CNN测值估计模型就是用多次时间连续的相关测点监测数据，推断损坏或失效时间的测点缺失值。即将相关测点二维矩阵输入CNN测值估计模型，由CNN模型输出测点缺失值。相关测点二维矩阵的高为相关测点监测次数、宽为相关测点数量。CNN模型学习相关测点和测点损坏前监测值之间的非线性隐式关系，然后将损坏时间相关测点监测数据输入模型，即可实现损坏测点缺失测值推断。用相关测点推断损坏测点的缺失值，前提是相关测点与损坏测点存有的监测序列具有相关性。

2.2 源域的选择

建立相关测点推断损坏测点缺失值的CNN测值估计模型时，将损坏测点及其相关测点监测数据的集合作为目标域，与目标域具有相似特征的测点集合为源域。目标域的损坏测点监测值数量过少，不足以训练CNN模型，需先用源域数据训练CNN模型，再将CNN模型迁移至目标域。迁移成功的一个关键在于源域和目标域具有较强相似性。可依据以下几点选择源域：

(1)不同类型大坝的监测项目间具有不同的关联关系，要求源域和目标域为相同类型大坝上的监测点。

(4) 模型预训练在数据充足的源域上进行，无形中扩充目标域的训练数据，使得新模型具有更好的泛化性能。

1.苗瘟：秧苗3叶期前发病，苗基部灰黑色，上部黄褐色，卷缩枯死。3叶期后发生的多在叶片上形成明显病斑，与叶瘟症状相同，称苗叶瘟。

2.3 CNN缺失测值估计模型的finetune迁移

若只存在1个源域，采用finetune方法将对源域训练好的CNN测值估计模型迁移至目标域。inetune迁移学习过程如图2所示，将CNN模型前几层固定，不再调整前几层网络参数，用目标域的少量监测数据训练CNN模型的后几层，调整后几层的网络参数。再次训练完成后finetune迁移的CNN模型即可适应目标域。

图2 finetune迁移学习过程

3 实例分析

由表4可知：① 9号坝段正应力Sx、Sy、Sz推断值的RMSE小于0.1 MPa，MAPE小于2.8%；② 13号坝段正应力Sx′、Sy′、Sz′推断值的RMSE小于0.26 MPa，正应力Sy′、Sz′推断值的MAPE小于6.2%；正应力Sx′推断值的MAPE为35.2109%，RMSE为0.1166 MPa。CNN模型对Sx′、Sy′、Sz′的推断值与实测值较为接近。

图3 9号和13号坝段横截面

3.1 建模思路

对协方差Pk同步进行调整，把位置x,y,z有关的矩阵元素调整到前t行前t列，即矩阵的左上角。针对目标跟踪应用场景，t=3。

图4 迁移学习建模思路

3.2 源域的合理性分析

听力损失患者由于听觉器官受损,其言语辨识能力下降,使得他们在噪声环境中的语音理解力远低于听力正常者。噪声环境中听力损失患者的语音理解度是影响助听器使用的关键因素之一[1],因此语音增强技术是助听器中的一种核心技术,它能有效消除背景噪声,改善语音质量,从而提高患者在噪声环境中的语音理解度。

3.3 CNN测值估计模型所需数据集的构建

如图1所示，CNN结构组成按顺序为输入层、卷积层、池化层、全连接层和输出层。其中卷积层和池化层可依据待处理数据的复杂程度多次重复添加。卷积层和池化层的操作常在一个二维平面上进行，输入数据在卷积层中经过卷积运算实现特征提取，而后在池化层中将特征数据降维，以避免过拟合并减轻运算荷载[4-5]，最后全连接层根据特征进一步处理数据。卷积层和池化层组合成的特征提取器在网络训练过程中自行优化，不需要人为干预。公式(1)是卷积运算公式。

表1 9号坝段CNN测值估计模型输入数据示例

表2 9号坝段CNN测值估计模型输出数据示例

输入模型前先对所有监测数据以其所属测点为单位进行Max-Min标准化，将测值归一化到[0,1]区间，计算见公式(3)。

(3)

公式(3)中：xi为一段监测序列中的任意值；xmin为监测序列中的最小值；xmax为监测序列中的最大值；xi′为xi转换后的值。

3.4 CNN测值估计模型建立

采用Python软件编程，为节约训练时间并提升学习效果，每7个输入数据为一批输入CNN模型，即batch=7，训练900代，学习率为0.001，优化方法为Adam，误差计算采用MSE(均方误差)。CNN模型输入数据矩阵形状为10×4(10 d 4组变形测值)，输出数据矩阵形状为1×3(1 d 3方向正应力)，10、1代表时长，4、3代表测值序列数量；CNN包括3层，前两层为卷积层conv1、conv2，最后一层为全连接层out，模型结构见表3。

表3 CNN测值估计模型结构

输入conv1的数据特征层维数为1，输出数据特征层维数为16，卷积核大小为3×3，步长为1，采取padding等于1的零填充方式，保证conv1的输出数据与输入数据高、宽相同；卷积操作后经过ReLU激活函数，增加神经网络模型的非线性；随后经过核大小为2×2、步长为2的最大池化层，将数据高、宽缩小一倍。输入conv2的数据特征层维数为16，输出数据特征层维数为32，卷积核大小为2×2，步长为1；卷积操作后经过ReLU激活函数。out层将包含32个特征的conv2输出数据拼接、变换成包含3个特征的神经网络输出数据，即为正应力Sx、Sy、Sz的推断值。

公式(2)中：S为特征映射；I为输入的二维矩阵数据；K为卷积核；m、n为K的元素指数，m、n为整数，0 ≤m

输入数据在CNN模型中的变换过程如图5所示。

图5 CNN测值估计模型中的数据变换过程

3.5 CNN测值估计模型的finetune迁移实现

由3.1节分析可知，将9号坝段的监测数据作为源域、13号坝段的监测数据作为目标域是可行的。可以将3.3节对9号坝段建立的CNN模型迁移至13号坝段，用于推断13号坝段损坏测点应力值。为此，采用finetune方法将3.3节在9号坝段上训练好的CNN测值估计模型迁移至13号坝段。采用Python软件编程，学习率为0.001，训练450代。如图6，将CNN模型前两层(conv1、conv2)固定，不再调整前两层网络参数，用13号坝段2015年7月14日至11月27日共103组测值训练最后一层(out)，调整最后一层网络参数。训练完成后推断13号坝段从2016年6月3日至10月8日的正应力Sx′、Sy′、Sz′。

图6 finetune迁移学习过程

3.6 测点缺失值推断结果分析

3.6.1直接建立的CNN测值估计模型

分别按照公式(4)和(5)计算9号坝段正应力(Sx、Sy、Sz)CNN模型推断值，和13号坝段正应力(Sx′、Sy′、Sz′)CNN模型推断值的均方根误差(RMSE)及平均绝对百分比误差(MAPE)，结果见表4。

表4 CNN模型推断性能量化评估结果

(4)

(5)

综上，针对急性阑尾炎实施手术治疗的患者，在常规护理的同时实施心理护理进行干预，可有效改善患者的焦虑、抑郁情绪，效果较好，值得推广。

某工程枢纽主要由挡水建筑物、泄洪消能建筑物、引(尾)水发电系统等组成。其中拦河大坝为碾压混凝土重力坝，泄洪建筑物位于河床中部，自左至右依次布置左岸挡水坝段、左中孔坝段、河床5孔溢流坝段、右中孔坝段、右岸挡水坝段。大坝坝顶高程1 334.00m，最低建基面1 166.00 m，最大坝高168.00 m，坝顶长度516.00 m，最大底宽153.20 m。水库正常蓄水位1 330.00 m，总库容7.6亿m3。坝址位于高山峡谷区，谷坡陡峻，地质构造相对复杂，两岸地形总体坡面较为整齐，山体浑厚，河谷呈不对称的“V”字型。安全监测设计依据国家有关规范和相关技术标准，结合电站地质条件和建筑物特点设置各类监测仪器和设施。主要监测内容包括环境量、变形监测控制网、坝体水平及垂直位移监测、坝基及坝体倾斜监测、坝体混凝土应力应变监测等。图3为该重力坝9号坝段和13号坝段。

综上所述，在9号和13号坝段上直接建立的CNN测值估计模型推断效果较好。

3.6.2finetune迁移的CNN测值估计模型

绘出13号坝段测点的正应力实测过程线如图7所示。监测时间为2015年3月18日至2016年10月11，其中图7(a)的横河向正应力Sx′测值波动大，图7(a)和(b)的Sy′、顺河向正应力Sz′分别在2015年6月21日、2015年7月22日出现台阶现象。

文学是对现实生活共性和个性创造性的提炼、塑造、超越、升华的艺术表达，人们在读作品时，进入作品的情境，宛若经历着主人公所经受的一切，体验着主人公所有心理与情感。通过文学作品的文本，打破固定的文本界限，调动读者情感与想象，加深对生命的体验，获得文学艺术的审美愉悦。古敦煌地区的人们，创造了有温度、有情感、有审美的文学艺术世界，通过对《伍子胥变文》阅读体验，笔者从如下几个方面探讨其艺术特质：

图7 13号坝段测点正应力实测过程线

计算finetune迁移模型推断的13号坝段正应力的均方根误差(RMSE)，以及平均绝对百分比误差(MAPE)见表5。表5中13号坝段直接建模的误差采用表4的评估结果。

由表5可知，finetune迁移模型推断横河向、顺河向正应力Sx′、Sy′的RMSE小于0.15 MPa，顺河向、垂直向正应力Sy′、Sz′ 的MAPE小于10.6%。finetune推断的Sy′、Sz′值与实测值接近，推断效果好，Sx′的RMSE较小，而MAPE为49.4173%，为Sx′量级(10-1)较小所致。

处理之后北侧JC3、JC2稳定在现在的标高上，其他JC1、JC4基础平稳缓慢地被抬升但仍未达到规范要求。因此采用八台液压千斤顶加以电脑辅助顶升控制，井架快速回倾至规范允许值以内井架垫板下口加塞大截面钢板补衬，用C50高标号砼二次灌注。经矿方地测部门长期观测，井架未发生新的倾斜。

表5 13号坝段finetune迁移的CNN模型推断性能量化评估结果

绘出13号坝段正应力Sx′、Sy′、Sz′的估计值过程线见图8，可见finetune迁移模型的推断精度略低于直接建模，但是总体效果较好。

因混沌伪随机序列的相关性对通信系统非常重要,要分析的因素较多,所以下面要对混沌序列的相关性展开具体的分析。

图8 13号坝段正应力估计值过程线

4 结 论

本文针对大坝安全监测资料测值缺失的问题，运用深度学习和迁移学习方法，研究了应用不同监测项目，不同监测位置测点监测资料进行缺失测值估计推断的方法，形成结论如下：

一是合理把握教材的难度．例题之间应留有合适的坡度，可以给学生探索和思考留白，但跨度太大，会对学生认知造成人为障碍．如何由“教材”转变为“学材”，中国台湾（甚至新加坡）等地的教材都能给予很好的启示．

(1) 利用卷积神经网络(CNN)专门处理网络结构数据的特点和finetune迁移学习方法,将知识从源域转移到目标域的能力，提出了缺失值CNN模型迁移学习估计法,并分析了模型迁移源域选择的依据。

网络初中数学原创精品资源基地的建立，旨在构建符合素质教育要求、变革教与学行为方式、融合数学文化的课程体系，提升学生学习快乐感和教师的职业幸福感.同时体现先行先为与分析共享结合，围绕解决做什么、怎么做的问题，先行试验、总结提升，通过各种形式建立便于向其他中小学和社区开放的资源共享平台.

(2) 结合实际工程，建立了基于相同位置不同监测项目测点的缺失值估计CNN模型，通过finetune迁移方法，实现了不同位置缺失值估计模型的迁移。

(3) 实例分析表明，相同位置不同监测量缺失值CNN估计模型的缺失值推断与实测值较为接近，迁移学习方法可以实现训练样本不足时的缺失值估计，缺失值估计误差满足测值允许中误差的要求。