基于Stacking模型融合策略的脑力负荷等级评定方法

曹子轩 尹钟 张建华

摘 要：脑力负荷是一种新兴的可以反应操作者认知状态的指标，其与事故风险及工作效率密切相关，所以实时且准确地评估操作者脑力负荷等级具有重要意义。Stacking模型融合策略可以较好地融合不同分类器与不同特征的学习能力。基于8名参与者的脑电生理信号以及Stacking模型融合策略，设计了3种新型模型进行脑力负荷等级判别。在对新模型进行训练与预测的同时，将其与其它主流分类器进行性能对比。实验结果显示，二维融合模型性能提升最为明显。

关键词：脑力负荷等级;Stacking;脑电生理信号

DOI： 10. 11907/rjdk.192365

开放科学（资源服务）标识码（OSID）：

中图分类号：TP301

文献标识码：A

文章编号：1672-7800（2020）001-0080-04

0 引言

随着时代的发展，人类在享受现代化便利的同时，其作业环境的复杂度也在增加[1]。人脑在从事高复杂度工作中容易因为经验、心态以及个人能力等因素的影响引发失误或工作效率下降。如果操作者处于疲惫状态或者工作量超出个人能力范围，出现失误及效率下降的概率会大大提升[2]，这种情况在一些关键工作中往往是致命的。所以对操作人员的认知状态进行及时准确的评估与分类很有必要，而脑力负荷等级正是重要的衡量指标。

目前关于脑力负荷等级还没有一个准确的定义[3]。脑力负荷可被视为任务要求占用的操作者认知资源量[4]。也有研究者认为，脑力负荷与任务期间的大脑活动、心理资源利用、压力以及工作记忆密切相关[5]。高脑力负荷等级一般是由于工作量的增加并超过操作者处理能力而产生的，会导致操作者无法及时进行信息分析与决策[6];而低脑力负荷等级可能导致操作员懈怠从而降低工作效率[7-9]。

目前评估脑力负荷等级主要有3种方式：①主观量表法;②任务性能测量法;③神经生理信号法[10]。主观测量法也被称為主观评定量表法，其中使用最广泛的两种方法是主观工作负荷评估技术和美国国家航空航天局的任务负荷指数[2]。然而，主观测量缺乏客观性，且收集数据时受限于实验的低时间分辨率[11];任务性能度量法则不适合隐式性能参数且无法在直接收集的任务环境中实施[12]。与两种经典方法不同，神经生理信号法可利用脑电生理信号、心电生理信号、功能性近红外光谱以及事件相关电位等，数据信息易于获取且可实时在线处理[5]。其中，脑电生理信号灵敏度高、客观性强，易于实施。相关研究中，脑电生理信号被证实与操作者的灵敏度及疲劳度密切相关[13-14]，比如在驾驶任务环境与核电厂任务环境中[15-16]。相当多的研究使用模式识别方法分析脑电生理信号。模式识别分类器可以挖掘出脑电生理信号与人类认知状态之间的隐藏信息，并提高脑力负荷等级评估的准确性。Wang等[17]基于分层贝叶斯模型设计了一个使用脑电生理数据的工作负荷分类器，其识别准确率达到了80%;Ke等[18]通过支持向量机为n-back任务建立了跨任务脑力负荷识别模型;结合3-15hz频带内功率谱的脑电信号特征以及线性判别分析法，D ornhege等[19]对不同困难等级的任务进行了研究;Vuckovic等[20]选择了3种不同的神经网络框架进行实验，其中学习矢量量化模型（LVQ）实现了最佳分类性能。

1 方法

本实验数据通过自动化增强型机舱空气管理系统收集，这项工作在以前的研究中已经完成[21]。下面介绍Stacking融合模型策略原理及所选择的几种分类算法。

1.1 堆叠去噪自动编码器

堆叠去噪自动编码器中数据的可重复性通过自动编码器实现。自动编码器主要由三层神经网络结构（输入层、隐藏层与输出层）组成。其通过训练实现输入的等效变换获得隐藏层的不同表示。自动编码器中每两层之间的转换是线性转换加非线性激活，其隐藏层到输入层的映射由sigmoid激活函数定义。

本研究选用误差反向传播算法（BP）训练模型。误差反向传播算法是一种用于多层神经网络训练的经典且有效的算法，它通过误差函数计算每个神经元的偏导来校正权重，直到达到预设的精度或最大学习次数。调整后的参数定义见式（3），其中误差函数反映输入与输出的损失，由平方差成本函数表达，见式（4）。

自动编码器的输入层具有与输出层相同数量的神经元，其隐藏层的本质功能是提取输入的降维表达。在训练完一次自动编码器之后，训练好的隐藏层可以作为下一个自动编码器的输入层对其进行训练，训练后就可获得原始输入的二次降维表达。从结构上看此过程相当于将两个自动编码器的隐藏层相连。

基于此策略，经过n次训练后的第n个隐藏层激活向量可表示为：

对于某个待测样本，分别计算不同分类标签对应的后验概率，后验概率最大的标签类别即为待测样本类别。由于同一个待测样本上分母部分都是相同的，因此只需计算并比较分子部分即可。

朴素贝叶斯基于概率论方法，因此分类结果较为稳定，其对于小规模的数据集表现出色，并且适合多分类任务以及增量式训练等。朴素贝叶斯假定数据特征是没有联系的，这也正是其名称中“朴素”的由来。但是在现实生活中，往往很难有一个数据集特征是毫无关联的，在不满足这个条件时，其分类效果会有所降低。

1.3 K近邻算法

K近邻算法的核心思想是找到最接近测试样本的k个训练样本，然后根据它们的标签信息预测测试样本的类别或值。样本之间的距离通常由欧几里德距离计算：

k值的选取对模型的准确性至关重要，通常使用枚举法求得，即使用不同的k值分别计算样本误差，然后选取其中对应最小样本误差的k值。K近邻算法作为应用十分广泛的分类算法，原理简单易懂，算法容易实现，同时分类效果也较为出色。但是K近邻算法在分类时需要计算待预测样本与所有样本的距离，当样本数量过于庞大时，此方法非常耗时，且需要很大的存储空间。

1.4 Stacking模型融合策略

Stacking模型融合策略基于K折交叉驗证的思想，将模型集合在一起，通常K值设为5，这样的优点在于可以有效避免因数据量有限而导致的过拟合现象。Stacking本质上是一种与神经网络相似的分层结构，其有效性主要来自于特征提取。因此，Stacking对学习能力的提升主要来自于不同分类器对不同特征的学习能力叠加。然而堆叠层数的增加会伴随严重的过拟合风险，因此堆叠通常仅使用两层，即只将模型分为基分类器与二阶分类器。

Stacking模型融合策略原理如图1所示，分为6个步骤：①将训练集均匀分割为5个子训练集，并选取第1个子训练集作为预测集，剩余的子训练集作为训练集训练时选取的第1基分类器模型;②用训练好的基分类器模型分别对第1个子训练集以及测试集进行预测，并产生对应的预测值;③依次选取第2至第5个子训练集作为预测集，剩余子集作为训练集重新训练基分类器，并重复上述步骤;④将子训练集得到的预测值串联，测试集得到的预测值求平均，并分别产生一个新的特征矩阵;⑤选用第2基分类器重复以上步骤，之后将两个基分类器子训练集产生的特征矩阵合并并替换原有训练集特征，将两个测试集产生的特征矩阵合并并替换原有测试集特征;⑥用二阶分类器对新产生的训练集与测试集进行模型训练和测试。

2 结果

将每名参与者同一天4个阶段的特征集串联形成1 800x137的特征矩阵，其中对应于第2和第7阶段的900个数据点被定为低脑力负荷等级，剩余数据点被定为高脑力负荷等级并添加对应的等级标签。之后将这16个数据集合并，捆绑标签打乱以消除数据顺序对模型训练的影响。形成维数为28 800x137的总特征矩阵后，选取其中80%的数据点用作训练，其余20%的数据点用作测试。

本研究选用双隐藏层式的堆叠去噪自动编码器结构。通过改变两个隐藏层神经元的数量，模型可以获得不同的训练精度和测试精度。训练精度和测试精度分别表示训练完毕的模型预测训练集和测试集正确率。经过实验发现，当第1隐藏层神经元的数量为110且第2隐藏层神经元的数量为20时，模型具有最佳训练与测试精度，分别为0.922 0和0.815 8。训练中学习率为1，预训练次数为20，mini-batch的每个batch大小为128。

K近邻算法也可通过调节其参数获得不同的训练精度与测试精度。k值的选取一般采用枚举法，选择从1-30的值进行训练，结果显示当k值为20时，测试精度最佳，为0.765 8。

在接下来的实验中，首先使用堆叠去噪自动编码器、K近邻算法以及朴素贝叶斯分别单独对数据集进行训练与预测;然后利用Stacking模型融合策略对它们进行集成化。其中将朴素贝叶斯、堆叠去噪自动编码器分别作为基分类器，K近邻算法作为二阶分类器，得到两个一维融合模型;最后将朴素贝叶斯、堆叠去噪自动编码器同时作为基分类器，K近邻算法作为二阶分类器，得到一个二维融合模型。融合前后性能对比如表1所示。

从表1可以看出，基于朴素贝叶斯的一维融合模型效果并不理想，甚至比原来的朴素贝叶斯精度还有所下降。而基于堆叠自动编码器的融合模型，相比堆叠自动编码器与K近邻算法，训练精度也有所下降，但不同的是，其测试精度有一定的提高。在基分类器层面集成了堆叠去噪自动编码器与K近邻算法两者的二维融合模型则取得了最佳训练及测试精度，其测试精度为所有模型中的最高值，训练精度也超过了除自动编码器外的所有模型。

在测试时间上，K近邻算法所用的测试时间最长，堆叠去噪自动编码器所用的时间最短;融合模型中，二维融合模型所用时间最长，这一结果不同于事先所设想的基于堆叠自动编码器的一维模型训练时间要超过基于朴素贝叶斯的时间。K近邻算法的劣势在于其花费的训练时间过长，通过集成其它训练较快的模型有效改善了这一问题。之后选择实验结果较好的两个融合模型，并与其它主流分类算法进行对比，如表2所示。

3 结语

本文基于Stacking模型融合策略提出了3种融合模型。通过比较3个模型性能发现，基分类器为朴素贝叶斯的一维模型性能最差，而二维融合模型性能最佳。随后将它们与原先的模型及其它常见的主流分类模型进行对比，结果显示，二维融合模型的分类精度超过了除堆叠自动编码器与超限学习机外的所有模型.其训练精度最佳。

融合模型的训练精度较高，但是相比适合脑电生理数据分类的模型，比如堆叠去噪自动编码器，融合模型的性能提升并不明显，而且训练精度始终没有达到预期水平。Stacking模型融合策略的核心是K折交叉验证法，避免了数据过度拟合，但也导致了单次训练中训练样本数据量的减少。后续研究将寻找改进Stacking融合策略缺点的方法，同时尝试一些更为优秀或者适合生理数据分类的模型并将其融合，测试其分类性能。

参考文献：

[1]王宪保，何文秀，王辛刚，等.基于堆叠降噪自动编码器的胶囊缺陷检测方法[J].计算机科学，2016，2（43）：64-67

[2] FALLAHI M， MOTAMEDZADE M，HEIDARIMOGHADAM R，eta1. Effects of mentalWorkload on physiological and subjective respons-es during traffic density monitoring：a field study[J]. Applied Ergo- nomics， 2016（52）： 95-103.

[3]YOUNGM S，BROOKHUISKA，WICKENS C D，et al.State of sci-ence： mental workload in ergonomics[J]. Ergonomics. 2015， 58（1）：1-17。

[4]ECGEMEIER F T，WILSON G F，KRAMER A F，et al.Workload as-sessment in multi-task environments [M]. London： Taylor & Fran-cis， 1991.

[5]MINC D， KE Y F， HE F， et al. Psychophysiological measures basedstudies on mental workload assessment and adaptive automation： re-view of the last 40 years and the latest developments [J]. Journal ofElectronic Measurement and Instrumentation ， 2015 ， 29 （ 1 ） ： 1-13.

[6]WILSON G F. Operator functional state assessment for adaptive auto- mation implementation[ J ] .

Biomonitoring for Physiological and Cogni-tive Performance During Military Operations ， 2005（ 56） ： 100-104.

[7]韓文民 ，葛倩 ，高龙龙 .基于脑电的轻装作业操作者脑力负荷与绩效的分析[J] .科学技术与工程 . 2019 ， 19（ 14） ： 110-117

[8]RYU K， MYUNG R. Evaluation of mental workload with a combined measure based on physiological indices during a dual task of trackingand mental arithmetic [ J ] . International Journal of Industrial Ergonom-ics， 2005 ， 35 （ 11） ： 991-1009.

[9]王禹，肖毅，周前祥，等，基于脑电信号的脑力负荷监测技术研究现状 [J].航天医学与医学工程 ， 2018. 31（ 5） ： 577-582.

[10] O'DONNELL C R D， ECCEMEIER F T. Handbook of perceptionand human performance [ M]. New York ： NY ： John wiley and sons，1986.

[11]YIN Z ， ZHANG J H. Cross-session classification of mental .vorkloadlevels using EEG and an adaptive deep learning model [ J] .

Biomedi-cal Signal Processing and Control， 2017（ 33 ） ： 30-47.

[12]HICKS T C， WIERWILLE W W. Comparison of five mental ，vork-load assessment procedures in a moving-base driving simulator [J].Human Factors ： The Journal of the Human Factors and ErgonomicsSociety， 1979， 21（ 2） ： 129-143.

[13]MAKEIG S. Lapses in alertness ： coherence of fluctuations in perfor-mance and EEG spectrum [J] . Electroencephalogry and Clinical Neu-rophysiology， 1993（ 86） ： 23-35.

[14]MAKEIC S. JUNC T. Changes in alertness are a principal compo-nent of variance in the EEG spectrum [J]. Neuroreport， 1995 （7） ：213-216.

[15]CHOI M K. LEE S M， HA J S， et al. Development of an EEG-basedworkload measurement method in nuclear power plants [Jl. Annalsof Nuclear Energy， 2018（ 111） ： 595-607.

[16]BORGHINI C， ASTOLFI L， VECCHIATO C， et al. Measuring neu-rophysiological signals in aircraft pilots and car drivers for the assess-ment of mental workload ， fatigue and drowsiness [ C ] . Neuroscience& Biobehavioral Reviews ， 2017 （ 44） ： 58-75.

[17]WANG Z H， HOPE R M. WANC Z G， et al. Cross-subject work-load classification with a hierarchical bayes model [ J] .Neurolmage ，2012. 59 （1） ： 64-69.

[18] KE Y F， QI H Z， ZHANC L X， et al. Towards an effectivecross-task mental workload recognition model using electroencepha-lography based on feature selection and support vector machine re-gression [Jl. International Journal of Psychophysiology， 2015， 98（ 2） ： 157-166.

[19]DORNHECE C， MILLAN J D， HINTERBERGER T， et al. Towardbrain-computer interfacing[ M ] . Massachusetts ： MIT Press . 2007.

[20] VUCKOVIC A， RADIVOJEVIC V. CHEN A CN， et al. Automaticrecognition of alertness and drowsiness from EEG by an artificial neu- ral network [J]. Medical Engineering & Physics， 2002， 24 （5） ：349-360.

[21]ZHANG J H ， YIN Z ， WANG R. Recognition of mental workload lev-els under complex human-machine collaboration by using physiologi-cal features and adaptive support vector machines[J] . IEEE Transac-tions on Human-Machine Systems， 2015 ， 45 （ 2） ： 200-214.

基金項目：国家自然科学基金项目（61703277）;上海杨帆计划项目（17YF1427000）

作者简介：曹子轩（1996-），男，上海理工大学光电信息与计算机工程学院硕士研究生，研究方向为生理信号处理;尹钟（1988-），男，上海理工大学光电信息与计算机工程学院副教授、硕士生导师，研究方向为机器学习、模式识别;张建华（1971-），男，奥斯陆都市大学计算机科学系教授，研究方向为计算智能、智能系统与控制。