改进自适应混合高斯模型和帧间差分的运动目标检测

王立玲，刘超杰，马东，王洪瑞

(1.河北大学电子信息工程学院，河北保定 071002；2.河北省数字医疗工程重点实验室，河北保定 071002)

0 前言

近几年来随着智能驾驶、机器人避障导航和智能监控技术的不断发展，摄像机作为重要的视觉传感器被广泛应用于机器视觉等领域。通过摄像机捕获周围环境中的相关信息，作为下一步判断与决策的关键依据，因此，视觉传感器中的运动目标检测[1]和目标跟踪[2]技术成为研究热点。目标检测是该技术的核心[3]，也是进一步研究目标识别与跟踪的重要基础。

常用的目标检测方法主要有4种：光流法[4]、背景减除法[5]、帧间差分法[6]和ViBe算法。光流法虽然提高了目标的检测准确度，但对复杂的场景适应性较差，因计算量较大的缺点使其在工程应用中不具备实时检测的优势。背景减除法是将当前图像帧与背景图像进行差分运算并通过固定阈值分割出运动目标，该方法的前提是要建立场景的静态背景模型[7]。背景建模方法主要有：高斯混合背景建模(GMM)[8]、码本建模(CodeBook)[9]和基于ViBe的背景建模法[10]。背景减除法的难点在于背景模型的实时更新。帧间差分法计算量小，速度快，但检测的目标不完整，存在空洞现象，很难检测到完整的运动目标区域。ViBe算法重点对背景模型中的相似度匹配算法进行优化，有效提高了运算速度，但存在鬼影现象。

针对上述目标检测方法存在的问题，文献[11]优化了传统的高斯背景建模方法，提高了运动目标检测的准确率，但算法计算量较大；文献[12]采用膨胀、腐蚀等形态学处理的方法对目标内部的细小空洞进行了填充，但由于膨胀和腐蚀造成像素点的扩张和消除，使目标的连通区域发生变化，因此检测结果很难接近真实目标；文献[13]改进了Canny边缘检测算法并融合自适应帧差法对运动目标进行检测，使目标检测结果的边缘信息更加准确和完整，连通性更好，有效解决了传统帧间差分法在对运动目标检测过程中存在的缺点；文献[14]将改进的三帧差法与传统混合高斯模型算法相融合获得运动目标，使检测结果包含了更加完整的边缘信息，获得了清晰的前景轮廓，但没有更好地消除背景中的干扰信息，对复杂场景的适应能力较弱。本文作者主要针对运动目标检测过程中存在的背景噪声干扰、目标空洞现象、边缘缺失和光照变化影响等问题，提出一种改进自适应混合高斯和帧间差分的运动目标检测算法，并分别在公开视频测试集和机器人中对所改进的目标检测方法进行了实验验证。

1 基于自适应混合高斯背景建模法

1.1 自适应学习率

传统混合高斯模型[15]的更新常用固定的学习速率，忽略了模型更新速率在背景建模的不同阶段存在差异的事实，导致算法在复杂环境中的适应能力减弱。当学习率取值较小时，模型更新不及时，受背景噪声影响较大，并且对于运动速度较快的目标检测易发生重影问题；当学习率取值较大时，缓慢运动的物体则容易被检测为背景。

为解决上述问题，本文作者采用一种自适应学习率修正背景模型的方法，更好地消除环境噪声以及目标运动状态对检测结果的影响。通过设定帧数阈值T，将背景建模划分为两个阶段，在模型建立之初，采用较高的学习率加快背景模型更新，快速消除环境中的干扰信息；去除干扰信息之后，在后续帧中根据目标的运动状态调整参数δ的值进而自适应调整模型的学习率，保证模型的可靠性。学习率的设置如下所示：

(1)

(2)

式(1)中：α为学习率；λ1为常数；f为帧数；T为帧数阈值。式(2)中：ΔD为帧差测量值，表示运动目标在一段时间内其质心的平均移动速度；f′为需要统计的帧数；di为运动目标相邻两帧的相对质心差；τ1和τ2为设定的阈值，根据当前的视频场景给出；当ΔD≥τ2时，表示目标运动速度较快，从而增大学习率来提高背景的更新速度；当ΔD<τ1时，表示目标运动缓慢，赋予模型一个较小的学习率减缓背景的更新速度。

1.2 改进更新率

根据传统混合高斯模型工作原理可知，更新率ρ由学习率α和高斯概率密度η决定，反映的是模型的收敛速度。本文作者对更新率的改进如下所示：

(3)

(4)

在改进的公式中引入光照变化因子wt，取值范围为0≤wt≤1，用来消除场景中光照变化对前景目标检测的干扰；Ht表示当前帧图像的信息熵，计算前一帧和当前帧信息熵的比值来判断场景中是否发生光照变化。若场景中发生光照突变，取wt=1，此时模型采用一个较大的更新率使背景状态快速趋于稳定，当背景状态恢复稳定后取wt=0。通过自适应调整模型的更新率，不仅克服了光照变化的影响，也提高了模型的收敛速度，能够使算法更加稳定地工作。

1.3 适应选择高斯分布的个数

在混合高斯模型中，算法的性能受高斯分布个数K的直接影响。每个高斯成分都与场景中的一个状态相对应，但是在实际中，场景存在多变性，尽管在同一区域状态个数也会随时发生改变，因此，若为每个像素点都建立多个固定不变的高斯成分，就不能更好地描述背景，同时在处理时会消耗大量的系统资源。

通过以下方式自适应选择高斯分布个数：

每隔f帧对所有高斯分布的权重进行一次检查，假如其中存在高斯分布满足式(5)：

ωj,t<ωinit&&((ωj,t/σj,t)<(ωinit<σinit))

(5)

则将该高斯分布剔除。

通过删除冗余的高斯分布适应背景的多样性，降低了算法的复杂度，提高系统资源的利用率。

2 改进的四帧差分算法

传统三帧差分法虽然针对两帧差分法有所改进，但还是很难检测到目标之间的重叠部分，仍存在空洞现象，对光照变化的场景适应性差，且检测到的目标轮廓不准确。为了解决上述问题，取视频序列中连续的四帧图像，计算相邻帧图像相似度并进行差分运算，利用最大类间方差法(OTSU)获得最佳分割阈值，并结合动态阈值进行校正，抑制光照变化的影响。同时，引入Canny边缘检测算子并与四帧差分结果相融合，使目标的边缘更加连续。改进的四帧差分法的原理如下：

选取视频序列中的连续的四帧图像Ik(x,y)、Ik+1(x,y)、Ik+2(x,y)、Ik+3(x,y)，通过巴氏系数算法计算相邻帧图像之间的相似度，计算公式如下所示：

(6)

其中：p(i)为帧图像中提取出的颜色直方图数据。当图像相似度S的值趋近于1时，表明相邻帧图像的相似度越高。当S值大于设定的检测阈值T1时，分别按照下式进行图像之间的差分运算

d1k=|Ik(x,y)-Ik+1(x,y)|

(7)

(8)

d3k=|Ik+2(x,y)-Ik+3(x,y)|

(9)

其中：d1k、d2k和d3k为差分图像。然后按照式(10)、式(11)和式(12)对差分图像进行阈值二值化处理，分别得到二值图像b1k、b2k和b3k。

(10)

(11)

(12)

(13)

(14)

(15)

其中：λ为抑制系数，一般取λ=2；M×N为图像的大小，表示图像包含的总像素数；T为通过最大类间方差法得到的分割运动目标与背景的最佳阈值；ΔT1、ΔT2和ΔT3为动态阈值，反映了场景中光线的变化情况。当光照变化越剧烈时，ΔT值越大，当光照变化较小时，ΔT值很小，因此，在最佳分割阈值上加入动态阈值有效抑制了光照变化的干扰。

然后，通过对二值图像先进行“与”运算再进行“或”运算得到运动目标前景区域。

d1k=b1k∩b2k

(16)

d2k=b2k∩b3k

(17)

dk=d1k∪d2k

（1）羊场应建在背风向阳，地势较高的地方，最好利用地形条件选择斜坡建场，既可减少建场投资，又利于粪便的清除。同时防止了羊的寄生虫病和腐蹄病发生。

(18)

(19)

其中：Dk=0为背景区域，Dk=1为前景区域。

(20)

(21)

(22)

(23)

再将目标轮廓C与图像Dk进行“或”运算，得到完整目标检测结果F。

F=C∪Dk

(24)

3 改进算法流程

在运动目标检测过程中，文中的改进算法主要分为两个部分，图1为改进算法的流程。第一部分：通过改进混合高斯模型的学习率与更新率，达到自适应修正背景模型的目的，在准确检测到目标的同时很好地抑制了背景噪声，提高了模型的适应性；第二部分：通过改进的帧间差分法获取目标轮廓信息细化目标边缘。具体方法为：首先对视频序列进行预处理，提取连续四帧视频图像，然后利用基于自适应混合高斯背景建模法检测运动目标，同时采用Canny边缘检测改进的四帧差分法填补目标边缘，最后通过中值滤波和形态学处理去除残余噪声，获得最终运动目标。

图1 文中改进算法流程

4 实验结果与分析

为验证文中改进算法的有效性，分别在3种不同场景的视频测试集和仿人机器人NAO上进行实验，通过对运动目标检测的准确率和误检率来评价目标检测算法的性能。

4.1 目标检测算法性能测试对比实验

图2是分别用传统混合高斯算法，传统三帧差分法、经典ViBe算法、文献[14]算法以及文中改进算法对3种不同场景的测试视频中运动目标检测的结果。图(a)为原始图像，分别存在的干扰为：树枝摆动，光照变化以及目标运动状态缓慢。图(b)—(f)是对不同场景下的运动目标分别采用5种算法得到的检测结果。

从图2可以看出：在场景1中，受树枝摆动影响，传统混合高斯算法、三帧差分法，以及ViBe算法将摆动的树枝检测为前景，存在目标空洞及边缘缺失等问题；在场景2中，目标检测受到光照变化影响，传统混合高斯算法的背景模型来不及更新，容易将背景误检为前景，并且检测不完整，三帧差分算法和ViBe算法在一定程度上克服了光照干扰，但检测结果仍存在少量噪声及严重漏检问题。在场景3中，室内光线较暗，并且目标运动缓慢，三帧差分算法只检测到目标边缘，混合高斯算法和ViBe算法误检现象严重。

图2 5种算法的检测结果

文献[14]算法在目标检测完整度上有一定的改善，但仍存在目标像素缺失和误检现象，容易受到背景中噪声干扰。与上述4种算法相比，文中改进算法抑制噪声的效果明显，并且对光照变化以及目标运动缓慢的场景具有很好的适应性，同时保留了更加完整的目标信息，提高了检测目标的准确度。

4.2 结果分析

上述5种算法在3种场景下的单帧检测时间如表1所示。

表1 5种检测算法的单帧检测耗时对比 单位：ms

由表1可以看出：文中改进算法单帧检测所用时间相比于传统三帧差分算法较高，是因为存在高斯混合模型的建立与背景更新，但远低于传统混合高斯算法单帧检测所用时间，并且相对于经典ViBe算法和文献[14]算法的处理速度更快，保证了算法的实时性。

为了定量分析文中改进算法对目标检测的准确性，采用常用的评判标准：准确率αDR和误检率αFAR两个指标，来客观评价不同算法的检测性能。准确率αDR和误检率αFAR公式表示如下：

(25)

(26)

式中：TP表示检测到的与运动目标相符的像素数；FP表示检测到的不属于运动目标的像素数；FN表示未被检测到的属于运动目标的像素数。

由准确率αDR反映目标检测的完整度，αDR值越大，表示目标检测完整度越高，反之完整度越低。5种不同算法对场景1中的运动目标检测准确率曲线如图3所示。文中改进算法在3种不同实验场景下对目标检测的准确率曲线如图4所示。

图3 各算法的αDR曲线

图4 文中改进算法在3种场景下的αDR曲线

结果表明：文中改进的检测算法相较于其他4种算法整体性能最好，能够更加完整地检测出运动目标，并且在不同场景下目标检测准确率都能维持在一个较高的水平，具有较强的适应能力。

此外，针对上述5种算法在3种不同场景的干扰，计算出所有帧的平均准确率和平均误检率如表2、表3所示。可知：在目标检测准确率方面，传统三帧差分法的准确率最低，文献[14]算法的准确率相对有所提升，而文中改进算法的准确率最高达到了95.2%，极大提高了目标检测完整度；在目标检测误检率方面，传统混合高斯算法的误检率最高，文献[14]算法相对其有所降低，而文中改进算法的误检率最低，拥有明显的检测优势。

表2 5种检测算法的准确率对比

表3 5种检测算法的误检率对比

4.3 仿人机器人NAO目标检测测试实验

为验证改进算法对目标检测的可行性，进行机器人目标检测实验。以仿人机器人NAO作为硬件平台，如图5所示。NAO机器人拥有额头处和下颌处两个摄像机镜头，分别用于远景和近景的采集，两个摄像头不可以同时启动。采用机器人额头处的单目摄像头作为视觉传感器获取运动目标及场景相关信息，并确保运动目标出现在机器人视野内。调用NAOqi系统的ALVideoDevice视频管理模块，将实时视频数据发送到远程PC端进行处理。

图5 NAO机器人平台

主要设计3种实验场景：背景扰动、光照变化和室内环境下目标运动缓慢实验。为了说明改进算法的有效性，将传统混合高斯模型算法和传统帧差法与改进算法进行对比。

实验一，室外场景下存在背景噪声干扰时对运动目标进行检测。分别取视频的第90帧、第130帧和第160帧原始图像，检测结果对比如图6所示。受背景噪声干扰，传统帧差法及传统混合高斯模型算法容易将背景像素点误判为前景，并且存在较大空洞及边缘缺失问题。文中改进算法能够有效抑制背景扰动，检测到的目标完整度高，边缘连续性强。

图6 实验1目标检测结果对比

实验二，当场景中存在光照变化时进行运动目标检测。分别取视频的第60帧、第86帧和第119帧原始图像，检测结果对比如图7所示。目标从光照较暗区域走向光照较亮区域，出现明显的光照变化。可以看出，传统帧差法对光照变化不敏感，但空洞现象明显，目标检测完整度低。传统混合高斯模型算法在出现光照变化后，因为背景模型更新不及时，检测结果存在较为明显的误检现象。改进算法能够有效克服光照变化影响，减小了因光照变化导致的检测误差。

图7 实验2目标检测结果对比

实验三，在室内光线较暗环境下对运动状态较为缓慢的目标进行检测。分别取视频的第65帧、第77帧和第90帧原始图像，检测结果对比如图8所示。对运动缓慢的目标进行检测时，传统帧差法对低速运动目标不敏感，不能完整提取目标区域。传统混合高斯模型算法虽然在检测目标完整度上有了很大的提高，但是检测结果存在明显噪声。改进算法能很好地适应目标运动状态，对低速运动目标的检测效果得到了很大改进。

图8 实验3目标检测结果对比

5 结论

提出一种改进自适应混合高斯模型与帧间差分相融合的运动目标检测算法，并且将所提方法在公开的视频测试集和机器人中分别进行了测试和实验。对比实验结果表明：文中改进算法能够快速准确地检测出运动目标，有效克服了环境噪声及光照变化干扰，并且对运动缓慢的目标具有较好的检测能力，在保证实时性的同时对复杂环境具有较强的适应性，为后续目标跟踪与识别提供了有力保障。