付理想,刘 奇,邸昊田,张晓宇,于 斌,孟祥成
(1.江苏省瑞沃建设有限公司,江苏 高邮 225600;2.东南大学 交通学院,江苏 南京 211189)
传统的人工或半机械化的沥青路面检测方法主观因素大、检测效率低、受制于环境因素,重复性较差,不利于道路现代化管理。因此,为了及时、高效、准确地评价路面状况,需要开发半自动化或自动化的路面检测方法。
数字图像处理技术作为沥青路面裂缝识别的核心,关乎裂缝信息提取的准确性。为了消除背景不均匀光照及阴影的影响,董静薇等[1]提出了采用同态滤波的方法,但该算法对噪声复杂的路面图像处理效果不佳。此外,图像在采集、传输及存储的过程中不可避免地引入各种噪声,增加了裂缝目标提取的难度。中值滤波作为非线性处理方法,其降噪效果较为明显,尤其针对椒盐噪声,但对于多种噪声的处理效果较差[2]。易春菊[3]提出了多结构的中值滤波算法,从水平、45°、垂直、-45°方向对图像进行中值滤波处理,但平滑后的像素邻域内仍然存在孤点噪声。为了去除油污等具有一定纹理特征的噪声,王婷婷[4]采用连通域的几何特征。形态学处理方法也被用于裂缝图像降噪处理[5]。在频率域方面,采用小波分解将裂缝图像分为不同频率的子带,并对不同频率的子带进行处理,以达到降噪的目的[6-8],还可以根据子块图像直方图的重叠部分来均衡化图像以增强处理[9]。基于主动生长的裂缝断裂连接方法采用最简单的3×3结构元素进行两次迭代连接即可实现裂缝连接[10]。通过将神经网络分类模型引入到道路图像的识别,通过训练集训练模型,使用模型对测试集进行分类,准确率较高[11]。
根据Mask匀光法的叠加原理[12],对裂缝图像进行拆分并进行模型描述。
式中:F'(x,y)m×n,x(0,m),y(0,n)—光照不均匀图像;F(x,y)—获取的匀光图像,B(x,y)背景图像。
根据Mask匀光法基本原理求背景矩阵,然后用原灰度矩阵F'减去背景矩阵G,得到矩阵K',将矩阵K'中<0的元素置为0,之后再将矩阵中各元素乘以拉伸系数k,得到灰度矩阵F(x,y),即进行灰度校正后的沥青路面灰度图像。
针对图像横向光照不均匀的特性,采用基于改进的Mask匀光算法实现图像的光照均匀,见图1。
图1 原图像与匀光后图像及其直方图对比
匀光前图像宏观表现为左暗右亮分布,不均匀性明显,匀光后图像表现亮度更均匀。对比匀光前后图像矩阵的灰度值,见图2。
图2 匀光前后横断面方向路面灰度值对比
匀光后图像的灰度值波动较为集中,像素的灰度值标准差由26.26降低至20.65,下降了27.2%,但仍然存在一些较大的灰度值,可能是孤点噪声或者路面的纹理噪声,因此,需要进行降噪滤波处理。
结合维纳滤波与中值滤波的特点,提出针对混合噪声的滤波算法,由于中值滤波对椒盐噪声有较好地滤除效果,采用中值滤波去除椒盐噪声,而对高斯噪声则采用滤除高斯噪声较好地均值滤波。
(1)采用3×3的滤波模板,首先用滤波器中心与需滤波的像素点重合,然后将邻域内灰度值从小到大排列,即a1,a2,a3,a4,a5,a6,a7,a8,a9,am表示邻域内像素的灰度均值。(2)判断滤波器中心处像素灰度值,若中心点灰度值为a1或a9,则把滤波器的中值a5作为该点的灰度值;若中心点灰度值在区间(a1,am)内,则判断该像素不是噪声点,不对其进行滤波处理;若中心点灰度值在区间(am,a9)内,则判断为高斯噪声点,把a3~a7的平均值作为该点的灰度值。(3)待滤波模板对所有像素重复前两步后,图像滤波结束,输出滤波后的图像。
对原沥青路面图像添加均值为0,方差为0.05的高斯噪声和密度为0.01的椒盐噪声,并计算添加噪声后图像矩阵的均值和标准差,其次分别进行算术均值滤波、中值滤波及改进的均值-中值滤波,并计算滤波后图像矩阵的均值和标准差,然后采用方差法对比均值与标准差的比值,见表1。
表1 三种方法滤波后均值与标准差对比
根据表1,三种滤波后图像矩阵的均值大致相等,中值滤波与算术平均值滤波后的图像矩阵标准差也大致相等,而采用改进的均值-中值滤波法得到的图像矩阵的标准差为13.202 2,比前两种方法最大降低了51%,表明改进的滤波算法能有效降低图像的高斯与椒盐噪声。
为了突出裂缝信息,需要通过弱化背景信息以增强图像对比度,从而达到分割图像的目的。沥青路面裂缝图像中高频信息一般是小区域内灰度值变化较大的部分,如裂缝边缘、孤立噪声点等,而低频信息一般是背景部分。采用小波对沥青路面裂缝图像进行滤波分解,弱化背景增强细节部分,最后进行重构。
(1)采用母小波函数sym4对沥青裂缝图像矩阵在第2层进行离散小波分解,得到分解系数矩阵C和相应的分解系数的长度矢量矩阵S,分解系数矩阵C=[A(2)|H(2)|V(2)|D(2)|H(1)|V(1)|D(1)],其中A(2)为第2层的低频系数,H(2)|V(2)|D(2)分别代表第2层的水平高频系数、垂直高频系数及对角高频系数,H(1)|V(1)|D(1)依次类推;(2)对得到的分解系数矩阵中的高频系数进行增强,低频系数弱化,以达到去除低频部分即背景的目的;(3)采用同样的母小波函数sym4对增强后的高频系数,弱化后的低频系数进行小波重构,得到增强后的沥青路面裂缝图像;(4)使用圆盘形结构元素对增强后的裂缝图像进行闭运算。
图像增强无法有效去除背景中的纹理噪声,经过小波变换后,沥青路面裂缝轮廓清晰可见,基本实现了裂缝与背景分离,见图3,但过多的背景噪声无法继续进行裂缝类型分类,因此,需要进一步的处理。与原图相比,在裂缝信息增强的过程中,由于参数的调试,可能的裂缝区域信息被弱化,导致裂缝出现断裂(红色区域),使得得到的裂缝并非完全形式的裂缝。
图3 基于小波变换增强后的裂缝图像
为了去除与裂缝区别明显的纹理噪声,且不影响裂缝信息的完整性,采用标记连通域的方法,去除具有一定特征的纹理噪声连通域,保留裂缝连通域。(1)图像中的像素子集用R表示,若像素点r和l在R内,可以通过其他像素点将r和l连接到一起,则像素点r和l是连通的。(2)对于R中任何像素r,R中连通到该像素的集合称为R的连通分量。该方法和区域生长具有类似性。遍历图像中的所有像素点,标记连通域,每个连通域的像素个数记为s,去除s<T的连通域,可以去除大部分的纹理噪声。
小波变换后的图像基本上实现了裂缝目标与背景的分离,但仍需进一步的分割处理。通过连通域操作,将裂缝从背景图像中分离,见图4。此外,由于裂缝区域灰度值变化较大,去除噪声的同时也去除了属于裂缝的小部分区域,因此,进一步出现了裂缝断裂,同时闭运算并没有把断裂的裂缝连接起来,但裂缝的特征明显,足以进行分类。
图4 去连通域后的路面裂缝二值图像
支持向量机(Support Vector Machine)是分类与回归分析中分析数据的监督式学习模型与相关的学习算法。SVM在解决非线性、小样本、高维数的问题上有较大优势,基于识别精度与计算量的考虑,采用SVM作为沥青路面裂缝图像的分类器。《公路技术状况评定标准》(JTG 5210—2018)[13]把路面裂缝分为横向裂缝、纵向裂缝、龟裂和块状裂缝,其中横纵裂缝具有明显的走向,将其归为规则裂缝,龟裂与块状裂缝走向不规则,归为不规则裂缝。SVM一般只能进行单一的二分类,因此,需要决策树模型进行判断,决策树的思想是运用多级的二分类对多类型进行分类,通过多次“一对多”的二分类达到多分类,即对增强的图像首先划分为有裂缝和无裂缝两个子类,然后对有裂缝的图像进一步划分成规则裂缝和不规则裂缝,对规则裂缝划分为横向裂缝和纵向裂缝,通过二分类使最后的子类中只有一个类别,决策树模型见图5。
图5 SVM决策树模型
经过图像分割处理获得了裂缝目标,还需要对裂缝进行分类以评估道路病害程度。首先通过分析裂缝整体分布情况对裂缝进行特征提取;再运用SVM决策树模型对裂缝目标进行分类。选择线统计特征和横纵向投影特征作为裂缝特征,较好地反映了裂缝整体的特征,便于裂缝的是识别分类。
线统计特征是指在检测完之后的裂缝图像中等间距地用横线和纵线进行切割,统计直线与裂缝区域相交的次数[14]。横向裂缝与纵直线相交的次数远大于与横直线相交的次数,纵向裂缝与之相反,不规则裂缝与横、纵直线相交的次数较为接近;而从横纵投影看,横向裂缝垂直投影的波峰数远多于水平投影,纵向裂缝相反,不规则裂缝则较为相近。
为了训练SVM分类器,决策树第一步选择了598张有裂缝图像和542张无裂缝图像从中随机选择70%作为训练集,余下作为测试集;第二步在有裂缝的图像中随机选择100张规则裂缝和100张不规则裂缝,从中随机选择70%作为训练集,余下作为测试集;第三步在规则裂缝中选择50张横向裂缝和50张纵向裂缝,从中随机选择70%作为训练集,余下作为测试集。采用父节点优先的原则来构造决策树分类器[15],首先训练根节点SVM分类器,再训练子节点SVM分类器,选取Sigmoid函数为支持向量机核函数。训练后的分类器对测试集的分类结果见表2。
表2 SVM分类结果
横向裂缝及其水平垂直投影见图6、图7。
图6 横向裂缝
图7 横向裂缝水平垂直投影
纵向裂缝及其水平垂直投影见图8、图9。
图8 纵向裂缝
图9 纵向裂缝水平垂直投影
不规则裂缝及其水平垂直投影见图10、图11。
图10 不规则裂缝
图11 不规则裂缝水平垂直投影
(1)基于改进的匀光算法实现了路面图像的光照均匀性,横向灰度值标准差降低了27.2%;(2)基 于改进的均值-中值滤波方法能够有效地滤除高斯和椒盐噪声,滤波后图像灰度值标准差最大降低了51%,连通域操作并不能连接所有的断裂裂缝;(3)支 持向量机方法在有无裂缝的分类中识别精度达到94.41%和94.47%,在裂缝规则性分类中,识别精度达90%和93.3%,在横纵裂缝的分类中识别精度达93.30%,总体识别精度满足标准要求的90%。