基于显著纹理特征的织物疵点检测方法

石美红， 张 正， 郭仙草， 陈永当

(西安工程大学 计算机科学学院， 陕西 西安 710048)

基于显著纹理特征的织物疵点检测方法

石美红， 张 正， 郭仙草， 陈永当

(西安工程大学 计算机科学学院， 陕西 西安 710048)

针对显著纹理背景下织物图像灰度级有限、对比度不明显致使目标疵点自动检测难度较大的问题，提出了一种用于显著纹理背景的织物疵点检测方法。鉴于Tamura纹理模型具有分辨能力强、旋转不变性以及算法鲁棒性强的特点，提出了多尺度度量局部纹理粗糙度的改进算法，以增强纹理分辨能力；结合织物疵点图像视觉显著性分析，基于局部纹理最佳窗口，通过提取与融合粗糙度、对比度和方向生成视觉显著性特征图，以显著突出织物疵点区。经TILDA织物纹理图库数据的实验测试结果表明，与其他相关方法相比，此方法在有效抑制显著纹理背景的同时，检测的目标疵点具有较好的一致性和完整性。

纹理显著性； 局部纹理； 粗糙度； 多尺度度量； 织物疵点检测

织物疵点检测是纺织品全质量监控的重要环节之一，其结果的好坏直接影响后续的纺织品等级划分。目前常用的织物疵点检测方法有[1-3]：数理统计法(经典的有灰度共生矩阵、形态学、自相关函数、分形学等方法[4-7])，这类方法是通过提取织物图像中像素间的空间分布、区域的几何形状、纹理的自相关性或自相似性等特征检测织物疵点；频谱法(典型的有傅里叶变换、小波变换、Gabor变换等方法[8-10])，分别利用傅里叶的功率谱特性、小波时频的多分辨率特性、Gabor的空频特性提取特征检测织物疵点；模型法(经典的有马尔科夫随机场模型、自回归模型等方法[11-12])，它们分别通过描述织物图像中邻域像素间结构与统计特征、不同像素间的线性相关特征检测织物疵点；人工神经网络法[13-14]，其中经典的BP网、脉冲耦合神经网络(简称为PCNN)等方法，利用神经网络的自学习、自组织的能力实现织物疵点的自动检测。近年来，又出现了基于视觉显著性的疵点检测方法，文献[15]针对织物疵点种类繁多难以检测的问题，利用高斯滤波和Gabor滤波提取区域级的模糊显著性特征和像素级的显著性特征间对比度，定位疵点；文献[16]利用小波多分辨率滤波构造织物图像的近似特征子图和细节特征子图，再通过特征差分子图的融合形成显著特征图，以满足平纹织物疵点的动态检测；文献[17]先基于分块的图像计算测试的图像块与随机选取的图像块间局部二进制模式(简称为LBP)纹理对比度和灰度统计直方图对比度，再基于上下文整体显著性分析生成视觉显著图；文献[18]针对织物图像纹理多样化及疵点类别较多的特点，基于分块图像计算LBP的纹理特征与平均纹理特征间的相似度，生成显著特征图。

上述这些方法都有效地改善了疵点检测的精确度，但是疵点的不确定性、种类的多样性和形态的复杂性，使得织物疵点检测方法还有待于进一步研究开发[2-3]。为解决灰度级有限、对比度不明显的显著纹理背景下目标疵点检测的问题，受文献[19]的启示，首先提出了一种基于多尺度度量局部纹理粗糙度的改进算法，然后借鉴人类视觉自底向上的注意机制，给出了一种适用于织物疵点图像显著分析的视觉显著性度量方法。经TILDA织物纹理图库数据及CCD相机采集到的图像数据的实验测试，与文献[15]、[17-18]方法相比，结果验证了该方法的可行性和有效性。

1 织物疵点图像视觉显著性分析

视觉显著性已被成功地应用在目标检测与跟踪、图像检索与识别、场景分析等领域[20-22]。显著性标识了一个场景中具有独特性质并能够吸引更多视觉注意力的特定区域，该区域被认为具有视觉显著性。尽管它们的纹理背景各不相同，但是视觉感受上能够快速地将注意力集中在疵点区域上。这表明，视觉显著性能够直接将视觉注意力引向具有显著属性的目标上，而不需要逐个扫描对象。织物纹理是由经向和纬向纱线按组织结构规则和一定密度交织而成的。图1示出显著纹理背景的织物疵点图像，其中，标示的矩形框为目标疵点区域。由图可看出，织物纹理的最大特点是有序的排列规则和重复的纹理模式。尽管织物疵点种类繁多，形态各异，但是从视觉显著角度看，因疵点的出现破坏了织物的纹理模式，既使疵点区域与背景区域的对比度特征不明显，但是，其粗糙度或方向存在着明显差异(见图1(a)、(b)、(c))。同样，在图1(b)、(d) 中，不仅疵点区域与背景区域的纹理模式明显不同，而且它们区域间的对比度也存在着差异，因此，相对其他低级视觉特征，织物疵点图像的粗糙度、对比度和方向等特征更具有显著性。

2 视觉显著性特征提取

视觉显著性特征提取方法流程如图2所示。首先采用改进的局部纹理粗糙度算法，计算每个像素点对应的局部纹理最佳窗口，接着基于最佳窗口分别计算局部纹理的粗糙度、对比度和方向3个特征值，得到对应的特征子图，然后通过归一化融合特征子图，生成视觉显著性特征图。

2.1 改进的局部纹理粗糙度算法

Tamura等提出的一种纹理粗糙度特征不仅有效地克服了粗糙度对对比度的依赖性，保持了与人眼视觉感知的一致性，而且具有良好的纹理分辨力、旋转不变性及其鲁棒性[23]，但是，它以整幅图像的平均粗糙度作为特征，这既不能精确地度量局部纹理的粗糙度，也丢失了局部纹理的分布信息。针对此问题，金左轮等[19]提出了一种局部纹理粗糙度的度量算法，有效地改善了纹理粗糙度的性能。但是，该算法以4k×4k(k=1,2,…n)邻域区域提取纹理粗糙度，这种度量方法难免会出现具有不同基元尺寸的局部纹理却得到相同纹理粗糙度特征值的现象。为提高局部纹理模式的分辨能力，结合织物纹理的特点，提出了一种基于多尺度度量局部纹理粗糙度算法。

假设，图像F的大小为M×N，用n记录被处理的像素个数；以(2k+1)×(2k+1)为活动窗口遍历图像，k=1,2,…,Lmax，Lmax为最大窗口尺度。那么，度量局部纹理粗糙度算法流程如图3所示。

其中，计算局部纹理粗糙度特征的显著度(fc)：

(1)

式中hn为灰度值n在图像中出现的频率。

为验证改进算法对纹理模式的分辨能力，构建了1组大小为256像素×256像素的西洋跳棋盘模式图像序列T1，T2，…，T16，如图4所示。棋盘中的棋格数目从17×17开始，减1递减，直至2×2。显然，如果依据尺度大小定性描述纹理粗糙度，那么图像序列T1，T2，…，T16对应的纹理粗糙度是线性递增的。

图5示出采用文献[19]算法和本文改进算法对图4的图像序列计算得到的局部纹理粗糙度均值的变化曲线，其中文献[19]算法中Lmax=5，本文改进算法中Lmax=9。可看出，随棋盘尺度的线性递增，改进算法的局部纹理粗糙度均值变化曲线是线性递增的，而文献[19]算法的局部纹理粗糙度均值变化曲线是非线性的。实验结果表明，改进算法的局部纹理粗糙度度量的精确度优于文献[19]算法。

2.2 局部纹理对比度提取

尽管疵点与背景间的像素灰度对比度不明显，但是，它们之间的纹理区域灰度对比度存在着明显差异，本文基于局部纹理粗糙度计算对比度特征(fm)

(2)

式中g为最佳窗口下的灰度均值。

2.3 局部纹理方向提取

为进一步提高局部纹理的显著性特征，基于最佳窗口计算方向特征fd：

(3)

(4)

式中：fij表示以位于(i,j)的像素点为中心、以Sbest为窗口大小的子图像；*为卷积运算；Tk为同等窗口大小的算子模板：

2.4 特征子图归一化和融合

为消除各特征子图量化级数的不一致性，先对每个特征子图进行归一化处理，然后，按照式(5)加权融合得到视觉显著性特征图FR：

(5)

3 实验结果与分析

为验证本文方法的有效性，在主频为2.10 GHz的Intel Core(TM)2处理器、内存为4 GB、实验平台为MatLab R2008a的环境下，从TILDA织物纹理图库及CCD相机采集的织物图像数据中选择了灰度级有限、对比度不明显的具有显著纹理背景、大小为256像素×256像素的织物图像进行了实验。图6～10示出从织物图像中分别提取粗糙度、对比度、方向的特征子图像以及三者融合后视觉显著性特征图。

由图可看出，当疵点破坏了织物纹理模式时，既使疵点区与背景区间的对比度不明显，但是，疵点区域纹理的粗糙度和方向特征都有显著的标记。经归一化融合后生成的视觉显著性特征图不仅突显了目标疵点区域，同时，也有效地消除或弱化了显著的纹理背景。这是因为改进局部纹理粗糙度算法是基于多尺度度量局部纹理的最佳窗口，并由此提取粗糙度、对比度和方向特征，可有效地提高局部纹理模式的分辨能力。将本文算法生成的视觉显著性特征图与文献[15]、[17-18]方法生成的视觉显著性特征图进行了实验对比，如图11～15所示。

从提取的显著性特征图看，与其他方法相比，本文方法提取的显著性特征图不仅凸显了疵点区域，而且较好地抑制了显著纹理背景，这是因为粗糙度、对比度和方向特征是基于局部纹理的最佳窗口提取的，有效地提高了局部纹理模式的分辨能力。文献[15]是通过高斯滤波和Gabor滤波获得区域级的模糊显著性特征和像素级的显著性特征间对比度定位疵点的，尽管能够精细地定位疵点位置，但同时也检测出了背景纹理；文献[17-18]都是基于分块图像计算局部纹理特征，但是，文献[17]的图像分块因没有考虑局部纹理的不同基元大小，同时在特征融合中丢失了局部纹理的分布信息，导致生成的显著特征图存在明显的纹理背景，疵点区域边缘也比较模糊；文献[18]尽管在特征融合中考虑了图像的整体分布信息，但同样因图像分块采用同一窗口，致使当背景纹理基元与疵点区域的纹理基元相差不大时，不能有效地将疵点区域从背景中分离出来。

采用Otsu分割算法对生成的视觉显著性特征图进行分割，有效地检测出疵点。图16～20示出对不同方法生成的视觉显著性特征图的疵点检测结果。从分割结果可看出，本文所提出的算法有效地将疵点区域从显著的纹理背景中分离出来，并且检测结果正确。

表1示出了对不同大小图像用不同方法生成视觉显著性特征图的耗时。从表1可看出，本文方法计算时间复杂度要低于文献[17]和文献[18]方法，但高于文献[15]方法，这是因为文献[17]和[18]方法提取的显著性特征维度分别为256和59，远大于本文方法的16维度，而文献[15]方法是先通过滤波消除纹理背景，然后仅提取对比度特征检测目标疵点，所以耗时低。

表1 不同方法生成视觉显著性特征图的耗时Tab.1 Time consuming for visual saliency map generated by different methods s

4 结 论

针对显著纹理背景下因灰度级有限、对比度不明显的织物图像疵点检测难度较大的问题，借鉴人眼视觉感知机制，提出了一种用于显著纹理背景的织物疵点检测方法。1)鉴于Tamura纹理模型具有分辨能力强、旋转不变性以及算法鲁棒性强的优势，结合织物纹理图像特点，提出了一种多尺度度量局部纹理粗糙度的自适应算法；2)结合织物图像的视觉显著性分析，给出了一种基于局部纹理最佳窗口的视觉显著性度量方法。与传统方法相比，本方法的最大特点是在较好地抑制显著纹理背景的同时，检测出的目标疵点具有较好的一致性和完整性。本方法可用于具有显著纹理背景的牛仔布、针织品、麻布品等表面的缺陷检测，具有广泛的应用前景。

FZXB

[1] KUMAR A. Computer vision-based fabric defect detection: a survey[J]. IEEE Transactions on Industrial Electronics, 2008, 55(1): 348-363.

[2] NGAN H, PANG G, YUNG N. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011, 29(7): 442-458.

[3] 李文羽, 程隆棣. 基于机器视觉和图像处理的织物疵点检测研究新进展[J]. 纺织学报, 2014, 35(3): 158-164. LI Wenyu, CHENG Longdi. New progress of fabric defect detection based on computer vision and image processing[J]. Journal of Textile Research, 2014, 35(3): 158-164.

[4] TSAI I S, LIN C H, LIN J J. Applying an artificial neural network to pattern recognition in fabric defects[J]. Textile Research Journal, 1995, 65(3): 123-130.

[5] MAK K L, PENG P, YIU K F C. Fabric defect detection using morphological filters[J]. Image and Vision Computing, 2009, 27(10): 1585-1592.

[6] CHETVERIKOV D, HANBURY A. Finding defects in texture using regularity and local orientation[J]. Pattern Recognition, 2002, 35(10): 2165-2180.

[7] BU Honggang, WANG Jun, HUANG Xiubao. Fabric defect detection based on multiple fractal features and support vector data description[J]. Engineering Applications of Artificial Intelligence, 2009, 22(2): 224-235.

[8] CHAN C H, PANG G K H. Fabric defect detection by fourier analysis[J]. IEEE Transactions on Industry Applications, 2000, 36(5): 1267-1276.

[9] 李立轻, 黄秀宝. 用于疵点检测的织物自适应正交小波的实现[J]. 东华大学学报(自然科学版), 2002, 28(2): 77-81. LI Liqing, HUANG Xiubao. Adaptive orthogonal wavelet of fabric defect detection[J]. Journal of Donghua University(Natural Science Edition), 2002, 28(2): 77-81.

[10] KUMAR A, PANG G K. Defect detection in textured materials using Gabor filters[J]. IEEE Transactions on Industry Applications, 2002, 38(2): 425-440.

[11] 贡玉南, 华建兴, 黄秀宝. 基于高斯-马尔科夫随机场模型的织物纹理特征参数提取方法[J]. 东华大学学报(自然科学版), 1999, 25(2): l-4. GONG Yunan, HUA Jianxing, HUANG Xiubao. Feature extraction of fabric texture based on GMRF models[J]. Journal of Donghua University(Natural Science Edition), 1999, 25(2): l-4.

[12] ALATA O, RAMANANJARASOA C. Unsupervised textured image segmentation using 2-d quarter plane autoregressive model with four prediction supports[J]. Pattern Recognition Letters, 2005, 26(8): 1069-1081.[13] KUO C F J, LEE C J. A back-propagation neural network for recognizing fabric defects[J]. Textile Research Journal, 2003, 73(2): 147-151.

[14] SHI Meihong, JIANG Shoushan, WANG Huran, et al. A simplified pulse-coupled neural network for adaptive segmentation of fabric defects[J]. Machine Vision and Applications, 2009, 20(2): 131-138.

[15] 赵波, 郑力新, 潘旭玲, 等. 新的基于图像显著性区域特征的织物疵点检测算法[J]. 计算机应用, 2012, 32(6): 1574-1577. ZHAO Bo, ZHENG Lixin, PAN Xuling, et al. New approach of fabric defects detection based on saliency region feature[J]. Journal of Computer Applications, 2012, 32(6): 1574-1577.

[16] 管声启, 高照元, 吴宁, 等. 基于视觉显著性的平纹织物疵点检测[J]. 纺织学报, 2014, 35(4): 56-61. GUAN Shengqi, GAO Zhaoyuan, WU Ning, et al. Defect detection of plain weave based on visual saliency mechanism[J]. Journal of Textile Research, 2014, 35(4): 56-61.

[17] 李春雷, 张兆翔, 刘洲峰, 等. 基于纹理差异视觉显著性的织物疵点检测算法[J]. 山东大学学报(工学版), 2014, 44(4): 1-9. LI Chunlei, ZHANG Zhaoxiang, LIU Zhoufeng, et al. A novel fabric defect detection algorithm based on textural differential visual saliency model[J]. Journal of Shandong University (Engineering Science Editior), 2014, 44(4): 1-9.

[18] 刘洲峰, 赵全军, 李春雷, 等. 基于局部统计与整体显著性的织物疵点检测算法[J]. 纺织学报, 2014, 35(11): 62-67. LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis[J]. Journal of Textile Research, 2014, 35(11): 62-67.

[19] 金左轮, 韩静, 张毅, 等. 基于视觉显著性的微光图像目标检测[J]. 物理学报, 2014, 63(6): 1-12. JIN Zuolun, HAN Jing, ZHANG Yi, et al. Low light level image target detection based on texture saliency[J]. Acta Physica Sinica, 2014, 63(6): 1-12.

[20] HOU X, HAREL J, KOCH C. Image signature: highlighting sparse salient regions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 194-201.

[21] JUNG C, KIM C. A unified spectral-domain approach for saliency detection and its application to automatic object segmentation[J]. IEEE Transactions on Image Processing, 2012, 21(3): 1272-1283.

[22] KIM W, KIM C. Saliency detection via textural contrast[J]. Optics Letters, 2012, 37(9): 1550-1552.

[23] 赵海英，徐光美，彭宏. 纹理粗糙度度量算法的性能比较[J]. 计算机科学, 2011, 38(6): 288-292. ZHAO Haiying, XU Guangmei, PENG Hong. Performance evaluation for algorithms to measure texture coarseness[J]. Computer Science, 2011, 38(6): 288-292.

Fabric defects detection method based on texture saliency features

SHI Meihong, ZHANG Zheng, GUO Xiancao, CHEN Yongdang

(CollegeofComputerScience,Xi′anPolytechnicUniversity,Xi′an,Shaanxi710048,China)

Owing to its low contrast, the defects of fabric images for background texture saliency are not very salient, and they are difficult to detect automatically. Aimed at this problem, a method for fabric defects detection based on texture saliency features is proposed in the paper. Firstly, in view of robustness of Tamura texture features, good discrimination and rotation invariance to texture, we present an improved local texture coarseness algorithm(ILTCA) based on multi-scale calculation in order to further enhance discrimination to local texture. Then on a fabric image, coarseness, contrast and direction are calculated respectively based on optimal scale of local textures in accordance with ILTCA and three characteristic sub-maps are obtained, a salient feature map is formed by normalization and weighted fusion for difference sub-maps. Finally, comparing with the existing methods of fabric defects detection based on visional saliency feature, the comparing experiment results on the TILDA texture databases show that the proposed method can effectively isolate fabric defects from salient background texture and fabric defects detected has good homogeneity and integrality.

texture saliency; local texture; coarseness; multi-scale calculation; fabric defect detection

2015-04-29

2016-04-25

国家科技支撑计划基金资助项目(2014BAF07B01)；中国纺织工业联合会科技项目(2014066)；陕西省科技创新工程重大科技专项项目(2008ZDKG-36)

石美红(1956—)，女，教授。研究方向为智能信息处理与模式识别。E-mail：meihong_shi@163.com。

10.13475/j.fzxb.20150405608

TP 391.41

A