一种CSS-SIFT复合图像配准算法

李培华，章 盛，刘玉莉，钱名思

（1.中航华东光电有限公司，安徽 芜湖 241002；2.安徽省现代显示技术重点实验室，安徽 芜湖 241002；3.国家特种显示工程技术研究中心，安徽 芜湖 241002；4.特种显示国家工程实验室，安徽 芜湖 241002）

0 引言

图像配准方法普遍应用于增强现实[1]、双目视觉[2]、全景拼接[3]等研究方向。2004年David Lowe 团队提出的尺度不变特征变换（Scale Invariant Feature Transform，SIFT）算法[4-5]是图像配准算法的里程碑，该算法保持了目标平移、旋转与缩放等变化的不变性，国内外科研者根据SIFT 算法实现原理将其分为3个部分，分别是图像特征检测、描述子向量形成和匹配，其中为了解决SIFT 算法3 个部分耗时长的问题，2004年，Yan Ke 团队将主成分分析（Principle Component Analysis，PCA）算法[6]融入到SIFT 算法中，即PCA-SIFT 算法[7]；2006年，Herbert Bay 团队在SIFT 算法的研究基础上提出了加速稳健特征（Speeded Up Robust Features，SURF）算法[8]，该算法主要有两方面的优化，一是使用Hessian 矩阵提升图像特征的检测速度，二是使用Haar 小波生成64 维描述子向量以提升图像特征的匹配速度；2014年和2015年，杨飒团队和赵爱罡团队提出使用压缩感知原理（Compressed Sensing Principle，CSP）[9]对图像特征描述子向量降维，降低了图像特征匹配时间[10-11]；2017年，韩超团队将Trajkovic 角点检测算法[12]与稀疏降维原理融入到传统 SIFT 算法中， 得到Trajkovic-SDR-SIFT 算法[13]；2018年，胡为团队利用内部矩阵外部圆形原理将128 维图像特征描述子向量降维到24 维，并采用随机抽样一致性（Random Sample Consensus，RANSAC）算法[14]进行图像特征的精匹配，最终结果是优化方法在速度和准确率方面都有显著的提高[15]；2019年，迟英朋团队将指数加权平均比率算子（Ratio of Exponentially Weighted Averages，ROEWA）算法[16]和OTSU 算法[17]融入到传统SIFT 算法中，提升了图像特征配准的准确率[18]；2020年，程德强团队利用Sobel 算法[19]优化传统SIFT算法图像特征描述子部分，再使用欧式距离算法和领域投票方法进行图像特征的匹配，优化SIFT 算法在配准准确率和执行速度方面都有一定的提升[20]。

本文针对传统SIFT 算法图像配准耗时长的问题，选用曲率尺度空间（Curvature Scale Space，CSS）算法[21]、优化SIFT 描述子和优化双向匹配算法对传统SIFT 算法进行优化，得到一种CSS-SIFT 算法。

1 CSS-SIFT 算法

传统SIFT 算法按照实现原理分成3 个部分：①图像特征的检测；②图像特征分配描述子向量；③图像特征的匹配。CSS-SIFT 算法根据传统SIFT 算法的实现原理，先使用CSS 算法检测图像特征，然后使用优化SIFT 描述子生成128 维图像特征描述子向量并利用稀疏投影原理将其降维到24 维，最后利用基于欧式距离和曼哈顿距离相结合的优化方法实现相似性距离匹配，即CSS-SIFT 算法，CSS-SIFT 算法的流程框图如图1所示。

1.1 图像特征的检测

CSS-SIFT 算法采用CSS 图像特征检测算法[21]检测图像特征，CSS 图像特征检测算法是Mokhtarian 和Suomela 等人于1998年提出的一种图像特征检测算法，该算法的图像特征检测步骤如下：

第一步：对待配准图像进行灰度化处理，得到灰度图像；

第二步：以灰度图像为对象，采用Canny 算法[22]对其进行处理，得到二值图像；

第三步：从二值图像中提取边缘轮廓，并填充边缘轮廓中的间隙，找到T 型特征；

第四步：计算所有边缘轮廓在低尺度下的曲率；

第五步：统计低尺度下的曲率，将局部极大曲率值对应的图像特征作为备选特征；

第六步：从最低尺度到最高尺度追踪备选特征来提升定位；

第七步：比较T 型特征和备选特征，剔除两个相近特征中的一个。

图1 CSS-SIFT 算法的流程框图Fig.1 Flow chart of the CSS-SIFT algorithm

1.2 优化SIFT 描述子

将稀疏投影原理融入到传统SIFT 描述子中得到优化SIFT 描述子，优化SIFT 描述子包括两个阶段，一是生成128 维图像特征描述子向量，该阶段和传统SIFT 描述子相同，二是使用稀疏投影原理对图像特征描述子向量进行降维，在仿真实验中发现当图像特征描述子向量降到12 维，图像的匹配速度有较大的提升，但由于图像特征的维数过低，导致图像特征的匹配数目降低，匹配效果不理想，因此综合考虑选择图像特征描述子向量为24 维。

假定128 维图像特征描述子向量为K，利用128×128 维小波变换基矩阵Ψ将128 维图像特征描述子向量转换成128 维稀疏向量Y，再利用24×128 维的随机投影矩阵R∈R24×128将128 维稀疏向量Y降维为24 维测量向量K′，将得到24 维测量向量K′作为图像特征描述子向量，如式(1)所示：

式中：K′表示24 维测量向量；R表示24×128 维的随机投影矩阵；Y表示128 维的稀疏向量；Ψ表示128×128 维的小波变换基矩阵；K表示128 维的图像特征描述子向量。

1.3 图像特征的匹配

本文在图像特征的匹配阶段采用欧式距离和曼哈顿距离相结合的相似性距离算法进行双向匹配。假定对图像A 与图像B 进行图像配准，先设定图像A中特征描述子向量为Ui(x1,x2,x3,…,x22,x23,x24)和图像B 中特征描述子向量为Vj(y1,y2,y3,…,y22,y23,y24)，则图像A 到图像B 的图像特征匹配采用欧式距离作为相似性距离，欧式距离定义式如式(2)所示，图像B 到图像A 的图像特征匹配采用曼哈顿距离作为相似性距离，曼哈顿距离定义式如式(3)所示：

式中：xm表示图像A 中特征描述子向量的元素；ym表示图像B 中特征描述子向量的元素；d(Ui,Vj)表示图像A 到图像B 的特征相似性距离值，d(Vj,Ui)表示图像B 到图像A 的特征相似性距离值。

假定图像A 和图像B 的特征集分别是U和V，其中的元素分别是Ui和Vj，图像特征的匹配步骤如下：

1）首先以图像A 特征集U中的图像特征Ui为参考对象，使用公式(2)遍历图像B 特征集V中的图像特征，得到d的最小值对应的最近邻图像特征V1j和次最小值对应的次最近邻图像特征V2j；然后比较d的最小值与次最小值的比值是否满足公式(4)，如果满足，则图像B 特征集V中的图像特征V1j与图像A 特征集U中的图像特征Ui是一对匹配图像特征；最后遍历图像A 特征集U中所有图像特征，得到图像特征匹配集O；

式中：d(Ui,V1j)、d(Ui,V2j)分别表示特征集U中的特征Ui与特征集V中的最近邻特征V1j、次最近邻特征V2j的相似性距离值，Th1表示阈值，本文设定Th1的值为0.75。

2）以图像B 特征集V为参考对象，使用公式(3)和公式(5)在图像A 特征集U中寻找匹配图像特征，得到图像特征匹配集H；

式中：d(Vi,U1j)、d(Vi,U2j)分别表示特征集V中的特征Vi与特征集U中的最近邻特征U1j、次最近邻特征U2j的相似性距离值，Th2表示阈值，本文设定Th2的值为0.75。

3）比较图像特征匹配集O与图像特征匹配集H中匹配图像特征，取出完全相同的匹配图像特征组成最终的图像特征匹配集F。

2 实验结果

实验仿真软件为MATLAB R2014a，实验仿真硬件为计算机，计算机的中央处理器配置是Intel Core i3-3240 CPU @ 3.40 GHz 、四核CPU、内存配置是4096MB RAM、操作系统配置是Windows 7 旗舰版32 位。

仿真实验分成2 个阶段：①选择3 种类型图像作为实验一的源图像、右视图像、下视图像、形变图像和旋转图像，分别是立体匹配库中的Tsukuba 图像、异源融合库中 Kaptein 红外图像和 Normal Brain Database 库中的MR_T1 脑部医学图像；②从立体匹配库中分别随机选取100、200、300、400 对待配准图像作为实验二的图像库，实验二图像库中仅有源图像和右视图像，以验证CSS-SIFT 算法的可靠性和实用性。

图2(a)～(e)分别是立体匹配库中的Tsukuba 可见光源图像、右视图像、下视图像、形变图像和旋转图像，像素大小为384×288；图2(a2)～(e2)是异源融合库中Kaptein 红外源图像、右视图像、下视图像、形变图像和旋转图像，像素大小为550×400；图2(a3)～(e3)是Normal Brain Database 库中的MR_T1 脑部医学源图像、右视图像、下视图像、形变图像和旋转图像，图像为165×200 像素。

图2 实验一待配准图像Fig.2 Registration images of the experiment one

实验一分别使用传统SIFT 算法、传统SURF 算法、 Forstern-SIFT 算法、 Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT 算法共6 种算法对实验一图像进行配准实验，实验步骤首先图2(a)分别与图2(b)～(e)进行配准实验，总共24 组实验；然后图2(a2)分别与图2(b2)～(e2)进行图像配准实验，总共24 组实验；最后图2(a3)分别与图2(b3)～(e3)进行配准实验，总共24 组实验，即源-右视配准、源-下视配准、源-形变配准和源-旋转配准。实验一得到图像特征的检测结果如图3(a)～(r)、图4(a)～(r)、图5(a)～(r)、图6(a)～(r)与图7(a)～(r)所示，图像特征的匹配结果如图8(a)～(l)、图9(a)～(l)、图10(a)～(l)、图11(a)～(l)、图12(a)～(l)与图13(a)～(l)所示。

实验一为了能够对比各算法之间的效率，选择图像特征数目、匹配数目、正确匹配数目、配准准确率、配准时间与配准时间下降率一共6 个参数作为评价指标，其中图像特征配准准确率和图像配准时间下降率的计算公式如式(6)和(7)所示。实验一的评价指标对比分析图如图14(a)～(f)所示，通过图14(d)可知，CSS-SIFT 算法与传统SIFT 算法、传统SURF 算法、Forstern-SIFT 算法、Harris-SIFT 算法和Trajkovic-SIFT算法相比，图像特征配准准确率相当。通过图14(f)可知，CSS-SIFT 算法与传统SIFT 算法、传统SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法和Trajkovic-SIFT 算法相比，图像配准速度方面有一定的提升。

图3 源图像的特征检测结果图Fig.3 The results graphs of source image feature detection

图4 右视图像的特征检测结果图Fig.4 The results graphs of right image feature detection

图5 下视图像的特征检测结果图Fig.5 The results graphs of down image feature detection

图6 形变图像的特征检测结果图Fig.6 The results graphs of deformation image feature detection

图7 旋转图像的特征检测结果图Fig.7 The result graphs of rotated image feature detection

图3(a)～(r)、图4(a)～(r)、图5(a)～(r)、图6(a)～(r)与图7(a)～(r)表示使用传统SIFT 算法、传统SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT 算法共6 种算法分别对实验一源图像、右视图像、下视图像、形变图像和旋转图像的特征检测结果图。

图8 基于传统SIFT 算法的图像特征匹配结果图Fig.8 The result graphs of image feature matching based on the traditional SIFT algorithm

图9 基于传统SURF 算法的图像特征匹配结果图Fig.9 The result graphs of image feature matching based on the traditional SURF algorithm

图10 基于Forstner-SIFT 算法的图像特征匹配结果图Fig.10 The result graphs of image feature matching based on the Forstner-SIFT algorithm

图11 基于Harris-SIFT 算法的图像特征匹配结果图Fig.11 The result graphs of image feature matching based on the Harris-SIFT algorithm

图12 基于Trajkovic-SIFT 算法的图像特征匹配结果图Fig.12 The result graphs of image feature matching based on the Trajkovic-SIFT algorithm

图13 基于CSS-SIFT 算法的图像特征匹配结果图Fig.13 The result graphs of image feature matching based on the CSS-SIFT algorithm

图8(a)～(l)、图9(a)～(l)、图10(a)～(l)、图11(a)～(l)、图12(a)～(l)、图13(a)～(l)分别表示使用传统SIFT算法、传统 SURF 算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT 算法和CSS-SIFT算法对实验一中3 种类型图像的匹配结果图，其中每种类型图像都包括源-右视、源-下视、源-形变和源-旋转，源-右视表示源图像与右视图像之间的配准、源-下视表示源图像与下视图像之间的配准、源-形变表示源图像与形变图像之间的配准和源-旋转表示源图像与旋转图像之间的配准。

图14 图像配准的对比分析图Fig.14 Comparison analysis graphs of image registration

图14(a)～(f)表示使用传统SIFT 算法、传统SURF算法、Forstern-SIFT 算法、Harris-SIFT 算法、Trajkovic-SIFT算法与CSS-SIFT算法分别对实验一待配准图像的特征检测数目、匹配数目、正确匹配数目、配准准确率、配准时间、配准时间下降率的对比分析图。

实验二分别使用传统SIFT 算法、传统SURF 算法、 Forstern-SIFT 算法、 Harris-SIFT 算法、Trajkovic-SIFT 算法与CSS-SIFT 算法分别对包含100对、200 对、300 对、400 对配准图像的图像集进行仿真实验，为了对比各算法之间的效率，选择图像特征配准准确率和图像配准时间两个参数作为统计指标，计算公式如式(6)和(7)所示，统计结果如表1所示，从表1 中数据分析可知，CSS-SIFT 算法与传统SIFT 算法、传统SURF 算法、Forstern-SIFT 算法、Harris-SIFT算法、Trajkovic-SIFT 算法在图像特征配准准确率方面相当，在图像配准时间方面降低了58.45%、10.68%、14.84%、16.21%与4.63%。

表1 不同规模图像集的图像配准时间、准确率比较Table 1 The comparison of the image registration time,accuracy of different scale image sets

表1 中SIFT 代表传统SIFT 算法，SURF 代表传统SURF 算法，F-SIFT 代表Forstern-SIFT 算法，H-SIFT 代表 Harris-SIFT 算法， T-SIFT 代表Trajkovic-SIFT 算法，C-SIFT 代表CSS-SIFT 算法，时间代表图像配准时间，单位是秒。准确率代表图像特征配准准确率，单位是%。

3 结论

本文首先根据传统SIFT 算法存在的问题提出了CSS-SIFT 算法，然后通过仿真实验与其它优化算法作对比分析发现，CSS-SIFT 算法在配准准确率相当的情况下提升了配准速度，为图像配准实时性要求比较高的应用场景提供了一种的解决方案。