一种改进的摄像头视频实时拼接方法

徐杰，金湘亮，白瑞广

湘潭大学材料与光电物理学院，湖南湘潭 411105

一种改进的摄像头视频实时拼接方法

徐杰，金湘亮，白瑞广

湘潭大学材料与光电物理学院，湖南湘潭 411105

1 引言

随着远程视频监控、视频会议和3D视频生成等技术的发展，对摄像头视频的水平视角提出了更高的要求[1]。普通摄像头的视角在40°左右，广角摄像头的视角可以达到130°，鱼眼摄像头甚至可以达到180°～230°。但随着视角的增大，摄像头所得到的视频图像失真就越严重，校正过程复杂，适用场合有很大的局限性。因此，摄像头视频拼接技术得到了越来越广泛的应用[2]。

摄像头视频拼接技术，通过同时采集具有一定重叠区域的摄像头视频帧图像，对帧图像进行实时拼接融合处理，得到宽视角视频[3-4]。近年来，SIFT特征点[5]依靠其在图像平移、旋转、缩放、甚至仿射变换中保持的不变性，在图像配准、拼接领域体现出了较明显的优势，本文采用SIFT特征点用于帧图像匹配。

在现有的视频拼接方法中，文献[6]基于SIFT特征跟踪，用遍历搜索算法进行匹配，实现了5帧/s的视频拼接，还达不到实时性的要求。文献[7]采取柱面投影变换，利用Best-Bin-First（BBF）搜索算法进行SIFT特征点匹配实现了视频拼接，但在重叠区域较小（＜20%）时方法失效。本文通过同时采集具有一定重叠区域的摄像头视频帧图像，基于PC机，将DBH算法和RANSAC算法结合，提高了匹配精度，得到在重叠区域较小时的实时无缝拼接融合的摄像头视频。

2 帧图像拼接

2.1 SIFT特征向量生成

SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置、尺度、旋转不变量[5]。一幅图像SIFT特征向量的生成可以分为以下4步：

（1）建立图像金字塔。高斯卷积核是实现尺度变换过程的唯一变换核，也是唯一的线性核。为了有效实现尺度变换，采用不同尺度的高斯差分核对图像进行卷积操作，得到高斯差分尺度空间，由此来检测高斯差分空间特征点。

其中σ是尺度空间因子。

（2）检测尺度空间极值。在检测尺度空间的极值点过程中，通过将检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都能检测到极值点。

（3）确定关键点位置、尺度及方向。由于DoG算子会有较强的边缘响应，确定关键点的位置和尺度（达到亚像素精度）需要拟和三维二次函数，在这个过程中，同时也可以去除对比度较低的关键点和不稳定的边缘响应点。利用关键点邻域像素的梯度及方向分布的特性，可以得到梯度模值和方向如下：

（4）生成关键点描述子。用梯度方向直方图的方法，对所得每一个关键点的位置、尺度以及方向信息，用4×4共16个种子点来描述，最终可以得到128维的SIFT特征描述子。

2.2 基于DBH算法的SIFT特征点匹配

采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。SIFT特征描述子有128维，用于高维数据搜索的数据结构主要有穷举法、KD-tree，iDistance、BBF和LSH等[8]。在这些数据结构中，穷举法的精度接近100%，但完成时间较长，BBF基于最优分区优先方法，选择那些在关键维上到分支节点有最小距离的子节点进行再搜索，被成功用于图像匹配和物体识别中。但是，由于BBF保持KD-tree的索引结果，在重叠面积较小、匹配点较少的情况下，搜索精度不高，达不到理想的效果。因此，在特征匹配的过程中，本文选用匹配效果更好的DBH算法来完成最近邻搜索。

DBH算法的基本思想是：假如两个高维特征点是一对匹配点，则它们在某些维上一定相同或者相似。可以通过如下步骤来实现：

（1）为高维特征点数据空间的每一维选择一个关键值作为分割阈值，随机选择指定数量的维。

（2）对数据空间中的每一个点，计算其在各个随机维上的数据分布情况，如果有两个数据点在这些随机维上的数据分布相同，就将它们散列到同一个桶中。

（3）将每一个查询数据散列到某个特定桶中，计算该桶中的所有数据点的欧式距离情况并进行比较。

（4）在内存中建立一个哈希函数，进行循环的散列和查询，以提高查询精度。

（5）对于查询得到的匹配关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。如果降低这个比例阈值，SIFT匹配点数会减少，但会更加稳定。

2.3 基于RANSAC算法消除误匹配、建立透视变换矩阵

经过DBH算法检测到的特征点匹配对的集合中会有一定的误配点对存在，可以用RANSAC消除误匹配，以得到最优透视变换矩阵[9]。RANSAC算法的具体步骤为：

（1）依据概率，求取最大采样次数N，重复N次随机采样；

（2）随机选取四对匹配点，使得样本中的任意三点不共线，计算变换矩阵H；

（3）计算经过矩阵变换后每个匹配点到对应匹配点的距离；

（4）计算内点距离小于距离阈值的内点个数，并比较，选择包含内点最多的点集，作为去错匹配后角点对集合；

（5）利用消除误匹配后的角点对集合，可以计算得到最优透视变换矩阵。

3 摄像头视频拼接

实现帧图像的拼接映射关系之后，在摄像头相对位置不变的情况下，实时采集摄像头视频帧图像，基于H矩阵，对帧图像进行透视变换，经过融合处理，即可得到实时拼接的摄像头视频。系统算法流程如图1所示。

图1 系统算法流程图

4 实验结果及分析

实验基于2.93 GHz，1.96 GB内存，Window XP系统的PC机，谷客公司E6数码高清摄像头，其动态分辨率为640× 480，图像速率为60帧/s，采用C语言编程，基于OpenCV2.1，在Microsoft Visual Studio 2008上编译运行。

4.1 首帧图像配准

实验中，通过对比DBH算法和BBF算法在不同的重叠面积下，利用检测得到的SIFT特征点，所得的匹配点对数和匹配时间的情况，如表1所示。可以看出，在重叠面积由30%减小到10%的过程中，BBF算法匹配对数逐渐减少，DBH算法在匹配对数上比较接近穷举法，但时间上比穷举法有明显的优势。

表1 不同重叠面积下匹配对数和匹配时间比较

图2为当重叠面积为10%时，首帧图像SIFT特征点示意图。三种不同的配准方法的匹配结果对比图如图3所示，DBH算法在重叠面积较小时匹配效果良好。图4为用RANSAC算法消除误匹配后匹配情况。

图3 不同匹配方法的匹配结果对比图

图4 RANSAC算法消除误匹配结果图

4.2 摄像头视频拼接

利用消除误匹配后的匹配点对，求取最优透视变换矩阵H。分别从摄像头读取帧图像，基于矩阵H进行透视变换，采用渐入渐出算法对重叠区域进行融合处理，得到拼接后的帧图像，图5为拼接后的摄像头视频的第10帧、第100帧和第150帧图像，可以看出，视频帧图像拼接效果良好。

图5 拼接成功的摄像头视频帧图像

4.3 实时性分析

本文通过计算系统每秒处理的图像帧数来验证视频拼接算法的实时性。基于上述方法，第一帧图像配准时间不计入拼接总时间，从第二帧开始，分别计算不同时间内系统成功处理的图像帧数，对每个不同时间，重复进行30次实验，取其平均时间。如表2所示，每秒平均成功处理的图像帧数在30～35帧之内，达到了实时性的要求。

表2 实时性分析

5 结束语

本文提出一种基于SIFT特征匹配的摄像头视频实时拼接方法，通过将DBH算法运用于特征点匹配过程，保证了匹配精度，有效实现了摄像头视频实时拼接，在重叠区域较小的情况下，有明显的优势，具有较强的应用价值。不过，从拼接后的视频帧图像上看，由于不同摄像头图像之间存在颜色、亮度等的视差，对总体效果有一定影响。下一步工作将解决摄像头视差的问题，然后在DSP系统实现本方法。

[1]Chon J，Fuse T，Shimizu E，et al.Three-dimensional image mosaicing using multiple projection planes for 3-D visualization of roadside standing buildings[J].IEEE Transactions on Systems，Man，and Cybernetics，2007，37（4）：771-783.

[2]Richard S.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications，1996，16（2）：22-30.

[3]Yang Ping，Mao Zheng，Gao Anjie，et al.Video image mosaics in real-time based on SIFT[C]//2010 First International Conference on Pervasive Computing，Signal Processing and Applications，2010：879-882.

[4]钟力，胡小锋.重叠图像拼接算法[J].中国图象图形学报，1998，3（3）：365-369.

[5]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[6]张朝伟，周焰，王耀康，等.基于SIFT特征跟踪匹配的视频拼接方法[J].计算机工程与应用，2008，44（10）：169-172.

[7]王小强，陈临强，梁旭.实时全自动视频拼接方法[J].计算机工程，2011，37（5）：291-293.

[8]He Zhoucan，Wang Qing.A fast and effective Dichotomy-Based Hash（DBH）algorithm for image matching[C]//Advances in Visual Computing，2008，5358：328-337.

[9]Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communication of ACM，1981，24（6）：381-395.

XU Jie,JIN Xiangliang,BAI Ruiguang

Faculty of Materials,Optoelectronics and Physics,Xiangtan University,Xiangtan,Hunan 411105,China

Aiming at the problem that the general camera’s field of view is too small,by collecting two frame images from different cameras which have some overlap regions simultaneously,the SIFT algorithm is used to find the video frame image feature points;the Dichotomy Based Hash（DBH）algorithm is used to match the SIFT feature points;the Random Sample Consensus（RANSAC）algorithm is used to eliminate the false matches,and the mosaiced video can be obtained.Experiments show that this method can mosaic the video frame in real-time effectively.In addition,the method is feasible to low overlapped（even to 10%）video image.

Scale Invariant Feature Transform（SIFT）feature point;image registration;Dichotomy Based Hash（DBH）;realtime;video mosaic

针对普通摄像头水平视角较小的问题，通过同时采集具有一定重叠区域的摄像头视频帧图像，基于尺度不变特征变换（Scale Invariant Feature Transform，SIFT）特征点，用二分哈希搜索算法（Dichotomy Based Hash，DBH）进行匹配，用随机采样一致（Random Sample Consensus，RANSAC）算法消除误匹配，得到帧图像拼接映射关系。实验结果表明，该方法能有效地实现摄像头视频实时拼接，克服了既有方法在重叠区域小于20%时失效的不足，在重叠区域为10%左右时仍能取得有效的拼接。

尺度不变特征变换（SIFT）特征点；图像匹配；二分哈希；实时；视频拼接

A

TP393

10.3778/j.issn.1002-8331.1202-0338

XU Jie,JIN Xiangliang,BAI Ruiguang.Improved real-time camera video mosaic method.Computer Engineering and Applications,2013,49（24）：179-181.

湖南省自然科学基金（No.11JJ2036）；湖南省教育厅资助科研项目（No.11A116）。

徐杰（1985—），男，硕士研究生，主研方向：数字图像处理和机器视觉；金湘亮（1974—），通讯作者，男，教授，博士生导师，主研方向：信号处理、CMOS传感器与集成电路设计等；白瑞广（1986—），男，硕士研究生，主研方向：数字图像处理和机器视觉。E-mail：jinxl@xtu.edu.cn

2012-02-20

2012-04-19

1002-8331（2013）24-0179-03

CNKI出版日期：2012-06-15http://www.cnki.net/kcms/detail/11.2127.TP.20120615.1726.022.html