SURF算法在无人机倾斜摄影测量三维建模中的应用

明国辉，委民正

(1.福建省电力勘测设计院,福建 福州 350003;2.福建省地质测绘院，福建 福州 350011)

SURF算法在无人机倾斜摄影测量三维建模中的应用

明国辉1，委民正2

(1.福建省电力勘测设计院,福建 福州 350003;2.福建省地质测绘院，福建 福州 350011)

针对无人机倾斜摄影测量影像的特点，采用一种影像特征点自动提取匹配算法，解决影像之间的比例尺不一致、分辨率不一致等问题，实现影像的自动精确匹配，最终构建具有精确地理信息的三维模型。实验结果表明构建的三维模型满足数字城市建设的需求，可为城市基础设施建设提供一种科学可靠的依据。

无人机；倾斜摄影测量技术；图像匹配 ；SURF；三维建模

传统的三维地形建模主要依靠卫星遥感影像和航空遥感影像提供基础数据，人工地面采集所需控制点，经内业处理后构建三维地形，此种作业方式成本高、耗时费力、数据分辨率不高、作业周期较长，不利于实时快速构建精细三维地形。三维激光扫描利用激光测距原理可以快速获取大量的地面三维几何数据，但该方法无法获取地物的纹理数据，仍需依靠大量的人机交互作业来完成三维地物的纹理贴图，其构建三维地形的效率和逼真度较低。

无人机技术和倾斜摄影测量技术的出现为三维地形构建提供了一种新型的技术方法[1-3]。利用无人机技术获取数据，操作便利、高效，大大降低作业风险和成本；倾斜摄影测量技术改变了传统的影像获取模式，其利用不同角度的相机同步获取地形地物的影像，批量自动提取地形地物的纹理信息，极大地提高了三维地形模型的逼真程度。

李军等[4]人利用无人机影像制作了分辨率高、逼真程度高的地震灾区三维景观图，为灾区的震后重建提供详细的三维地理信息；曲林等[5]人基于无人机倾斜摄影测量数据，利用商用软件实现了实景三维建模，为智慧城市的三维建模提供一种解决方案；谭仁春等[6]人将倾斜摄影测量技术和MAX技术相结合实现了城市三维建模，并对建模方法进行部分优化，取得理想的效果。孙宏伟[7]基于倾斜测量技术实现城市三维建模的快速化，为实际生产操作提供一种可借鉴且有效的技术方案。上述文献大多探讨了无人机倾斜摄影测量技术的操作流程，多使用专业的商用软件来实现三维建模，其中影像特征点的匹配算法多涉及商业机密，且软件具有一定的局限性，故无法有针对性地对倾斜摄影测量存在的问题如影像比例尺不一致、分辨率不一致等进行深入分析与研究。本文在深入研究无人机倾斜摄影测量数据处理技术的基础上，采用一种倾斜影像特征点自动匹配算法，有效剔除数据中的粗差，提高影像的匹配精度，最终实现精度和逼真度较高的三维模型。

1 倾斜摄影技术原理

传统航空摄影只能从正下方角度拍摄影像，而倾斜影像为相机主光轴在一定倾斜角时拍摄的影像[8-10]。具体操作为：在飞机正下方垂直角度、前后左右4个倾斜角度搭载5台传感器，采集如下数据：航向重叠度、旁向重叠度、坐标值、飞行航向、航速及航高，为后续的三维建模提供精确的基础数据，图1为倾斜摄影测量原理示意图。同时倾斜摄影与GNSS、地理信息等技术相结合，可实现多种类信息的融合，从而进一步提高三维模型分辨率和几何精度，使得构建的三维模型逼真程度高，用户体验感强。

图1 倾斜摄影测量原理示意图

2 无人机倾斜摄影三维建模流程

无人机倾斜摄影三维建模主要涉及3个关键内容：①自动空三：依据测区内均匀分布的地面控制点，利用立体测图技术，解算匹配加密点的平面坐标和高程；②密集匹配：将多张影像上的同一特征点进行匹配，计算影像之间的空间变换模型；③影像拼接：依据计算得到的空间变化模型对影像进行拼接处理，使得同名特征点能够准确叠合，消除影像比例尺不一致、分辨率不一致对三维模型的影响。图2为无人机倾斜摄影测量三维建模流程图。

图2 无人机倾斜摄影测量三维建模流程

3 SURF算法原理及特征点匹配

SURF(Speeded Up Robust Features)[11-13]算法包括：特征点检测和特征点描述两个部分。特征点检测是利用积分对图像进行处理以获取积分图像，通过积分图像对尺度空间的响应来寻找特征点的位置；特征点描述是指利用特征矢量来描述特征点及其方向。

3.1 SURF特征点检测

利用Hessian矩阵行列式的极大值来检测，假设I为图像，X(x,y)为图像中的一点，尺度为σ，则点X处的Hessian矩阵为

(1)

其中：Lxx(X,σ)为点X处的高斯二阶微分与图像I的卷积，其余各项含义相似。

SURF算法将近似Hessian矩阵的行列式作为X(x,y,σ)处的斑点响应，以加快运算效率，具体算式为

Det(Happrox)=DxxDyy-(0.9Dxy)2.

(2)

具体算法如下：计算图像中每一个点的斑点响应值，组成响应图像。通过比较某一点在本尺度空间和上下尺度空间的响应值的大小，来判断某一点是否为候选特征点，若响应值比26个邻域值都大或者都小，则将该点作为最终的候选特征点，并计算其位置和尺度参数。

3.2 SURF特征点描述

3.2.1 特征点主方向分配

首先进行Haar小波运算，具体参数为：6 s为半径，特征点为中心，边长为4 s，获取点在x，y方向上的Harr小波响应值，其中s为空间尺度。

然后进行高斯加权运算，具体参数为：张角为π/3的扇形滑动窗口，步长为0.2弧度滑动窗口，对窗口内图像的Harr小波响应值dx，dy进行累加，获得矢量(mw,θw)为

(3)

(4)

求取Harr小波响应值累加值在多个方向中值最大的一个方向，则该方向作为特征点的主方向。

3.2.2 特征点特征矢量生成

构建以20 s为边长，特征点为中心，方向与特征点主方向保持一致，大小为 4×4的规则子窗口。采用边长为2σ的Harr小波对图像进行处理，以获得x，y方向上的响应值dx，dy，利用高斯加权计算每一个子窗口的响应值，以获得每一个子窗口的特征矢量。

(5)

一组描述子特征矢量共包含4×4×4=64维特征矢量，这样可获取一个特征点的完整信息：空间尺度、坐标、64维矢量特征，图3为SURF描述子特征矢量组成示意图。

图3 SURF描述子特征矢量组成

3.3 特征点匹配

初始匹配点对中通常不可避免地含有粗差点[14-15]，故需剔除粗差点。为此采取双重匹配算法，具体为先对初始匹配点对进行粗略匹配，剔除明显的粗差点对，再采用RANSAC算法进行精确匹配，构建转换模型，最后使用未参与计算的匹配点对空间转换模型进行验证和优化，进一步提高匹配精度和可靠性。图4为特征点匹配流程。

图4 特征点匹配流程

4 实验分析

实验所用数据来源于福州某地电力工程建设中采集的无人机影像。技术参数如下：无人机相对飞行高750 m，航向重叠度为70%，旁向重叠度为50%，共拍摄600多张无人机倾斜影像。硬件系统选取GeoVison的SWDC-5，该系统由1个垂直相机和4个倾斜相机构成，相机选用哈苏相机，焦距为50～100 mm， 像元大小6 μ，倾斜角度45°，最短曝光间隔2.5″。

首先对影像进行归一化、均光、均色处理，以消除影像在饱和度、亮度、色相等方面的差异；再对影像进行相对定向、绝对定向、区域网平差，以获取每张影像的外方位元素；最后使用SURF算法对影像进行特征点检测，如图5、图6所示，圆心点为特征点的位置，半径为特征点所在的空间尺度，半径所指的方位为特征点的主方向。图7为粗略匹配结果图，图8为剔除错误匹配点对形成的粗略匹配特征点对集合，图9为精确匹配结果图

图5 原始图像(左)与特征点检测结果(右)

图6 原始图像(左)与特征点检测结果(右)

图7 粗略匹配效果

图8 剔除粗差后匹配效果图

图9 精确匹配效果图

图5检测出336个特征点，图6检测出362个特征点，通过SURF算法自动搜寻同名特征点组成粗略匹配点对，如图7中绿色线条标记的匹配点对，可以看出其中包含少数明显错误的匹配点，图8为剔除错误匹配点对后的匹配效果图。表1为SUFR算法与某商用软件算法匹配点检测效果对比，从表中可以看出SURF算法计算出的特征点个数要少于商用软件算法计算的特征点个数，但商用软件算法耗时要远远高于SURF算法。若匹配点过多往往会造成数据冗余，降低运算效率，而SURF算法在耗时方面要远远优于商用软件算法，这有助于提高影像匹配的整体效率。

表1 SURF算法与某商用软件算法比较

实际应用中并非匹配点对越多越好，匹配点对过多反而会降低运算效率，为此对匹配点对进行优化，从中寻找出最优的匹配点对，为计算精确的空间变化模型参数提供依据，降低数据冗余，提高运算效率。图9为经过匹配点对寻优后的精确匹配效果图，可以直观地看出，匹配点对位置清晰准确，无错误匹配点对，无数据冗余。

表2为匹配点对优化前后匹配效果对比，优化前共检测到匹配点对167对，匹配率为89.8%，共耗时5.836 s；优化后共检测到匹配点对89对，匹配率为96.2%，共耗时2.628 s。可以看出，优化后的算法运算效率明显优于优化前的算法。

表2 匹配点对优化前后效果对比

经过影像精确匹配之后，形成数字表面模型DSM,将纹理图像映射到DSM模型表面，形成初始的三维模型。针对模型中缺失较为明显的区域和目标，进行必要的几何修复和纹理修补。区域和目标的缺失主要由以下两个方面引起：底部植被的遮挡和水体空洞。

针对植被遮挡问题，利用数码相机采集一定数量多角度的照片，构建建筑物底部模型，将其与前面构建好的三维模型进行精确拼接，最终形成完整的三维模型。

针对水体空洞问题，利用AutoCAD3DMESH软件，对问题区域的TIN文件进行人工交互编辑，编辑完成之后将其替换，再重新进行纹理贴图，最终改善水面空洞。

经过以上处理之后，进一步对模型进行完善，最终构建出三维数字模型，如图10、图11所示。

图10 三维模型效果图之一

图11 三维模型效果图之二

从图10和图11可以看出，构建的三维模型形象逼真，细节呈现丰富，没有出现信息缺失的现象。通过精确三维模型的建立，可快速实现目标物长、宽、高的测量，通过缓冲区的建立及通视分析，可实现城市道路、电力工程等基础设施的科学规划及升级改造，为数字城市提供一种科学的、精确的基础数据。

5 结束语

本文采用SURF算法有效地解决了倾斜影像匹配过程中的比例尺不一致、分辨率不一致等问题，实现了影像间的自动精确匹配，通过某电力工程实测数据分析对比了SURF算法与商用软件算法在匹配效率和匹配准确率两方面的表现，结果表明SURF算法优于商用软件的算法。通过对匹配点对的优化，进一步提高了SURF的运算效率，最后基于SURF算法和其他辅助手段实现了高精度的三维建模，实验效果表明上述技术方法和思想的正确性。

[1] 刘庆元，徐柳华，沈彩莲，等.基于无人飞行器遥感影像的数字摄影测量关键技术研究[J].测绘科学，2010, 35(9):28-30.

[2] 周晓敏，孟晓林，张雪萍，等.倾斜摄影测量的城市真三维模型构建方法[J].测绘科学，2016, 41(9):159-163.

[3] 朱国强，刘勇，程鹏正.无人机倾斜摄影技术支持下的三维精细模型制作[J].测绘通报，2016(9):151-152.

[4] 李军，李永树，蔡国林．利用无人机影像制作地震灾区三维景观图[J].测绘工程,2012,21(1):50-53.

[5] 曲林，冯洋，支玲美，等.基于无人机倾斜摄影数据的实景三维建模研究[J]. 测绘与空间地理信息, 2015, 38(3):38-43

[6] 谭仁春，李鹏鹏，文琳，等.无人机倾斜摄影的城市三维建模方法优化[J]. 测绘通报, 2016(11):39-42.

[7] 孙宏伟.基于倾斜摄影测量技术的三维数字城市建模[J]. 现代测绘, 2014, 37(1):18-21.

[8] 杨国东，王民水 .倾斜摄影测量技术应用及展望[J]. 测绘与空间地理信息, 2016, 39(1):13-15

[9] 丁志广，严新生，陈辉光.无人机倾斜摄影用于江门市快速三维建模的探讨[J]. 城市勘测, 2016(4):72-78.

[10] 李德仁，刘立坤，邵振峰.集成倾斜航空摄影测量和地面移动测量技术的城市环境监测[J]. 武汉大学学报(信息科学版), 2015, 40(4):427-435.

[11] BAY H,TUYTELAARS T,VAN G L.SURF:Speeded Up robust features[C].In ECCV,2006.

[12] BAY H,FASEL B,VAN G L.Interactive museum guide:fast and robust recognition of museum objects[C].Processings of the First International Workshop on Moblie Vision,2006.

[13] BAY H, TUYELAARS T,VAN G L.Speeded-Up Robust Features(SURF)[C].Computer Vision and Image Understanding,2008,110.

[14] 高放，陆频频，王旭.基于相似特征点集的SIFT匹配改进算法[J].测绘工程，2016,25(6):19-23.

[15] 胡小青，程鹏根，陈晓勇，等.基于领域投票和Harris-SIFT特征的低空遥感影像匹配. [J]. 测绘工程, 2016, 25(2): 33-37.

[责任编辑：张德福]

Research on 3D modeling based on SURF for oblique photogrammetric technique

MING Guohui1,WEI Minzheng2

(1.Fujian Electric Power Survey & Design Institute, Fuzhou 350003，China;2.Fujian Geologic Surveying and Mapping Institute, Fuzhou 350011，China)

This paper introduces the features of the oblique photogrammetric, proposes an automatic approach of image matching based on SURF to provide a set of matched points, and finally achieves a 3D modeling with high precision geographic information. The result shows the method is reliable and suitable for 3D modeling which can provide an accurate base data for power infrastructure construction.

UAV；oblique photography measurement；image registration；SURF；3D modeling

2017-02-20

国家专项资助项目(KLMMR-2016-A-13)

明国辉(1976-)，男，高级工程师.

著录：明国辉，委民正.SURF算法在无人机倾斜摄影测量三维建模中的应用研究[J].测绘工程，2017，26(9)：41-45.

10.19349/j.cnki.issn1006-7949.2017.09.009

P23

A

1006-7949(2017)09-0041-05