无人机航拍合成球面全景图技术研究

张敏 刘军 罗颖 湖北省武汉市公安局

无人机航拍合成球面全景图技术研究

张敏 刘军 罗颖 湖北省武汉市公安局

从刑侦现场勘查的实际需求出发，利用无人机航拍照片为素材，制作球面全景图并将其应用于刑事侦查、现场勘查，也可用于突发事件、安保任务、布控堵截、大型活动等。着重阐述了球面全景图的原理、拼接合成方法，结合实例对全景图合成的步骤和实际工作中遇到的问题做了分析。

无人机航拍 球面全景图 拼接合成方法

一、引言

在刑事现场的现场方位照、现场概貌等拍摄中，近年来也出现了全景图形式[1]。这种全景图多采用如下方法拍摄：在现场拍摄中心架设三脚架，通过云台固定相机，逐角度地（如每次旋转60°）转动云台，以相同的参数来拍摄照片，得到一组照片，再后期处理成柱面全景图。

实际工作中，此类全景图只能环顾四周，只可从地面的视角反映拍摄点周边较小区域的局部情况，在需要针对案、事件现场周边地形地貌进行整体把握时，远不能满足实际需求。案、事件等现场有时会位于复杂的城中村区域或城郊远城区的村民还建房小区，拆迁、私搭、私建等情况普遍，无论是纸质还是电子的地图资料都不能真实地反映案发现场地形地貌情况。此类现场在工作中并不鲜见。

鉴于此，本文利用“警用空中全景现场侦查系统”、以无人机航拍的同一视点的照片素材为基础，采用球面模型合成全景图。这种全景图可以实现360°旋转，以空中俯视的视角来观察案、事件现场，且支持缩放。目前，该技术已研发成功并在有关地区案、事件现场发挥了重要作用。

二、球面全景图的基本原理

所谓全景图，就是将数张平面图投影到一个以视点为中心的参考面上，若参考面为圆柱面则为柱面全景图，参考面为球面（具有经纬度）则称为球面全景图。柱面投影全景在垂直视域上有很大限制，而球面投影全景是描述一个场景的最佳选择，球面投影的特点是：所有的水平、垂直线投影到球面上时都会弯曲（0°经、纬线除处），其合成全景图的水平视角可达 360°，垂直视角可达 180°，通常适用于广角镜头的大视角全景观察[2]。基于这些特点和实战需求，本文采用球面全景图合成技术，所使用的照片素材也正是由“警用空中全景现场侦查系统”利用广角镜头航拍的。

（一）平面全景图的生成

将广角镜头拍摄的图像以球面坐标系进行数字描述后，拼接一组图像中两两相邻且有重叠区域的图像，每两张相邻图像拼接一次，最终拼接成完整的360°平面全景图。本文采用不变尺度特征变换（scale invariant feature transform, SIFT ）特征点算法进行图像特征提取和匹配拼接。

1. 图像特征提取

首先采用SIFT特征点法对图像进行特征描述，该方法不受图像旋转变换、缩放变换、色差、噪声的影响；然后通过特征点匹配建立两幅图像之间的对应关系，匹配方法采用包含特征点描述子的二叉树搜索算法。[3]

2. 图像拼接：偏移、融合

匹配点配准后通过扭曲图像使图像对齐，然后进行图像偏移和融合以达到拼接的目的。

通过对反映相邻图像间对应点亮度差平方和的函数求偏导并进行迭代求解，以实现对图像的偏移拼合。

拍摄时镜头曝光时间、视角的不同两幅图像的亮度、色调等差异，拼合时需各取一定宽度区域的图像进行融合，采用渐入渐出的方法，实现拼接部分平稳、圆滑过渡。

（二）球面全景浏览将平面全景图投影到球面视平面

拼接处理后生成的长轴型图片文件，称为平面全景图。最后一个步骤是要将此图进行反变换，投影到视平面上进行浏览，成为一个可360°随意浏览的真正的全景图文件。这个过程会发生变形，因此，变换计算中采用了插值计算，使得变换后的图像平滑、细腻。

（三）小结

球面全景图的合成包括如下几个步骤：①图像特征点提取；②图像对齐；③图像偏移；④图像融合；⑤平面全景图后期渲染；⑥球面全景浏览。整个流程如图1所示。

三、球面全景图合成试验

（一）试验材料

我们利用“警用空中全景现场侦查系统”对某大楼周边进行了航拍，素材如图2所示，共9幅图像。这些航拍图像是该系统搭载广角镜头（GoPro专业航拍相机，1100万像素）在空中某一视点固定后旋转360°，每转一定角度便航拍一次所得，拍摄参数、尺寸、大小是一致的。

（二）试验方法

1. 图像裁切与优化

首先对图像素材进行裁切，将照片边缘变形较大的部分去掉。接着进行优化镜头俯角、消除镜头畸变、调整水平位移、垂直位移等操作，以保证控制点提取的质量。

2. 控制点提取、校验、调整

对两幅需要拼接的图像提取控制点，结果如图3所示。

两幅图像共建立了14对控制点，左侧图像中的每一个控制点，在右侧图像中都能找到与之对应的，如表1所示。

?

控制点的质量和精度关系到下一步图像对齐的质量，进而影响最终全景图成图效果，实际工作中采用软件自动提取并辅以人工纠偏，可以保证控制点质量的精细、精准。

3. 对齐、拼接、融合图像

最终生成的图片如图4所示，可以看到，平面全景图已经初步成型。

4. 后期修饰、渲染、标注

实际应用中，天空部分并不是案、事件现场所关注的内容，所以“警用空中全景现场侦查系统”作业时，镜头都是以俯视角度拍摄。在后期修饰工作中，首先需将天空补充完整然后再酌情对图片进行调整，修饰工作完成后的效果如图5所示，之后可根据需要标注中心现场、方位、重要地标、道路等信息。

5. 生成全景图浏览文件

最后基于平面全景图生成全景图浏览文件，用户通过自由旋转、缩放全景图可得到如同处在航拍视点处观看现场的实景感受，如图6所示。

（三）试验结论

球面全景图的两极会发生极化现象，试验结果表明，本文的算法能成功拼合球底，还原俯视图的真实感。采用该技术得到的全景图更利于清楚直观地了解熟悉案、事件现场周边的地形地貌、道路交通等空间地理数据。这也是其相对于采用地面三脚架拍摄制作地面全景图的优势之一。

四、实例运用

基于“警用空中全景现场侦查系统”航拍图像制作的球面全景图已在本市重大案、事件的侦破中发挥了重要作用。

（一）刑事案件侦查环节的应用

采用该技术制作的全景图可以让参案人员在行动前充分了解案、事件中心现场附近环境、地形地貌、交通状况，指导其堵截、抓捕等行动。

案例：2013年4月，武汉市经侦支队侦查发现一犯罪团伙在洪山、江夏、蔡甸、东湖风景区一带非法设立多处屠宰点，无证屠宰生猪，并向生猪注射违禁药品、灌水后销售。

此案涉及的屠宰窝点大都在交通不便的城中村落或者远城区的湖边小湾里，专案组决定采用空中视频侦查手段，通过全景图的形式来熟悉掌握周边环境。

在其中某个窝点航拍的9幅照片，如图7所示。

将照片进行编号，然后进行裁剪、优化并提取控制点。一共要提取0-1，1-2，2-3，3-4，4-5，5-6，6-7，7-8，8-0共9组两两对应照片的控制点。在执行拼接、融合过程后的平面全景图效果如图8所示。

可见，平面全景图对比上述实验阶段的例子，其底部出现了空洞的情况，若缺失的较少，可用图像修饰软件来修补。将其生成全景图浏览文件后采用俯视视角观察，可以看到空洞缺失现象，如图9所示。

通过此俯视视角可以看到，投影球底部的缺失只是一些不影响整个场景的树木，可通过修补工作将平面全景图的下部补齐后再生成全景浏览文件，如图10所示。

最终结合实战需求在全景图上配以标注，能更方便实战应用，一般的标注内容包括：中心现场、方位、重要地标、道路等。本案中，全景图提供了湖边的涉案窝点与周边村落的道路连接关系，生动直观地反映了窝点附近环境、交通情况，为现场抓捕计划的制定起到了重要的辅助作用。

（二）实际应用中遇到的问题小结

该项技术在实际应用中遇到的一些问题如下：

1. 全景图制作时的底部黑洞问题，需视其严重程度决定处理方式。非关键位置的小缺失可通过修饰手段完善；缺失部分很多或者关键位置缺失的情况应更换航拍素材重新制作，更为严重的情况需要在调整“警用空中全景现场侦查系统”的镜头俯角后再次航拍。

2. 全景图的标注应根据实际任务和具体现场的需要来标注，在将各现场要素说明清楚的情况下力求简洁、干净，过多的文字标注信息会影响全景浏览效果。

五、结束语

（一）该技术在公安应用上的前景展望

该技术目前已在刑事侦查及现场勘查中投入实战应用，随着应用的不断深入与技术的不断发展，还将在公安工作各业务环节发挥作用，并向其他领域延伸。目前可应用的公安业务有：

1. 维稳、处置突发事件、救灾等。针对人群聚集、移动，可通过全景图规划人群移动路线、调度警力、设置警戒线等。2013年12月6日，武汉市公安局在武汉展览馆广场举行了反恐拉练，拉练前通过该技术航拍现场制作全景图后，在全景图上绘制了拉练方案部署示意图，如图11所示。

通过这种呈现形式充分展示了拉练各参战单位的任务、位置分配、行进路线等信息，拉练指挥部的方案部署得到了很好的展示，更利于各参展单位开展工作。

2. 安全保卫。全景图有助于活动举办方、安保部门全面掌握情况，正确分析保卫复杂程度，完善安保方案。

3. 治安管理。可采取全景图方式固定辖区全貌，明确重点场所、控制区域，构成立体化治安管理体系中的一个重要环节。

4. 交通规划管理。各复杂路口、立交、轻轨地铁换乘站等交通枢纽处的全景图可作为交通规划和管理的基础空间地理数据等。

（二）技术本身系统进一步完善的空间

在系统完善上，结合公安实战，还有如下思考：①与PIGS深度结合，将本系统制作的空间全景图结合到PGIS中，可与平面图交互，达到部分程度的虚拟现实效果；②将全景图与3G无线传输技术进行结合；③将全景图与地面勘察照片资料结合，把地面勘察照片嵌入到全景图中进行交互，可达到更完整的呈现效果。

[1] 庄华. 用PTGui软件拼接现场全景图警察技术,2010(11).

[2] 崔汉国,王大宇,陈军.球面全景空间缝合及漫游算法研究.海军工程大学学报,2008(02).

[3] 李艳丽,向辉.稳健的球面全景图全自动生成算法. 计算机辅助设计与图形学学报,2007(11).