集成成像三维数字重构技术研究

雷莉霞，张跃进，黄德昌

(华东交通大学信息工程学院，江西南昌330013)

集成成像三维数字重构技术研究

雷莉霞，张跃进，黄德昌

(华东交通大学信息工程学院，江西南昌330013)

集成成像三维重构技术作为一种真三维重构技术，成为当今三维成像与显示领域的重要研究方向。以光线追迹方法为基础，使用像素映射算法实现了三维场景的数字重构;同时使用对同名像点提取误差具有较强鲁棒性的统计重构算法对三维场景进行高精度数字重构，并开展了标准量块的数字重构实验，实现了量块的高精度数字重构。

集成成像;数字重构;统计重构;像素映射

集成成像三维重构技术作为一种真三维重构技术，成为当今三维成像与显示领域的重要研究方向［1］。然而，传统的光学重构方法由于光学器件的限制很难获得高质量的重构效果，而且现有的很多数字重构算法由于同名像点提取误差的存在难以达到理想的重构精度。为此展开集成成像三维数字重构技术的研究具有潜在的理论和应用价值［2］。在当今的成像与显示技术领域中，传统的平面二维成像与显示技术由于只能展现二维信息，已经不能满足人们对三维(3D)成像与显示的日益增长的需求［3］。三维成像与显示技术能够展现物体三个维度的信息，比之二维成像与显示技术，由于体现了物体深度方向上的信息，能够提高人们的视觉感受，使人们更加真实地感知物体，在电视技术、军事、医疗、教育、等众多领域中都凸显出广阔的应用前景。另一方面，液晶器件、高清晰度平板显示的制造工艺以及光栅、透镜等光学器件的加工工艺随着现代科学技术的发展而取得了不断的进步，从而推动了三维成像与显示技术的飞速发展［4］。目前，三维成像与显示技术已经成为成像显示领域的一个研究热点［5］。

集成成像技术除了在显示领域中应用广泛，应用于数字重构、测量、机器视觉等领域也能起到良好的效果［6］。由于该技术通过对三维信息进行多视角获取获得元素图像阵列，把景物的三维信息存储在这些平面二维图像之中，因此经过一些光线追踪计算，原三维景物可以被准确地重构出来，实现基于多视角三维信息的三维数字重构以及三维测量，使其在电视技术、军事、医疗、制造业等诸多领域中获得更为广泛的应用［7］。

1 统计重构法三维物体数字重构原理

对空间三维物体进行拍摄获取了元素图像阵列后，需要对元素图像阵列进行重构计算，从而重现景物。然而，传统的三维物体集成成像重构算法很多都存在算法复杂的问题，相对简单的重构算法又对元素图像阵列中各子元素图像中同名像点的坐标精度要求非常高，应用起来都有较大缺陷［8］。针对以上问题，将使用统计重构的方法对三维物体进行模型重构，分析成像误差，即各元素图像中像点坐标偏差对重构精度的影响，发现统计重构方法对同名像点提取精度的鲁棒性很强［9］。最后以标准量块为样品，选取4个角点作为特征点，设计程序进行特征点的自动匹配，并进行重构运算，得到重构图像中特征点的精确坐标，与标准值相比较验证重构精度［10］。

集成成像的记录过程如图1所示，物方空间中1个3D物点O(x0，y0，z0)经过p×q(重构空间点对应的元素图像点在第(p，q)个子元素图像范围)密接记录透镜阵列D(m，n)(透镜阵列由m×n个子透镜)记录成像后，在元素图像阵列像面上可以得到p×q个同名像点R(m，n)。

图1 集成成像记录原理图

假设记录透镜阵列中第(m，n)个子透镜的空间坐标为D(m，n)(x，y，z)=(xD(m，n)，yD(m，n)，zD(m，n))，它所对应的同名像点R(m，n)的坐标为(xR，yR，zR)，子透镜D(1，1)的空间坐标为(x(1，1)，y(1，1)，z(1，1))，记录透镜阵列中子透镜在x方向上的间隔为px，在y方向上的间隔为py，各子透镜z坐标相同。又假设记录透镜阵列中各子透镜的焦距均为f，z方向上坐标为z1，则由高斯公式可计算出同名像点距离记录透镜阵列的距离g，从而可以推得记录的物点O所对应的的每个同名像点R(m，n)的空间坐标。反之，在已知透镜阵列D(m，n)和同名像点R(m，n)的空间坐标的情况下，可以利用光线追迹的方法，反推出所记录物点O的空间坐标。

在各点坐标准确的条件下，其中任何2个同名像点和它们所对应的记录子透镜中心的空间坐标都可以推算出待计算空间物点O，原理是任意2个同名像点都和待计算空间物点O组成1个三角形，而记录子透镜的中心各处于三角形的1条边上，它们的连线与同名像点的连线平行，由相似三角形关系容易推算出O的坐标。在记录透镜阵列和所记录的同名像点的坐标均无误差的理想情况下，由p×q个同名像点计算得到的S个物点O(x，y，z)应该是完全重合的。S可由公式计算得到: S=(p×q)×(p×q-1)/2，p和q为空间点对应的元素图像点。

但是，实际情况是几乎不可能得到没有误差的坐标，所以得到的S个结果是有一定差异的。考虑对上述O点坐标的S个重构结果进行统计分析，可以认为S个结果中出现频率最高的那个结果为所计算物点O的空间坐标，依次对原景物中每一个物点重复上述分析过程，就可以得到该景物表面所有点的空间坐标，从而实现了对景物的三维数字重构。

2 统计重构法标准量块三维数字重构

选用长度为100 mm的标准量块作为三维物体，进行基于统计重构方法的三维数字重构的实验验证。实验使用精度为0.5μm的二维电动平台和彩色面阵电荷耦合元件(CCD)构建成记录相机阵列，CCD像素为1 024×768，CCD焦距为25 mm，将标准量块放在CCD前方800 mm的位置，采用10 mm×10 mm的扫描间隔，进行10×10的逐个扫描，实验装置如图2所示。扫描相机阵列记录的10×10元素图像阵列如图3所示，将元素图像阵列导入计算机，用MATLAB编程读入元素图像阵列，研究自动匹配算法，提取每个子元素图像中标准量块的4个角点作为特征点，编写统计重构算法的程序对4个特征点进行统计重构，得到三维重构结果。

图2 对标准量块进行统计重构的实验装置

图3 标准量块的元素图像阵列

其中自动匹配算法的编程思路和具体步骤如下:

1)分别读入10×10个子元素图像，由于物体较为简单，将彩色图像对应的三维R，G，B(R代表红色，G代表绿色，B代表蓝色)矩阵A转换成二维灰度矩阵C，便于后续处理。

2)将转换成的灰度矩阵C中每个像素点替换成该像素点灰度值与其上、下、左、右四邻域内的灰度值的差值的平方和，形成新的矩阵B，矩阵B中的像素点表示该点在其四邻域内灰度值的变化率。观察矩阵B可以发现，背景集中或物体集中处矩阵B像素点的值较小，背景和物体边界以及物体中灰度突变处矩阵B像素点的值较大(基本全为255)，边界处形成3～4行(或3～4列)的大像素点。这样，矩阵B可以方便地展现出背景和物体边界以及物体中灰度突变的像素点。

3)对矩阵B进行扫描，在左上、右上、左下、右下4个方向分别进行扫描，分别找到四邻域灰度变化率突增的4个提取的特征点。为了排除子元素图像中一些噪声的干扰，寻找四邻域灰度变化率突增的点时，根据所选物体的几何特征进行了进一步的条件设置:对左上方角点要求该点、该点正右方第20个像素点和该点正下方第20个像素点需同时大于250;对右上方角点要求该点、该点正左方第20个像素点和该点正下方第20个像素点需同时大于250;对左下方角点要求该点、该点正右方第20个像素点和该点正上方第20个像素点需同时大于250，对右下方角点要求该点、该点正左方第20个像素点和该点正上方第20个像素点需同时大于250。经过该设置条件，自动匹配特征点的算法精度得到大幅改善。

实验所编程序发现，该自动匹配算法提取出的特征点的像素位置的误差在±2个像素以内，精度基本符合要求。整个统计重构算法的程序流程图如图4所示。

图4 统计重构算法程序流程图

在MATLAB中运行上述程序，得到以下结果:A，B，C，D这4个特征点的X坐标、Y坐标的频率分布图如图5所示，A，B，C，D这4个特征点的面型坐标图如图6所示。

图5 标准量块4个特征点计算结果的频率分布图

图6 标准量块4个特征点面型坐标图

用统计重构方法对标准量块进行三维重构后，得到量块AB边长度为124.6mm，CD边长度为104.2mm，基本符合实验要求。AB边长度偏差24.6%，CD边偏差4.2%。事实上，A，C，D这3个特征点的重构偏差是较小的，只有B点重构偏差较大，而且从频率分布图中可以看出，B点在被统计重构时，正确值的频率也是比较高的。造成这种统计重构偏差的原因主要是因为所使用的自动匹配算法有一定的误差，另外，实验中CCD的采样精度有限(0.2 mm)且相机阵列的横向扫描位移较大(达到90 mm)，这使得相机在非正拍的时候，量块后表面的顶点干扰了拍摄结果和同名像点的提取。所以如果使用更高精度的同名像点匹配算法，使用采样精度较高的CCD，以上算法的精度将能够得到提高。

验证基于统计重构方法的三维数字重构只使用了较为简单的量块作为三维物体，而且只对少数特征点进行了提取和重构。实验结果表明，在误差允许的范围内，基于统计重构方法的三维数字重构在精度上可以满足要求，且对同名像点的提取误差有较强的鲁棒性。若需要重构出三维物体的所有表面物点，只需按照上述重构特征点的方法对所有同名像点依次进行统计重构计算即可;若需要对较为复杂的三维物体进行重构，只需使用相应的自动匹配算法，对复杂景物中的同名像点完成自动匹配，再按照本文所述重构特征点的方法进行统计计算，即可完成复杂三维物体的数字重构。从理论上分析，加上以上的实验支持，这些需求是完全可以实现的，但由于时间关系，上述工作有待今后进一步完善。

3 总结

介绍了统计重构方法用于三维数字重构的基本思想，分析了成像误差对三维重构精度的影响是非常小的，然后以标准量块为样品验证了统计重构方法。在对标准量块进行元素图像阵列的记录后，对得到的元素图像阵列中量块4个角点进行程序自动匹配，用统计重构方法重构计算出标准量块的4个角点的精确坐标，计算角点间距，与标准值比较发现重构出的特征点坐标存在一定误差，但在实验允许的范围之内。由此说明，使用统计重构方法对三维物体进行三维数字重构是可行的，且对同名像点的提取误差有较强的鲁棒性。

［1］JUNG S，HONG J，PARK JH，et al.Depth-enhanced integral-imaging 3D display using different optical path lengths by polarization devices ormirror barrier array［J］.Journal of the SID，2004，12(4):461-467.

［2］STERN A，JAVIDIB.Three-dimensional image sensing，visualization and processing using integral imaging［J］.Proceedings of the IEEE，2006，94(3):591-607

［3］焦小雪.集成成像三维显示技术中光学记录系统的研究［D］.天津:南开大学，2012.

［4］ORTIZ S，SIDDLECKIID，REMON L，et al.Three-dimensional ray tracing on delaunay-based reconstructed surfaces［J］.Appl.Opt.，2009，48(20):3886-3893.

［5］焦小雪，赵星，杨勇，等.基于最佳记录距离的三维集成成像光学获取技术［J］.光学精密工程，2011，19(11):2805-2811.

［6］王芳.集成成像三维显示系统光学性能的研究［D］.天津:南开大学，2012.

［8］黎达.基于集成成像系统非匹配参数设计方法提升系统显示性能的研究［D］.天津:南开大学，2012.

［7］HONG J，KIM Y，CHOIH，et al.Three-dimensional display technologies of recent interest:principles，status，and issues［J］.Appl.Opt.，2011，50(34):87-115.

［8］王琼华，王爱红.三维立体显示综述［J］.计算机应用，2010，30(3):579-581.

［9］BLUNDELL B.Volumetric three dimensional display systems［M］.New York:Wiley Inter-Science Publication，2000.

［10］BLANCHE P，BABLUMIAN A，VOORAKARANAM R，et al.Holographic three-dimensional telepresence using large-area photorefractive polymer［J］.Nature，2010(468):80-83.

Integrated Three-dimensional Digital Image Reconstruction Technique

LEILixia，ZHANG Yuejin，HUANG Dechang
(School of Information Engineering，East China Jiaotong University，Nanchang 330013，China)

Based on the ray tracingmethod，a digital reconstruction of the 3D scene ismade using pixelmapping algorithm.In addition，a high precision digital reconstruction of the 3D scene using the statistical reconstruction algorithm is implemented，which is robust to thematching errors of the homologous points.The reconstruction experiment of the standard gauge block ismade，and the digital reconstruction result of the gauge block is achieved.

integral imaging;digital reconstruction;statistical reconstruction;pixelmapping

TN911.73;TP391.41

A

雷莉霞(1977—)，女，硕士，讲师，主研电视图像技术、计算机建模与仿真;

�� 雯

2014-03-06

【本文献信息】雷莉霞，张跃进，黄德昌.集成成像三维数字重构技术研究［J］.电视技术，2014，38(23).

江西省科技厅自然科学青年基金项目(20122BAB211040);华东交通大学校级基金项目(12XX02)

张跃进(1978—)，博士生，讲师，主研电视技术、生物医学工程;黄德昌(1983—)，硕士，助教，主研图像技术、无线传感网。