基于人脸跟踪的时空无缝裸眼3D显示技术研究

林岱昆，梁伟棠，梁浩文，范 杭，苏剑邦，朱 彤，许宇满，王嘉辉，周建英

(中山大学 物理科学与工程技术学院，广东 广州 510275)

基于人脸跟踪的时空无缝裸眼3D显示技术研究

林岱昆，梁伟棠，梁浩文，范 杭，苏剑邦，朱 彤，许宇满，王嘉辉，周建英

(中山大学 物理科学与工程技术学院，广东 广州 510275)

裸眼立体显示技术普遍存在视角范围受限、串扰严重、甚至存在逆视区域等问题。基于双目视觉与人脸跟踪的方法，根据人脸的空间坐标控制背光方式，在全分辨率裸眼立体显示的基础上实现了视区空间的无缝覆盖；并进一步采用ROI方法能程序运行帧率提升至20 f/s(帧/秒)以上，从而实现时间上的无缝切换。实验证明，基于此技术所研制的系统能满足人脸实时跟踪需求，实现空间与时间无缝的裸眼3D图像显示。

人脸跟踪；ROI方法；逆视现象；裸眼3D显示

近年来，立体显示(3D)技术及其应用随着3D电影和3D频道的热播而重新成为显示领域科技的研究热点。凭借不需佩戴辅助式眼镜即可获得立体视觉感受的优势，裸眼3D被视为立体显示未来的主流方向[1-2]。现在主流的裸眼立体显示技术为视障光栅(parallax barrier)与柱透镜阵列(lenticular lens array)技术，这二者存在诸如分辨率下降[3]、串扰率高[4]、视角狭小、视区交替排布等问题。研究表明，主流的裸眼3D显示串扰率大多超过5%[5-6]，这将导致一半以上的观看者感到视觉上明显的不舒适。由于视区交替排布，用户稍加移动，便可能偏移合适的位置，观看到了错误的图像，引起眩晕、恶心[7]，此现象称为“逆视”，即左、右眼图像错送至另一只眼睛。为此，科学家们开展了相关的研究以克服上述技术缺陷，例如采用多视点技术以实现空间视角的拓展，即通过调整像素的差值排布方式，增加视点数量，使观看者在移动过程中观看到的图像连续，但会引起实际分辨率的进一步降低，且未能抑制串扰的产生。扩展视角还可采用用户跟踪技术，实时监测人脸、人眼所在的位置，向特定的方向放送3D信号。由于此方式可保持分辨率以及较低的串扰，可见人脸、人眼跟踪技术将成为未来裸眼3D显示的标配技术之一[8]。

为避免主流裸眼3D技术存在的问题，本课题组提出了时空混合控制裸眼立体显示技术[9]，可实现全分辨率裸眼3D显示，并有效降低串扰率。但该技术的视区仍呈交替分布，同样存在逆视区域。为此，本文利用优化的人脸跟踪技术实时获得用户所在的准确位置，并据此迅速切换左右视区，从而保证用户在空间和时间上无缝地观看到清晰、优质的立体图像。

1 原理与算法

1.1 原理部分

为了消除“逆视”现象，达到自然流畅的观看效果，本文分别从空间和时间两方面进行考虑。

空间无缝：裸眼3D显示基于视差成像原理，将立体图像间隔地送到空间不同位置，左右眼图像的显示区域分别称为左眼视区和右眼视区。当观看者左右眼分别处于相应视区时，即可正常观看立体图像，如图1a所示；如果观看者发生横向移动，将导致“逆视”现象，如图1b所示。因此，观看者有50%的几率处于逆视区域[1]。监控双眼分别所处的位置，并调整视区排布形式与之匹配，如图1c所示，即可实现空间上的无缝观看。

图1 逆视现象示意图

时间无缝：前期实验发现，由于视区切换的响应速度过慢，当人脸移动到相邻视区时，系统未能及时切换左右眼视区；滞后的视区切换，将导致观看者感觉图像产生“跳变”，影响了3D观看体验。基于Adaboost+Cascade+Haar算法，本文集中研究了采用感兴趣区域(Region Of Interesting， ROI)方法进行人脸检测的实时优化，以及通过与下位机进行通信控制背光方式，在视觉暂留时间内完成对用户的跟踪行为，实现时间上的无缝观看。

由于时空混合控制裸眼3D显示系统在最佳观看距离处的视区宽度明显大于瞳孔直径，不会出现左右眼同时处于同一图像区域的现象，因此在实际应用中采用人脸检测已可满足实用的要求。人脸检测的方法有很多[10]，如有肤色区域分割与人脸验证的方法[11]，基于启发式模型的方法[12]，基于统计模型的方法[13]等。本文采用了基于统计模型中的Adaboost+Cascade+Haar算法，该算法利用积分图进行相关计算，通过分类器级联的方法提升效率，在速度与精度的综合性能上具有优异表现，是目前人脸检测最为成功的算法之一。AdaBoost算法基于Haar矩形特征量化了人脸特征，用于评估人脸和非人脸，训练时通过调整每个样本对应的权重获得强分类器。Cascade算法则将上述AdaBoost训练的强分类器进行级联，形成级联分类器。其中，级联时位置越靠后的分类器将具有越强的分类能力。待检测区域图像只有通过所有的节点分类器才被接受为人脸区域。

1.2 人脸跟踪算法

人脸跟踪算法可分为人脸检测、人脸定位与跟踪策略判定。本算法利用两台摄像机同时分别拍摄两张不同角度的图像，通过人脸检测技术分别从这两张图像中获取人脸位置，返回其图像坐标；进而通过摄像机之间位置关系，以及上述的两个图像坐标，计算出人脸的空间坐标，从而让系统实时地掌握观看者的动向，向下位机发送指令，实现图像的匹配放送。具体流程框图如图2所示。

图2 程序流程图

1.2.1 人脸检测优化

人脸检测过程当中，耗时最长的环节是使用Haar分类器对整个画面进行遍历。当程序运算速度足够快时，每两帧之间人脸位移较小，并不需要遍历整个画面，只须以原检测到人脸的区域为中心，扩展一定的范围作为ROI，仅对该区域进行搜寻即可实现效率与准确率兼顾的人脸检测。此ROI方法具体操作如下：在第n帧图像中检测到人脸，得到人脸区域的长Wface和宽Hface；设定ROI参数为scale，使长和宽分别扩大为

(1)

(2)

式中：WROI，HROI即为ROI区域的宽和高，从而得到ROI区域，如图3所示。处理第n+1帧图像时，仅仅在这个ROI(图中虚线框区域)中检测人脸；若检测不到人脸，则取消ROI，进行全图检测，以确保没有人脸被漏检。本方法提高检测帧率的关键在于ROI参数scale的设置，后文将通过实验具体讨论ROI参数scale的设置。

1.2.2 人脸定位与跟踪策略判定

根据两个摄像头拍摄所得的人脸中心图像坐标Ol(xl,yl)和Or(xr,yr)，及摄像头间几何位置关系，可用相似三角形法确定人脸在真实空间中的三维位置。如图4所示，以双摄像头连线中点为空间坐标原点(0，0，0)，并将2幅图像中对应点

图3 第n+1帧ROI示意图

的像素坐标换算为实际坐标，进而可推导出物体的空间坐标公式

(3)

(4)

(5)

式中：f为摄像头镜头焦距；T为摄像头镜头光心的水平距离；Wimage为显示图像宽度；Himage为显示图像高度；(X，Y，Z)为被测物体的空间坐标。

图4 已知特征对应点坐标示意图

本系统设计最佳观赏距离为93 cm，在该水平面上规定5个可视位置，并将其依次排序编号0～4。在根据上述定位方法确定了人脸的空间坐标之后，算法将判定人脸所处的位置，并向串口发送相应的信号，控制背光向对应的视区，放送正确的立体图像对。

2 系统的搭建

系统中的人脸跟踪模组由2个型号为大恒DH-HV1351UM的USB摄像头完成拍摄，曝光时间设置为10 ms，曝光系数设置为mode_0，采集图像的格式设置为320×256；处理计算机CPU型号为Intel Core(TM)i7，双核主频均为2.67 GHz，可用内存大小为3 Gbyte。

计算机处理图像后输出指令传递到下位机，下位机中的FPGA模块获取该信号之后，开启特定的背光LED，关闭对应其他区域的LED，从而实现对特定区域的图像输送。例如：当人脸处在2号视区，相应发送信号“2”至下位机，从而开启对应视区2的背光LED灯组。此外，设定信号“5”为全背光开启，当退出3D观看模式以及检测到人脸不在3D观看区域内时，程序将向下位机发送“5”。

经过整合以上器件，全高清裸眼3D显示原型机实物及相应的人脸跟踪程序界面如图5所示。

图5 高清裸眼3D显示原型机实物图及人脸跟踪程序界面(截图)

3 实验结果

为了验证本技术所实现的视区在空间上无缝，本文首先进行一个仿真实验：以视区划定区域的白板为承接屏，以假人头像作为标准参考物，设置绿色和红色图像分别为左眼和右眼图像。移动假人头像，使其分别出现在各个视区，通过观察红绿色光在白板上的投影区域，即可验证本设计对于消除逆视区域是否切实有效。如图6所示，人脸出现在各个视区中都可以得到系统准确的响应，证明本技术有效消除了逆视区域，保证了空间上的无缝观看。

图6 人脸跟踪有效性实验图

在此基础上，本文为进一步实现时间上的无缝显示效果，并通过实验进行检验。根据人体运动速度的先验知识，ROI参数scale设定为0.06，0.08，0.01，0.12，0.14，0.16。以同一测试源分别进行5 min的测试，该视频源中人脸在程序的监控画面里以固定的频率和速度移动，检测得到的数据记录如表1所示。

表1 不同ROI系数所测得的数据对比

从人脸检测率一栏表明，本程序检测率稳定在98%～99%，可以实现准确的人脸检测。在此基础上，记优化后的分类器耗时为tclassifier，ROI内检测率为rROI，即在ROI中能准确检测到人脸的概率。在图7a中绘制出分类器耗时、ROI内检测率与ROI系数的关系曲线。为了综合以上两个因素进行考虑，本文定义ROI检测帧率feff为每秒所能正确检测的帧数，即

(6)

以feff对优化的有效性做评估。feff越大，表明scale取此数值将获得更好的优化效果。将计算结果绘制如图7b所示。

图7 ROI系数选取参考曲线

由图7可知，ROI检测帧率随着ROI系数增大而增大，当ROI系数为0.14之后，分类器耗时反而开始增加，而ROI内检测率提高不明显，导致当ROI系数大于0.14时，ROI检测帧率开始下降。因此，本文取定参数scale为0.14。优化前后的分类器耗时对比如表2所示。

表2 优化前后人脸检测效率对比

长时间(约30 min)测试结果表明，在双摄像头情况下，系统工作频率高于23 f/s(帧/秒)，趋向人眼不可分辨的频率阈值(24 f/s)，人脸检测正确率高于98%，因而理论上可以实现图像的时间无缝切换。经多名被试者观看后反馈，本系统3D显示效果生动清晰，移动时图像在空间各位置切换自然流畅，均未出现逆视现象。因此，本技术能实现空间和时间上的无缝裸眼立体显示。另外，本技术通过结合背光设计，可实现多人的实时跟踪显示3D图像，可以应用于更广泛和更丰富的裸眼3D显示平台。

4 小结

本文提出了一种基于人脸跟踪的裸眼立体显示设计，并对其效果进行了实验，结果表明：本设计能准确识别人脸，几乎不发生漏检；经人像仿真测试，在各个视区均能准确跟踪；程序优化后，分类器效率显著提高，人脸跟踪算法运行速度提高到20 f/s以上。可见，本设计能在时空复用裸眼3D显示系统上有效实现空间和时间上的无缝裸眼立体显示。此外，本设计也适用在各类裸眼3D显示系统上。

[1]DODGSON N A.Autostereoscopic 3D displays[J].IEEE Computer Society(S0018-9162), 2005, 38(8)：31-36.

[2]KONRAD J，HALLE M.3-D displays and signal processing[J].IEEE Signal IEEE Signal Processing Magazine,2007, 24(6): 97-111.

[3]BERKEL C V.Image preparation for 3D-LCD[J]. Proceedings of SPIE on Stereoscopic Displays and Virtual Reality Systems VI,1999,3639(5)：84-91.

[4]BARKOWSKY M, CAMPISI P.Crosstalk measurement and mitigation for autostereoscopic displays[C]//Proc.SPIE.[S.l.]：IEEE Press,2010：7526.

[5]JANG J S, JIN F.Three-dimensional integral imaging with large depth of focus by use of real and virtual image fields[J].Opt.Lett.,2003,28(16):1421-1423.

[6]SONG Y W, JAVIDI B.3D object scaling in integral imaging display by varying the spatial ray sampling rate[J].Opt.Exp.,2005,13(9):3242-3251.

[7]张兆杨，安平，张之江.发展3DTV需解决的技术及其应用趋势[J].电视技术，2010，34(6)：4-6.

[8]深圳超多维光电子有限公司.一种立体显示方法、跟踪式立体显示器及图像处理装置:中国,101909219A[P].2010-12-08.

[9]WANG J, LIANG H W.High-quality autostereoscopic display with spatial and sequential hybrid control[J].Appl.Opt.,2013, 52(35):8549-8553.

[10]梁路宏，艾海舟.人脸检测研究综述[J].计算机学报，2002,25(5)：449-458.

[11]邢果，戚文芽.彩色空间的肤色分割及其在人脸检测中的应用[J].电视技术，2006，30(7)：91-93.

[12]曹永辉, 伍瑞卿, 樊丰.灰度图像人脸检测算法研究[J].电视技术，2007，31(11)：84-86.

[13]徐品，童癸.基于AdaBoost算法和人眼定位的动态人脸检测[J].电视技术，2011，35(9)：114-117.

林岱昆，硕士生，主研裸眼3D显示；

梁伟棠，硕士，主研模式识别与程序开发；

梁浩文，博士生，主研裸眼3D显示；

范 杭，博士生，主研裸眼3D显示；

苏剑邦，硕士生，主研裸眼3D显示；

朱 彤，本科生；

许宇满，本科生；

王嘉辉，博士，实验师，主研裸眼3D显示；

周建英，博士，教授，博士生导师，主研裸眼3D显示，超短激光脉冲与超快过程，超快量子光电子学等。

责任编辑：许 盈

Spatially and Temporally Seamless Autostereoscopic Display Technology Research Based on Face-tracking

LIN Daikun, LIANG Weitang, LIANG Haowen, FAN Hang, SU Jianbang, ZHU Tong, XU Yuman, WANG Jiahui, ZHOU Jianying

(SchoolofPhysicsandEngineering，SunYat-SenUniversity，Guangzhou510275，China)

Generally, many problems are found in auto-stereoscopic display technology, such as the limitation of visual angle and serious crosstalk, even as the areas with pseudoscope problem.Based on the method of binocular vision and face tracking，on the basis of the full resolution auto-stereoscopic display system, the seamlessness of the visual volume is achieved by controlling the backlight according to spatial coordinates of faces.Further more, the frame rate of the program with ROI method is increased to 20 f/s or more, and thus the seamless switching came true.It is shown that the needs of real-time face tracking can be satisfied and spatially and temporally seamless auto-stereoscopic display can be achieved by experiences.

face tracking; ROI method; pseudoscope; auto-stereoscopic display

国家“973”计划项目(2012CB921904)

TP391.4

B

10.16280/j.videoe.2015.05.018

2014-07-17

【本文献信息】林岱昆，梁伟棠，梁浩文，等.基于人脸跟踪的时空无缝裸眼3D显示技术研究[J].电视技术,2015，39(5).