双CMOS仿生3D视觉传感器电路设计

施建盛，梁发云，何 辉

(1.南昌大学裸眼立体技术与虚拟现实研究中心，江西南昌330031;2.南昌兴亚光电科技发展有限公司，江西南昌330031)

双CMOS仿生3D视觉传感器电路设计

施建盛1，2，梁发云1，2，何 辉1，2

(1.南昌大学裸眼立体技术与虚拟现实研究中心，江西南昌330031;2.南昌兴亚光电科技发展有限公司，江西南昌330031)

针对目前3D相机中出现的图像数据易丢失、左右图像同步难等问题，提出一种可精确采集左右格式立体对图像的仿生3D传感器实现方法，可为仿生3D传感器的光路系统的检验及目标物三维重建提供精确三维坐标信息。为更好协调3D传感器在光信号处理中的点像素同步，采用现场可编程门阵列处理双OV3640图像传感器各信号，初始化后在像素时钟的准确控制下采集图像数据并完成输出图像格式转换、缓存、左右格式立体对图像拼接及输出显示验证。结果表明，3D传感器工作可靠、集成度高、体积小，可精确采集左右格式立体对图像。

光信号处理;双CMOS;仿生3D传感器;现场可编程门阵列;立体对图像

裸眼3D技术是不佩戴眼镜的新型显示技术，通过特制的光学器件把具有视差的立体对图像分别传送到对应的左右眼来获得立体效果［1-2］。双目仿生3D传感器是裸眼3D显示的前提基础，质量优良的图像片源可明显减轻观看者的不适度及疲劳感。

然而，目前国内市场上尚无法购买到双CMOS形式3D传感器，而且市面上的3D照相机由于是两只镜头与传感器的简单组合，采集到的左右图像数据容易出现丢帧或非同步等现象。光路系统中的光线折射方式也是影响图像质量的重要因素之一，搭配精确的光路系统可明显增强立体图像显示效果［3］。但是由上述方法得到的三维坐标信息精度低，很难检验后期所设计的仿生视觉光路效果，即使有后续的软件算法弥补也会造成很大匹配失真，使观看者产生眩晕或疲劳感。

数字信号处理(DSP)和现场可编程门阵列(FPGA)［4］是图像采集常用控制器件，但DSP难同步双传感器图像数据，而FPGA的并行处理方式使各程序模块之间同时进行［5-6］，使用Verilog HDL硬件编程语言在时序精确控制下完成最终左右格式立体对图像拼接。电路板集成的EPCS芯片可固化图像采集程序，能作为各种3D产品的一个独立模块连接使用，可广泛应用与3D照相机、车载立体视觉［7］、安防等领域。

1 双目视觉图像获取及重建原理

人类的双眼能完成绝大多数的外界信息获取任务，只有使用双眼时人们才能感受到物体的远近及深度感，这是因为左右眼获取的图像存在细微的差异，这种差异被称为视差。双眼所获取的图像信息经过大脑处理后能得到该物体的三维结构，凭借经验能感知到大概距离。双摄像头立体视觉图像采集系统正是模仿人眼的这一特殊功能，通过两个摄像头分别模拟人的左右眼对目标物体进行拍摄，获得两幅有略有差异的图像，为后续的立体匹配和测距提供视频源。

如图1所示为双OV3640传感器在同一水平面上的理想模型，图2为对应摄像机坐标系。对空间任意物体上的M(x，y，z)特征点在左右传感器中的图像坐标分别为:ML=(XL，YL)和MR=(XR，YR)，易知YL=YR，则视差D=XL-XR。

图1 双OV3640立体视觉成像模型

图2 摄像机坐标系

根据三角几何关系，以及基线B、焦距f可求得该特征点在摄像机坐标系下的空间坐标(z为距离)为

该坐标数据隐含视差立体成像的深度信息，可用于快速重建物体表面坐标［8-9］，以此验证近景与远景的视觉匹配度，也可为虚拟场景的触摸操作提供准确的空间信息。分析重建坐标的精度，保证视觉空间与三维物理坐标空间的重合精度，通过重建过程中的误差因素分析，建立三维坐标复现精度模型，并由此来检验3D传感器的光路模型的效果。

2 总体设计

2.1 3D传感器硬件设计

3D传感器在硬件上需满足嵌入式系统要求，体积小、集成度高。如图3所示，其外部引脚接口及连接方式如下:IIC_SCL和IIC_SDA是I2C总线的时钟和数据线;CAM_RST是硬件复位;CAM_HREF是行扫描信号;CAM_VSYNC是场扫描信号;CAM_CLK是传感器工作时钟;CAM_D［7∶0］是8位数据线，即选用传感器的高8位Y［9∶2］，低2位省去，用作自动对焦功能的电压及地管脚。在硬件电路上PWDN引脚直接接地，复位管脚CAM_RST通过外部连线接3.3 V I/O口高电平。由一片24 MHz晶振直接提供工作时钟，不采用系统时钟分频方式，避免软件带来的误差影响。I2C时钟线和数据线各接一个1 kΩ的上拉电阻，采用最高速度400 kHz。为匹配FPGA I/O扩展口电平，由电压调整器芯片LDO调整传感器I/O口电压DOVDD(2.8 V)，其余两路工作电压分别为模拟电压AVDD(2.8 V)、核心电压DVDD(1.5 V)。FB为磁珠，可以有效地抑制电磁干扰。

2.2 3D传感器初始化

寄存器设置决定了传感器工作参数及状态，首先将寄存器0X3012［7］位置高进行软件复位，将传感器初始化为图像最大分辨率QXGA(2 048×1 536)、帧率为15 f/s模式。CMOS传感器中的 0X3100，0X3301，0X3304，0X3400，0X3404寄存器主要用于设置图像输出格式，定义的0X3020～0X3027及0X3088～0X308B等寄存器主要用于图像输出分辨率。

左右传感器使用的是独立的I2C协议，保证了各自传感器寄存器数据正常写入。I2C协议一次只能发送8位数据，而传感器的寄存器地址为16位。可在先发送高8位，紧接着发送低8位的情况下能将数据正确配置到传感器中的E2PROM，使其正确识别并工作。一个完整的32位发送过程为:器件ID 0X78+寄存器高8位+寄存器低8位+该寄存器所配数据。针对以上时序关系编写I2C发送程序，在程序下载之前需对该模块进行软件仿真，保证程序部分理论上无误。如图4仿真所示，以第一组发送数据:0X78301280(iic_dat)为例，首先赋值给中间变量sdo。go信号启动，随即sd_count开始计数，每个时钟sdo向iic_sdat赋值一位bit并产生iic_ clk信号，直至全部发送完成END信号为高。

图3 3D传感器硬件接口及连接图

图4 MODELSIM仿真图(截图)

2.3 立体对图像获取

双传感器在完全相同的状态下，在同一时刻对同一目标场景所捕捉到的图像信息称为立体对图像，包括左右格式和上下格式两种。假如出现图像数据丢失或非同步，将会出现重建三维场景所需的坐标信息精度低甚至错误问题。本研究采用时钟精确时序控制方式，如图5所示传感器正常工作后，以各自像素时钟PCLK为主控时钟控制图像采集及转换模块。为防止左右传感器图像数据冲突，匹配两端时钟的FIFO各自独立，先分别存至两个单独RAM，通过行、场扫描信号控制，先左后右逐行取出并拼接成左右格式立体对图像［10-11］。

图5 立体对图像采集框架图

3 实验验证

3.1 传感器工作情况验证

由于本3D传感器为图像采集功能，为降低成本没有设计外部存储器，验证显示时以片内资源搭建各存储器。鉴于此，立体对图像以RGB332，分辨率为176×72 (单幅分辨率为88×72)显示验证。

将传感器配置为分辨率176×144、图像输出格式bgbg…./grgr….排列的Raw、30 fp/s模式，组合曝光、色彩饱和度、清晰度、白平衡等总共182组寄存器按照一定顺序依次初始化。输出的12 MHz像素时钟控制图像格式转换，转换后RGB格式分辨率为88×72。为此对传感器的配置过程、单传感器行/场控制信号、3D传感器的行控制信号及像素时钟信号一一验证。数字示波器验证结果分别如图6～图9所示。

图6 完整的32位数据发送(截图)

分辨率设置决定了后续图像采集、格式转换、缓存、立体对图像拼接的正确性，对它的验证尤为重要。图10为Quartus II 9.1内置逻辑分析仪Singnal Tap II的在线测试图，其中data［7∶0］为8位数据输出，data［10∶8］从低位到高位依次为CAM_VSYNC，CAM_HREF，CAM_ PCLK信号，分辨率为所设的176×144(即B0×90)。通过寄存器0X3600将CAM_VSYNC，CAM_HREF，CAM_ PCLK都设置成高电平输出有效。

图7 HREF/VSYNC信号(截图)

图8 3D传感器的HREF信号(截图)

图9 3D传感器的PCLK信号(截图)

图10 Singnal Tap II在线测试图(截图)

3.2 立体对图像显示验证

上述验证皆正确，可进行最后拼接输出实验。硬件电路板设计的RGB332 VGA权电阻网络D/A接口仅用于显示验证，在数字模拟转换环节分别选取OV3640 RGB字节的高位比特数据，显示器其他区域填黑。如图11所示，为EPCS芯片固化程序后的小分辨率立体对图像。S4键按下后开始图像的采集及转换，4个绿色LED灯显示连续的行控制信号计数效果，最终会有一幅分辨率为176×72的立体对图像显示在液晶屏上。最终实验说明3D传感器工作良好，可精确采集并拼接成左右格式立体对图像。

图11 立体对图像VGA显示

4 小结

在双目立体视觉获取及重建基本原理基础上，提出了采用FPGA处理双CMOS视觉传感器的新型仿生3D传感器硬件实现方法并通过软件验证，为仿生3D传感器的光路系统的检验提供精确三维坐标信息。使用FPGA易同步双传感器之间的数据采集、格式转换、缓存拼接等，时钟控制各模块时序精确进行，可达到对点像素的操作。最终VGA显示实验证明3D传感器电路板可精确采集左右格式立体对图像。

［1］FUKUSHIMA T，TORIIM，UKAIK，et al.The relationship between CA/C ratio and individual differences in dynamic accommodative responseswhile viewing stereoscopic images［J］.Journal of Vision，2009 (9):21-13.

［2］梁发云，邓善熙，杨永跃.自由立体显示器的视觉特性测量与研究［J］.仪器仪表学报，2006，27(10):1350-1353.

［3］NARUSE T，KANEKO T，YAMASHITA A，et al.3-D measurement of objects in water using fish-eye stereo camera［C］//Proc.19th IEEE International Conference on Image Processing(ICIP).Orlando:IEEE Press，2012:2773-2776.

［4］邸丽霞，张彦军，洪应平.基于FPGA的高速图像数据采集存储系统设计［J］.电视技术，2013，37(13):49-52.

［5］王香云.基于FPGA的小波去噪的硬件实现［J］，激光技术，2013，37(6):786-790.

［6］ZICARIP.Efficient and high performance FPGA-based rectification architecture for stereo vision［J］.Microprocessors and Microsystems，2013(37):1144-1154.

［7］FRANCISCO R M，QIW，QIN Z.Design parameters for adjusting the visual field of binocular stereo cameras［J］.ScienceDirect Biosystems Engineering，2010(105):59-70.

［8］YOSHIDA T，FUKAO T.Dense 3D reconstruction using a rotational stereo camera［C］//Proc.IEEE/SICE International Symposium on System Integration(SII).Kyoto:IEEE Press，2011:985-990.

［9］BATZM，RICHTER T，GARBASJU，etal.High dynamic range video reconstruction from a stereo camera setup［J］.Signal Processing: Image Communication，2014(29):191-202.

［10］梁发云，邓善熙，杨永跃.立体图像视频格式及其转换技术研究［J］.仪器仪表学报，2005，26(12):1233-1238.

［11］王爱红，王琼华，李大海.立体显示中立体深度与视差图获取的关系［J］.光学精密工程，2009，17(2):433-437.

Design of Biom imetic 3D Vision Sensor Circuit w ith Double CMOS

SHI Jiansheng1，2，LIANG Fayun1，2，HE Hui1，2
(1.3D＆VR Research Centre，Nanchang University，Nanchang 330031，China; 2.Nanchang PROPERASLAOPTOELEC Sci－Tech Dev Co.，Ltd.，Nanchang 330031，China)

In order to solve current problems of 3D camera like too small central figure in the pictures，close shot and distant view are seriousmismatch that caused by lens'and sensors'notmeeting the requirements of bionic vision，a kind ofmethod is put forward that can collect stereo pair format image with biomimetic 3D sensor preciselywhich can provide a good video source for Naked-eye3D display equipment.To better coordinate the 3D sensor pixel synchronization in optical signal processing，field programmable gate array is used to process double OV3640 image sensor's signal，image data is collected and the format conversion，cache，stereo pair format images'mosaic of output image are fufilled after initialization，and output display is validated under the accurate control of the pixel clock.The results show that the 3D sensor is reliable，high integration and small size，which can collect left and right format stereo pair images accurately.

optical signal processing;double CMOS;biomimetic 3D sensor;FPGA;stereo pair images

TP212.9

A

�� 薇

2014-04-22

【本文献信息】施建盛，梁发云，何辉.双CMOS仿生3D视觉传感器电路设计［J］.电视技术，2014，38(23).

科技部创新基金项目(13C26213603102);江西省教育厅产学研项目(GJJ11001)

施建盛(1988—)，硕士研究生，主研3D传感器、嵌入式系统等;梁发云(1970—)，博士，副教授，硕士生导师，主研裸眼立体与虚拟现实技术。