螳螂虾视觉成像的特点及其仿生技术研究综述

张 旭，金伟其，裘 溯



螳螂虾视觉成像的特点及其仿生技术研究综述

张 旭，金伟其，裘 溯

（北京理工大学光电成像技术与系统教育部重点实验室，北京 100081）

螳螂虾是目前发现的拥有世界上最复杂眼睛的动物，其视觉系统有16种不同的光感受器类型，能够探测并分析可见光、紫外光、线偏振光以及圆偏振光。螳螂虾的视觉系统为设计出更好的成像器件提供了范例，目前，仿生螳螂虾视觉成像技术处于起步阶段，具有广阔的应用前景。本文对国内外螳螂虾视觉的特点及其仿生成像技术的研究进展进行了全面系统的综述，分析了螳螂虾视觉的成像优势，指出了仿螳螂虾视觉成像技术的应用前景。

螳螂虾；偏振光；视觉成像；光感受器

0 引言

近年来，仿生成像技术研究日益受到人们的关注，例如，仿生昆虫复眼的复眼成像系统，仿生龙虾眼的龙虾眼光学系统[1]等。这些仿生成像系统能够满足特殊的应用需求，相比于传统的成像系统，在一些特定的环境下具有独特的性能。本文将在介绍螳螂虾视觉结构及其特点的基础上，综述国内外螳螂虾成像技术的研究现状及其应用前景，期望能够吸引人们对仿螳螂虾视觉研究的兴趣。

1 螳螂虾的眼睛结构

螳螂虾（如图1(a)所示）的眼睛属于并列型复眼，分为腹/背部的外围区域和横穿二者之间的中间带状区3个部分（如图1(b)所示）[2]，dPR（dorsal Peripheral Region）是背部外围区，vPR（ventral Peripheral Re- gion）是腹部外围区，二者大致对称；MB（Mid-Band region）是中间带状区。中间带状区由水平方向6排特化的小眼构成（如图1(c)所示）[3]，每个小眼有不同的功能，几乎涵盖了所有类型的光感受器，用来感知包括紫外线、线偏振光和圆偏振光等16种不同波段和类型的光线[4-6]，1～4排主要用于颜色处理[7]，5～6排分别用于线偏振光[8]和圆偏振光[9]的探测。小眼作为复眼里的感光单元，从外往内依次是角膜、晶椎体（crystallinecone）和视杆束（rhabdom）——这是8个小网膜细胞（retinular cell）组成的一列结构，最靠外的R8感受器集结了大部分感光的能力，大部分视蛋白（opsin）都集中在此，R8感受器对紫外敏感。这种由6排小眼组成的独特复眼结构，在感知色彩时12种感光细胞独立运作，平行处理各波段的光线[10]，同时还能感知不同类型的偏振光，在感知及利用偏振信息方面具有独特的优势。

2 国内外螳螂虾视觉研究发展现状

2.1 国外螳螂虾视觉研究发展现状

国外对螳螂虾视觉系统的研究起步较早，主要有马里兰大学、昆士兰大学、华盛顿大学等研究单位，研究螳螂虾视觉系统的基本功能，分析其作用以及对人类研究传感器的启发。近年在螳螂虾视觉研究基础上，开始将螳螂虾视觉成像优势应用于传感器技术，开发具有螳螂虾视觉基本功能的传感器。

2.1.1 可调谐的多色视觉系统

1988年，昆士兰大学的N. J. Marshall等发现了螳螂虾具有很多种光谱敏感性[11]，而大多数已知的其他动物只有2～3种光谱敏感性。1994年，马里兰大学的T. W. Cronin等发现了单一对紫外敏感的视觉色素，峰值在330nm左右[12]。1997年，英国萨塞克斯大学的Osorio提出螳螂虾的多光谱敏感性使螳螂虾能在水下环境中有更好的色觉恒常性[13]。2001年，N. J. Marshall等测试了螳螂虾R8细胞的光感受器，发现R8细胞对紫外光谱敏感，共有4种紫外光谱敏感细胞（如图2），3种在中间带状区域，一种在外围区，光谱敏感曲线的中心波长分别在315nm，330nm，340nm，380nm[14]。

图1 螳螂虾视觉结构示意图

图2 R8细胞光谱灵敏度曲线

2001年，T. W. Cronin等研究了生活在不同海水环境中螳螂虾的视觉光谱特性。如图3所示，生活在浅水区的螳螂虾物种光谱灵敏度峰值最长在600nm左右，生活在深水区物种光谱灵敏度峰值往短波方向移动；有的螳螂虾物种生活在潮下带至30m之间，甚至更深，而长波长的光感受器在深水区没有响应。这种物种是通过调节视觉滤光片或视觉色素，而螳螂虾在深水和浅水区有相同的视觉色素。因此，螳螂虾是通过调节视觉滤光片来适应不同光照条件下的环境，其视觉是一种可调谐的，随环境变化的视觉系统[15]。为了研究不同滤光片的设置是否会受环境的影响，分别用蓝光和宽光谱的白光对两组相同的螳螂虾物种训练，在3个月后，用白光训练的螳螂虾物种的滤光片类型特征在浅水区，用蓝光训练的滤光片的类型特征在深水区（如图4所示）。

目前，已知螳螂虾的光感受器共有16种，光感受器中的12种用来探测颜色，这12种光感受器中的3种用来探测紫外光，9种用来探测可见光，光谱灵敏度从紫外到红光[5,7,16-17]，光谱范围为300～700nm，每种光感受器的响应波段较窄（如图5所示）[10]，可以提高颜色探测的灵敏度。

2.1.2 偏振视觉感知机制

政府要对旅游管理进行有效干预，通过组织旅游企业的管理人员学习和考察，让他们掌握先进的旅游管理理念和管理方式，这样就能提高旅游管理实效性。另外，旅游企业要加强行业信息的交流和沟通，还要和旅游发达国家进行合作，这样就能拓展海外旅游市场，让旅游业可以在国际市场中占有一席之地。

1999年，N. J. Marshall等通过行为学实验证明螳螂虾具有线偏振视觉，可以分清两个强度相同但偏振度不同的物体[8]。分析螳螂虾视觉中间带状区域第5排和第6排的内部结构（如图6所示）[9]，第5排的R2，R3，R6和R7的微柔毛朝一个方向排列，R1，R4和R5的微柔毛朝另一个方向排列，组R2，R3，R6，R7与组R1，R4，R5的微柔毛相互垂直，R8和两组角度为45°；第6排所有与第5排同名的微柔毛相互垂直。感光细胞中微绒毛的排列方向呈组内平行组间垂直状态，形成能够感知一对正交线偏振光的感光通道[18-19]，信号组成一组拮抗，通过增强某个信号和抑制另一个信号的拮抗运算方式，产生新的响应信号作为光感受器的最终输出，可提高偏振信号的幅度和对比度[20]。

图3 浅水和深水区成年螳螂虾视觉响应曲线

图4 不同光照下视觉响应曲线

图5 螳螂虾视觉响应曲线

2008年，马里兰大学的T. H. Chiou等首次提出了螳螂虾视觉系统具有别于其他动物独特的探测和分析圆偏振光的视觉功能。从电生理学上，视觉解剖学等证据描述了这一新的视觉功能[9]。要使用圆偏振光，螳螂虾的眼睛中需要有一种波片，将圆偏振光转换成线偏振光，而螳螂虾的R8感受器是一种类似1/4波片的装置，且R8微柔毛的排列与组内其他细胞的排列呈精确的45°（如图6和图7所示）[9]，这为探测圆偏振光提供了结构基础；从行为学上测试了螳螂虾对圆偏振光的感受能力，首先将食物和反射圆偏振光对应起来，训练螳螂虾，之后呈现两根喂食管给螳螂虾，一根反射左旋圆偏振光，一根反射右旋圆偏振光，结果螳螂虾选择特定圆形偏振光的喂食管。虽然已知螳螂虾具有探测圆偏振光的功能，但还不清楚这么复杂视觉机制的作用。

2009年，英国布里斯托尔大学N. W. Roberts等研究了螳螂虾视觉中间带状区域第5排和第6排的R8细胞，用偏振显微镜测量了R8细胞感杆在两个互相垂直方向上的位相延迟。测量方法如下：将R8感杆的冰冻切片放置在偏振显微镜的两个正交的偏振片之间，R8感杆的视轴与偏振片垂直，让入射光依次通过第一个偏振片，样本和第二个偏振片，通过分析并测量出射光的偏振态可以得到样本的位相延迟[9]。将测量结果与两个人造零阶1/4波片比较，结果如图8所示[21]，虚线为人造波片的延迟，点线为优化后的人造波片的延迟，实线为螳螂虾R8细胞的延迟。可以看出，螳螂虾的R8细胞在整个可见光谱都有较好的消色差水平，这种特殊的波片能够在所有可见光波长工作，其性能远高于现有人造波片。对这种精致设计的内部结构的深入了解有助于提高人造波片的性能。

图6 R5和R6微柔毛排列方向

Fig.6 The direction of R5 and R6 microvillar

图7 圆偏振光检测示意图

图8 人造1/4波片和R8细胞延迟比较

2.1.3 信号处理机制

螳螂虾视觉中有12种光感受器用于解码颜色，而人类和其他大多数动物只有3种就足够解码所有的可见光波长。2014年，昆士兰大学的H. H. Thoen等研究了螳螂虾的颜色感知和信号处理机制，首先做了两个假设：①螳螂虾的视觉是类似于人类的色彩比较系统；②螳螂虾的视觉中12种感光细胞独立运作，平行处理各波段的光线。

为了验证假设，测试了螳螂虾在不同色调之间的辨色能力：首先对一种螳螂虾进行了训练，将食物和一种特定的有色光关联，用单一有色光所对应的食物去多次喂养螳螂虾，让螳螂虾熟悉该有色光的单一波长，总共训练了400nm，425nm，450nm，470nm，500nm，525nm，570nm，575nm，628nm和650nm的10种不同波长的颜色光；之后用一根光纤引入了测试颜色，用光纤头对准螳螂虾眼睛。经过反复测试（如图9所示）[10]，当测试波长和训练波长相隔50～100nm时，辨别波长的成功率为70%～80%，当在12nm时，辨别波长的成功率降到50%。

图9 螳螂虾辨色能力测试

由实验得到结论：螳螂虾视觉系统不是比较色彩系统，螳螂虾辨别颜色时，12种感光细胞的功能相互独立平行处理信息，感光细胞输出不通过神经比较，色彩信息是直接线性地从视网膜传到大脑。螳螂虾能区分诸如橙色与黄色两种单一色，而这两种颜色中间的差别对螳螂虾来说可忽略不计。为了能快速感知颜色，螳螂虾“牺牲”了辨别颜色时的准确性。该方法有助于螳螂虾节省脑力，使其能在五颜六色的珊瑚礁中更快速地发现朋友、敌人及猎物。

2.1.4 仿生成像传感器

2014年，华盛顿大学的T. York等从螳螂虾视觉成像系统得到启发，首次仿螳螂虾视觉成像技术，从光学系统，处理电路和信号处理算法上对以前的传感器进行改进，制造出仿生偏振成像相机[22]。传感器如图10右图所示，铝纳米线直接放在硅光电二极管的上方作为线偏振滤光片，线偏振滤光片的偏振角分别为0°，45°，90°和135°，排成一个2×2的超像素阵列，偏振滤光片和像素一一对应，这种全新的相机能够将原本看不到的信息转化为人类可视的颜色信号。

图10 仿生偏振成像传感器

2.2 国内技术发展现状

国内对螳螂虾视觉成像技术的研究起步较晚，主要是利用螳螂虾视觉成像的特点，将螳螂虾视觉的某些功能用于水下成像和图像处理等方面。

2013年，河海大学王慧斌等从螳螂虾信息处理机制得到启发，将其应用于水下光学成像，构造了反馈神经网络模型。反馈神经网络模型是多输入/单输出的两层神经网络模型（如图11所示），可以平行处理多种信息，融合信息处理结果。第一级主要提取主要信息，第二级主要处理主要信息和融合处理结果。将神经网络模型应用到水下偏振图像分割过程（如图12所示）：采集0°，45°，90°偏振图像，提取图像强度和线偏振度，将其输入神经网络模型的两个平行通道得到分割图像。用机器学习方法优化反馈神经网络的关键参数，结合偏振和强度信息，实现水下偏振图像分割。通过调节不同通道的参数有助于水下目标探测[23-24]。

2014年，河海大学沈洁等提出一种仿螳螂虾视觉偏振拮抗感知的水下偏振成像方法。通过旋转CCD上的线偏振片分别采集0°、45°、90°、135°的偏振图像，根据螳螂虾的偏振拮抗感知机制，形成4个偏振拮抗通道，每个通道由相互正交的一对偏振信号组成：第一通道(0°)和(90°)，第二通道(90°)和(0°)，第三通道(45°)和(－45°)，第四通道(－45°)和(45°)，各组拮抗信号通过一种拮抗运算方式得到偏振拮抗参数h，v，d，－d；最后采用Stokes计算出线偏振度Dop和合成光强。偏振拮抗数学模型如图13所示，设置调谐因子(1)和(2)调控输入拮抗对信号的增强和抑制，利用线性减法运算建立偏振拮抗模型，输出拮抗信号之间的线性加权均值为偏振拮抗参数。将偏振拮抗感知模型（如图14所示）用于水下目标探测，得到了较好的结果[25]。

3 应用前景

3.1 水下目标成像

海洋蕴藏着丰富的资源和能源，海洋开发具有重要的战略意义和民生意义。作为海洋开发的手段之一，水下光学成像技术被广泛的应用于水下目标探测。但由于水下环境复杂，目前现有的成像手段作用距离短，成像质量差。研究表明，偏振光的使用有助于增大水下成像的作用距离[26]。海洋生物螳螂虾长期生活在水下环境中，其视觉系统已经进化到能够适应复杂多变的水体环境。螳螂虾独特的成像方式使低照度、强散射、浑浊的水下环境成像清晰度高、对比度高[27]。河海大学利用螳螂虾视觉成像技术的优势，在水下成像方面取得了很大进步，但其主要应用方面是水下图像处理。对螳螂虾视觉系统及视觉处理机制的深入研究，为水下成像技术开辟了新的思路。

3.2 癌症检测

在医学上，癌症检测通过提取活体组织的方法，其检测步骤繁琐。医学研究发现，癌组织会反射出与周边健康组织不同的偏振光，螳螂虾的眼睛能够探测线偏振光和圆偏振光，对偏振光图像清晰的成像，利用偏振光来探测和辨别物体。这一功能成为研制新型相机的极佳模板，使通过视觉影像的方式检测癌组织成为可能。

4 结论

综上所述，螳螂虾视觉成像技术有明显的技术特色，国外在螳螂虾视觉系统研究的基础上，已经逐步将仿生螳螂虾视觉成像技术和传统的成像技术相结合，探索新一代的成像传感器，我国尚未进行相关研究。由于螳螂虾视觉系统较为复杂，目前，对螳螂虾的视觉结构及感知机理尚不完全清楚，仿生螳螂虾视觉成像技术处于起步阶段，具有很大的技术发展空间和广阔的应用前景。

图11 反馈神经网络结构

图12 水下图像分割流程

图13 偏振拮抗感知数学模型

图14 水下目标探测框架

[1] 付跃刚, 张方军, 欧阳名钊, 等. 仿生龙虾眼光学系统的发展及其在红外波段的应用[J].红外技术, 2014, 36(11): 857-862.

FU Yue-gang, ZHANG Fang-jun, OUYANG Ming-zhao, et al. Development of lobster eye optical system and the application in IR[J]., 2014, 36(11): 857-862.

[2] BOK M J, PORTER M L, PLACE A R, et al. Biological sunscreens tune polychromatic ultraviolet vision in mantis shrimp[J]., 2014, 24(14): 1636-1642.

[3] THOEN H H. Colour vision in mantis shrimps understanding one of the most complex visual systems in the world[D]. Brisbane: Philosophy of the University of Queensland, 2014: 156.

[4] LAND M F, OSORIO D. Extraordinary Color Vision[J]., 2014, 343(6169): 381-382.

[5] CRONIN T W, BOK M J, MARSHALL N J, et al. Filtering and polychromatic vision in mantis shrimps: themes in visible and ultraviolet vision[J]., 2014, 1636(369): 1-11.

[6] MARSHALL J, CRONIN T W, KLEINLOGEL S. Stomatopod eye structure and function: a review[J]., 2007, 36(4): 420-448.

[7] CHIAO C C, CRONIN T W, MARSHALL N J. Eye design and color signaling in a stomatopod crustacean Gonodactylus smithii[J]., 2000, 56(2): 107-122.

[8] MARSHALL J, CRONIN T W, SHASHAR N, et al. Behavioural evidence for polarisation vision in stomatopods reveals a potential channel for communication[J]., 1999, 9(14): 755-758.

[9] CHIOU T H, KLEINLOGEL S, CRONIN T, et al. Circular polarization vision in a stomatopod crustacean[J]., 2008, 18(6): 429-434.

[10] THOEN H H, HOW M J, CHIOU T H, et al. A different form of color vision in mantis shrimp[J]., 2014, 343(6169): 411-413.

[11] MARSHALL N J. A unique colour and polarization vision system in mantis shrimps[J]., 1988, 333(6173): 557-560.

[12] CRONIN T W, MARSHALL N J, QUINN C A, et al. Ultraviolet photoreception in mantis shrimp[J]., 1994, 34(11): 1443-1452.

[13] OSORIO D, MARSHALL N J, CRONIN T W. Stomatopod photoreceptor spectral tuning as an adaptation for colour constancy in water[J]., 1997, 37(23): 3299-3309.

[14] MARSHALL J, OBERWINKLER J. The colourful world of the mantis shrimp[J]., 1999, 401(6756): 873-874.

[15] CRONIN T W, CALDWELL R L, MARSHALL J. Tunable colour vision in a mantis shrimp[J]., 2001, 411(6837): 547-548.

[16] MARSHALL N J, JONES J P, CRONIN T W. Behavioural evidence for colour vision in stomatopod crustaceans[J]., 1996, 179(4): 473-481.

[17] CRONIN T W, MARSHALL N J. Multiple Spectral Classes of Photoreceptors in the Retinas of Gonodactyloid Stomatopod Crustaceans[J]., 1989, 166(2): 261-275.

[18] KLEINLOGEL S, MARSHALL N J. Electro-physiological evidence for linear polarization sensitivity in the compound eyes of the stomatopod crustacean Gonodactylus chiragra[J].., 2006, 209(21): 4262-4272.

[19] KLEINLOGEL S, MARSHALL N J, HORWOOD J M, et al. Neuroarchitecture of the color and polarization vision system of the stomatopod haptosquilla[J]., 2003, 467(3): 326-342.

[20] HOW M J, PORTER M L, RADFORD A N, et al. Out of the blue: the evolution of horizontally polarized signals in Haptosquilla (Crustacea, Stomatopoda, Protosquillidae)[J]., 2014, 217(Pt 19): 3425-3431.

[21] ROBERTS N W, CHIOU T H, MARSHALL N J, et al. A biological quarter-wave retarder with excellent achromaticity in the visible wavelength region[J]., 2009, 3(11): 641-644.

[22] YORK T, POWELL S B, GAO S K, et al. Bioinspired polarization imaging sensors: from circuits and optics to signal processing algorithms and biomedical applications[J]., 2014, 102(10): 1450-1469.

[23] WANG Huibin, WU Yurong, SHEN Jie, et al. Research on underwater polarization image segmentation inspired by biological optic nerve[C]//2013, 2013, 4(1): 2646-2650.

[24] CHEN Z, WANG H, XU L, et al. Visual-adaptation-mechanism based underwater object extraction[J]., 2014, 56: 119-130.

[25] SHEN Jie, WANG Huibin, CHEN Zhe, et al. Polarization calculation and underwater target detection inspired by biological visual imaging[J]., 2014, 169(4): 33-41.

[26] CHANG P C Y, FLITTON J C, HOPCRAFT K I, et al. Improving visibility depth in passive underwater imaging by use of polarization[J]., 2003, 42(15): 2794-2803.

[27] KLEINLOGEL S, WHITE A G. The secret world of shrimps: polarization vision at its best[J]., 2008, 3(5): 1-8.

Researching Summary of the Mantis Shrimp’s Visual Imaging Characteristics and Bionic Technology

ZHANG Xu，JIN Weiqi，QIU Su

(,,100081,)

The mantis shrimp has the most complex eyes in the animal kingdom, its visual system has 16 types of different photoreceptors and the ability to detect and analyze the visible light, ultraviolet light, linear polarized and circular polarized light. The mantis shrimp’s visual system provides a model to design better imaging device. At present, bionic mantis shrimp visual imaging technology is at the initial stage and has broad applied prospects. This paper reviews the research progress of mantis shrimp’s visual characteristics and bionic techniques both in China and abroad, analyzing the mantis shrimp’s visual imaging advantages and pointing out the prospects of bionic mantis shrimp’s visual imaging technology.

mantis shrimps，polarized light，visual imaging，photoreceptor

TB17，TH74

A

1001-8891(2016)02-089-07

2016-01-24；

2016-01-30.

张旭（1991-），男，陕西人，博士生，主要从事气体泄漏红外成像检测技术、数字图像与视频处理技术方面的研究。E-mail：zhangxu610521@163.com。

金伟其（1961-），男，上海人，教授，博士生导师，博士，主要从事夜视与红外技术、光电图像处理、光电检测与仪器等方面的研究工作。E-mail：jinwq@bit.edu.cn。

国家自然科学基金项目（61575023）。