本文主要是介绍为什么说事件相机是“受生物启发的”？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
本文首发于公众号：【事件相机】，为什么说事件相机是“受生物启发的”？
常常在论文中见到一个词，bio-inspired，翻译过来是“受生物启发的”。那究竟为什么说是事件相机是受生物启发的，如何从生物角度解释事件相机的功能？本文做简要介绍。
本文涉及过多生物知识，我不是专业的，所以只能解释个大概。如有错误，请批评指正。
一、视觉通路
视觉通路。图片来源[1]
首先人通过眼睛的视网膜将视觉信息编码，经过视交叉后通过大脑中一个称作Lateral geniculate nucleus (LGN)的区域，将视觉信号层层分类，传递到初级视觉皮层(primary visual cortext)[1]。
进入到初级视觉皮层后，视觉信息被进一步的加工。罗德曼脑区系统17区的皮层称作V1皮层，最初的视觉信息就在V1皮层（称作“纹状皮层”striate cortex）被加工。之后大脑还有V2-V4多层，按照现有理论，V2层处理图形和轮廓、V3层传递信息、V4层颜色处理。最后到达中颞区（middle temporal, MT，也称作MT区），或下颞叶。
视觉通路。图片来源[2]
如果视觉信号经过的是v1-v2-v3-MT，这一条通路称作“背侧流通路”，最终传递到大脑的顶叶区域。顶叶区域一般认为和运动、躯干感觉与空间识别有一定关系。这条通路也称作空间通路，解决“where”问题。
如果视觉信号经过的是v1-v2-v4-下颞叶，这一条通路称作“腹侧流通路”，负责识别与描述看到的是什么东西。这条通路也称作内容通路，解决的是“what”问题。
两条视觉通路。图片来源[1]
二、视网膜
现在详细来看视网膜，如下图：
人视网膜结构。图片来自网络
人视网膜结构。图片来源[3]
视网膜可以分成三层：外核层、内核层和神经节细胞层。外核层主要包括视锥细胞和视杆细胞，内核层主要有双极细胞、水平细胞、无长突细胞等，神经节细胞层主要为神经节细胞。
视锥细胞、视杆细胞：
视锥细胞，还可以细分为感知红、绿、蓝的视锥细胞，主要负责颜色任务。视杆细胞的功能则是感知光线的强弱，主要主导暗环境或夜晚的视力，但无色觉感。所以人在光线暗的情况下无法分辨出颜色。人类视杆细胞(1-1.5亿)的数量远多于视锥细胞(700万)。
双极细胞：
双极细胞主要有两个功能：一是通过其树突上的不同的谷氨酸受体把视觉信号分流为给光(ON)和撤光(OFF)信号；二是通过其与无长突细胞和神经节细胞的特殊的突触传递方式，把持续性的分级电位(graded potential)转化为瞬变性的神经活动[4]。
水平细胞：
可以简单理解成起调节作用：水平细胞接受光感受器的输入并通过反馈机制调节光感受器对双极细胞的信息传递。
神经节细胞：
可简单理解成将视觉信息编码后交给视神经传输。进一步而言，双极细胞和对应的神经节细胞，将通过不同的视觉通路（背侧流通路、腹侧流通路）传递到大脑指定区域[5]。
小结：
视锥视杆细胞接收环境光信息后编码信息，经过双极细胞加工后，交由神经节细胞传递给大脑内部。
三、硅视网膜
事件相机本质上是模拟了人的视网膜结构，所以最初称作“硅视网膜(Silicon Retina)”[6]。
硅视网膜中像素的排布。图片来源[6]
具体而言，所有光感受器平面排布，类似于视锥细胞（论文说的是视锥，我也不知道为啥是视锥不是视杆）。每个光感受器的工作状态有调节电路进行调节，类似于水平细胞。
事件相机电路与神经元对应关系。图片来源[5]
进一步地，在电路的积分部分，模仿的是双极细胞对信号进行的初步加工；在比较器电路部分，相当于将on/off信号进一步编码后输出，模拟的是神经节细胞传递编码信息[5]。
小结：
事件相机电路中的感光器件模拟的是视锥细胞，积分部分相当于双极细胞，比较器部分相当于神经节细胞，调节bias的电路相当于水平细胞。所以事件相机是完全仿照视网膜设计的，是名副其实的“硅视网膜”。
总结
- 人类视觉通路可以简单理解为：视网膜接收信息-视神经传递给大脑皮层-大脑皮层进行信息处理
- 事件相机模仿的是人视网膜接收信息及初步编码部分
参考资料：
[1] https://www.zhihu.com/question/21557819/answer/44448502
[2] https://www.zhihu.com/question/21557819/answer/44480695
[3] https://www.zhihu.com/zvideo/1333480255965704192
[4] https://baike.baidu.com/item/%E5%8F%8C%E6%9E%81%E7%BB%86%E8%83%9E/7709463?fr=aladdin
[5] C. Posch, T. Serrano-Gotarredona, B. Linares-Barranco and T. Delbruck, “Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output,” in Proceedings of the IEEE, vol. 102, no. 10, pp. 1470-1484, Oct. 2014, doi: 10.1109/JPROC.2014.2346153.
[6] Mahowald M. (1994) The Silicon Retina. In: An Analog VLSI System for Stereoscopic Vision. The Springer International Series in Engineering and Computer Science (VLSI, Computer Architecture and Digital Signal Processing), vol 265. Springer, Boston, MA.
欢迎关注微信公众号【事件相机】，分享和交流事件相机的相关研究与应用。
这篇关于为什么说事件相机是“受生物启发的”？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
