事件相機(jī)的工作原理和應(yīng)用場景

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）事件相機(jī)最早誕生于1990年，那時(shí)候，許多研究人員探討動(dòng)物感知環(huán)境的方式，發(fā)現(xiàn)對(duì)變化更為敏感，所以設(shè)計(jì)出了實(shí)驗(yàn)室用的事件相機(jī)。2008年，誕生了第一款商用的事件相機(jī)。如今國內(nèi)外都有企業(yè)和機(jī)構(gòu)進(jìn)行事件相機(jī)的研究。

事件相機(jī)的工作原理和優(yōu)勢

傳統(tǒng)相機(jī)，無論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機(jī)，都有一個(gè)參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達(dá)到1KHz，那也具有1ms的延時(shí)。所以傳統(tǒng)相機(jī)存在一定的延遲問題。

此外，傳統(tǒng)相機(jī)需要通過一定時(shí)間的曝光，使感光器件積累一定的光子，那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動(dòng)，則會(huì)產(chǎn)生模糊，這也是傳統(tǒng)相機(jī)的一個(gè)問題。

另外，傳統(tǒng)相機(jī)的攻臺(tái)范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時(shí)，相機(jī)獲取的信息有限。這些問題極大的限制了傳統(tǒng)相機(jī)在一些應(yīng)用場景中的應(yīng)用。

而事件相機(jī)則可以很好的解決這些問題。事件相機(jī)，也稱神經(jīng)形態(tài)像機(jī)，或動(dòng)態(tài)視覺傳感器（DVS，Dynamic Vision Sensor)，是一種能夠響應(yīng)局部亮度變化的成像傳感器。

事件相機(jī)不像常規(guī)相機(jī)那樣使用快門捕獲圖像。相反，事件相機(jī)中的每個(gè)像素都獨(dú)立且異步地運(yùn)行，并在發(fā)生亮度變化時(shí)輸出這些變化，否則保持沉默。

下圖可以非常形象的展示出事件相機(jī)和傳統(tǒng)相機(jī)在工作原理上的不同。左側(cè)：假設(shè)拍攝的是一個(gè)圓盤轉(zhuǎn)動(dòng)（圓盤此時(shí)逆時(shí)針轉(zhuǎn)動(dòng)一段時(shí)間然后停止）。右側(cè)：上面是傳統(tǒng)相機(jī)，圓盤停止時(shí)，標(biāo)準(zhǔn)相機(jī)輸出不間斷，然而這些信息其實(shí)不是我們關(guān)注信息。下面是事件相機(jī)，其輸出信息為亮度動(dòng)態(tài)變化的位置，并且當(dāng)圖片無變化時(shí)即為no events，無輸出。

此前有業(yè)內(nèi)人士對(duì)電子發(fā)燒友表示，基于這樣的工作原理，事件相機(jī)有幾個(gè)典型的特點(diǎn)：一是它的動(dòng)態(tài)范圍非常高，可以達(dá)到140dB；二是因?yàn)樗惠敵鲇行畔?，不輸出無效信息，它的數(shù)據(jù)量非常?。蝗撬乃俣确浅？欤梢赃_(dá)到1/10000s，甚至更高。

因?yàn)檫@些特點(diǎn)，事件相機(jī)可適用于傳統(tǒng)相機(jī)難以解決的一些場景中。比如城區(qū)場景中的鬼探頭，傳統(tǒng)相機(jī)在面對(duì)橫向的鬼探頭場景時(shí)，無法快速做出反應(yīng)，而事件相機(jī)可以更快感知到危險(xiǎn)信號(hào)；再比如高速場景下的避障，車輛在高速上快速行駛時(shí)，遇到前方路面有一個(gè)輪胎，傳統(tǒng)相機(jī)不能及時(shí)做出反應(yīng)，事件相機(jī)可以依靠低時(shí)延優(yōu)勢，快速識(shí)別并做出避障的動(dòng)作。

事件相機(jī)的研究企業(yè)和應(yīng)用

目前，不少公司都在致力于事件相機(jī)的發(fā)展，包括iniVation、prophesee（普諾飛思）、索尼（收購Insightness）、芯侖光電（韋爾股份子公司）、銳思智芯（Alpsentek）等。

iniVation起源于瑞士，由基于事件視覺的發(fā)明者創(chuàng)立。該公司已經(jīng)推出多款產(chǎn)品，熱門型號(hào)包括：DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。

iniVation的動(dòng)態(tài)視覺平臺(tái)可為諸多應(yīng)用和行業(yè)提供支持和解決方案，包括物聯(lián)網(wǎng)（超低功耗監(jiān)控和智慧城市）、自動(dòng)駕駛（車輛測距、SLAM和乘員監(jiān)控）、機(jī)器人技術(shù)（場景理解與定位）、工業(yè)視覺（過程監(jiān)控和基礎(chǔ)設(shè)施檢測）等。

Prophesee于2014年成立于法國巴黎，專注于神經(jīng)擬態(tài)視覺傳感技術(shù)，目前基于事件的視覺技術(shù)推出多款傳感器。其研發(fā)的普諾飛思原視覺（Metavision）傳感器可應(yīng)用于手機(jī)、自動(dòng)駕駛、工業(yè)自動(dòng)化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。

比如在智能駕駛領(lǐng)域，Xperi旗下子公司DTS基于普諾飛思原視覺（Metavision）傳感技術(shù)提供的事件數(shù)據(jù)，開發(fā)了基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案（DMS），提供了更優(yōu)的微光性能，以及新的檢測功能，如眼跳或微表情檢測等。再比如，高級(jí)駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow傳感器，采用了普諾飛思原視覺（Metavision）傳感器，可掃描車輛周圍半徑為40米的區(qū)域，反應(yīng)時(shí)間為3毫秒。

銳思智芯成立于2019年，擁有一支兼?zhèn)?a target="_blank">芯片、算法、軟件和硬件研發(fā)經(jīng)驗(yàn)與能力的團(tuán)隊(duì)，核心專家來自全球頂尖機(jī)構(gòu)。在高端視覺傳感器領(lǐng)域擁有超過16年的技術(shù)積累，在事件相機(jī)領(lǐng)域擁有超過8年的研究經(jīng)驗(yàn)。

2021年10月，銳思智芯（Alpsentek）發(fā)布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus（簡稱 ALPIX-P）。專為機(jī)器感知設(shè)計(jì)的傳感器，可廣泛應(yīng)用于機(jī)器人、智能手機(jī)、無人駕駛、無人機(jī)、安防等場景。

ALPIX-P 采用銳思智芯自主研發(fā)的 Hybrid Vision融合式仿生事件視覺傳感技術(shù)，即將仿生事件視覺技術(shù)與傳統(tǒng)圖像傳感技術(shù)在像素級(jí)別進(jìn)行融合。芯片可以在傳統(tǒng)圖像傳感器模式和仿生事件相機(jī)模式之間快速切換，實(shí)現(xiàn)事件相機(jī)與 CIS 相機(jī)功能 “二合一”。

在圖像模式下，ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器，其圖像質(zhì)量與現(xiàn)有的商化的 CIS 輸出的圖像質(zhì)量一致，兼容現(xiàn)有成熟的視覺系統(tǒng)。在仿生事件相機(jī)模式下，ALPIX-P 具有超高幀率，高有效信息占比，大動(dòng)態(tài)范圍的特點(diǎn)。

小結(jié)

事件相機(jī)的核心是神經(jīng)擬態(tài)，神經(jīng)擬態(tài)技術(shù)最早源于瑞士蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）。目前研究的企業(yè)主要有兩個(gè)方向，一是傳感器，即事件相機(jī)，就是文章提到的幾家公司；另一個(gè)是神經(jīng)擬態(tài)計(jì)算，主要是SoC芯片，如九天睿芯、時(shí)識(shí)科技。目前從兩個(gè)方向來看，神經(jīng)擬態(tài)在產(chǎn)品和應(yīng)用上都有不錯(cuò)的進(jìn)展。