傳統(tǒng)基于幀的圖像傳感器輸出和基于事件的視覺傳感器輸出對比

2021年，索尼半導(dǎo)體解決方案公司（Sony Semiconductor Solutions Corporation，以下簡稱“索尼”）發(fā)布了兩款堆疊式基于事件（Event-based）的視覺傳感器（EVS）。這兩款專為工業(yè)設(shè)備設(shè)計(jì)的傳感器實(shí)現(xiàn)了業(yè)界最?。ㄏ啾绕渌询B式基于事件的視覺傳感器）的4.86 μm像素尺寸，并且只有在感知到場景變化時(shí)才會進(jìn)行捕捉記錄。

01

事件相機(jī)概述

傳統(tǒng)基于幀的圖像傳感器輸出和基于事件的視覺傳感器輸出對比

基于事件的相機(jī)是一種生物啟發(fā)的新型視覺傳感器，可實(shí)時(shí)高效地捕捉場景變化。與基于幀的傳統(tǒng)相機(jī)不同，事件相機(jī)僅報(bào)告觸發(fā)的像素級亮度變化（成為事件），并以微秒級分辨率輸出異步事件流。該類視覺傳感器已經(jīng)逐漸成為圖像處理、計(jì)算機(jī)視覺、機(jī)器人感知與狀態(tài)估計(jì)、神經(jīng)形態(tài)學(xué)等領(lǐng)域的研究熱點(diǎn)。

目前被廣泛應(yīng)用的事件相機(jī)可大致分為3類：

①動態(tài)視覺傳感器（DVS dynamic vision sensor），是最基本的也是最先發(fā)展的一種事件相機(jī)。

②基于異步時(shí)間的圖像傳感器（ATIS asynchronous time based image sensor），它的像素結(jié)構(gòu)分成兩個(gè)部分（A和B），包含兩個(gè)感光器，能夠在提供事件信息的同時(shí)，還能提供一定灰度信息的需求。

③動態(tài)主動像素視覺傳感器（DAVIS dynamic and active pixel vision sensor），它將DVS相機(jī)和傳統(tǒng)的有源像素傳感器（APS）相機(jī)結(jié)合起來，能夠同時(shí)輸出場景事件和灰度信息。

傳統(tǒng)相機(jī)的缺點(diǎn)

幀率低、運(yùn)動模糊、動態(tài)范圍低。

1、傳統(tǒng)相機(jī)，無論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機(jī)，都有一個(gè)參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達(dá)到1KHz，那也具有1ms的延時(shí)。

2、傳統(tǒng)相機(jī)需要通過一定時(shí)間的曝光，使感光器件積累一定的光子，那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動，則會產(chǎn)生模糊。

3、傳統(tǒng)相機(jī)的動態(tài)范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時(shí)，相機(jī)獲取的信息有限。

以上三點(diǎn)，是由于相機(jī)自身硬件的限制，即使高性能相機(jī)能夠一定程度減小這些問題，但由于相機(jī)原理，這些問題無法避免。這些問題極大地限制了一些應(yīng)用場景。

事件相機(jī)的優(yōu)點(diǎn)

低延遲、高動態(tài)范圍、數(shù)據(jù)量小、極低功耗。

由于事件相機(jī)的成像原理，我們可以發(fā)現(xiàn)只要亮度一有變化就會輸出，且僅輸出變化的數(shù)據(jù)占用了很小的帶寬，同時(shí)由于事件相機(jī)更擅長捕捉亮度變化，所以在較暗和強(qiáng)光場景下也能輸出有效數(shù)據(jù)。事件相機(jī)具有低延遲(

相較于傳統(tǒng)相機(jī)，事件相機(jī)是基于神經(jīng)形態(tài)視覺，其基本理念是受生物系統(tǒng)工作方式的啟發(fā)，檢測場景動態(tài)的變化，而不是連續(xù)分析整個(gè)場景。這意味著讓單個(gè)像素決定它們是否看到了相關(guān)的東西。與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量的功耗，并減少延遲。

02

神經(jīng)形態(tài)視覺傳感器發(fā)展歷程

1943 年提出一種具有計(jì)算能力的神經(jīng)元模型，1952年對神經(jīng)元建立動力學(xué)微分方程描述神經(jīng)元動作電位的產(chǎn)生與傳遞過程，這個(gè)動作電位就叫做脈沖。

1990 年首次在提出神經(jīng)形態(tài)（Neuromorphic）的概念，利用大規(guī)模集成電路來模擬生物神經(jīng)系統(tǒng)，1991 年第一款硅視網(wǎng)膜的誕生，其模擬了視網(wǎng)膜上一些細(xì)胞的生物功能，1993 年 提出了一種新型的集成電路通信協(xié)議，名叫地址事件協(xié)議（Address-Event Representation, AER ）， 實(shí)現(xiàn)了事件的異步讀出。2003 年有團(tuán)隊(duì)設(shè)計(jì)了一種 AER方式的積分發(fā)放的脈沖模型，將像素光強(qiáng)編碼為頻率或脈沖間隔, 稱為章魚視網(wǎng)膜（ Octopus Retina）。

2005 年研制出動態(tài)視覺傳感器（Dynamic Vision Sensor, DVS），以時(shí)空異步稀疏的事件（Event）表示像素光強(qiáng)變化，2008年提出了一種基于異步視覺的圖像傳感器（Asynchronous Time-based Image Sensor, ATIS），引入了基于事件觸發(fā)的光強(qiáng)測量電路來重構(gòu)變化處的像素灰度。

2013年開發(fā)了動態(tài)有源像素視覺傳感器 （ Dynamic and Active Pixel Vision Sensor, DAVIS），這是一種雙模的技術(shù)路線，增加額外獨(dú)立的傳統(tǒng)圖像采樣電路彌補(bǔ) DVS 紋理成像的缺陷，隨后在2017年又將其擴(kuò)展為彩色。

2016年采用了增加事件的位寬，讓事件攜帶像素光強(qiáng)信息輸出以恢復(fù)場景紋理。2018年有團(tuán)隊(duì)采用了章魚視網(wǎng)膜的光強(qiáng)積分發(fā)放采樣原理，用脈沖平面?zhèn)鬏斕鎿Q AER 方式以節(jié)約傳輸帶寬，驗(yàn)證了積分型采樣原理可高速重構(gòu)場景紋理細(xì)節(jié)，也稱 Vidar。

03

DVS的工作原理

發(fā)明DVS/EVS的靈感來源于對人眼視網(wǎng)膜細(xì)胞的解讀。

如下圖所示，簡而言之，人眼視網(wǎng)膜主要由三層細(xì)胞構(gòu)成：感光細(xì)胞層主要負(fù)責(zé)感光/色。而雙極細(xì)胞則負(fù)責(zé)感光細(xì)胞的控制和"選擇性"讀取。輸出的信號沒什么特別的地方，和我們熟知的CIS系統(tǒng)沒有區(qū)別，但是CIS研發(fā)人員從這個(gè)“選擇性"讀取開始做文章，發(fā)現(xiàn)了有些不一樣的東西。由于視網(wǎng)膜上的細(xì)胞間信號是以"放電”的方式（具體細(xì)節(jié)請參考神經(jīng)學(xué)等醫(yī)學(xué)書籍對神經(jīng)元信號傳遞方式的描述）進(jìn)行傳輸，因此與傳統(tǒng)CIS的4-APS像素不同，人眼視網(wǎng)膜玩的是電流，而非電壓。

受此啟發(fā)，CIS研發(fā)人員對視網(wǎng)膜細(xì)胞間工作原理做了個(gè)等效的電路對應(yīng)。感光細(xì)胞對應(yīng)的是以電流作為感應(yīng)輸出的Log像素電路。雙極細(xì)胞則為一個(gè)積分放大器對像素輸出的信號“極化"。之后神經(jīng)元細(xì)胞對應(yīng)的決斷電路對"極化”后信號進(jìn)行“二進(jìn)制"化，其決斷電路簡單來說就是1bit的ADC。

整個(gè)鏈路工作效果如下圖簡述：當(dāng)光線被PPD感應(yīng)后，偏置的PPD產(chǎn)生電流。電流的大小隨著光的強(qiáng)度變化而變化。值得一說的是，這個(gè)變化可不是線性變化，而是由電路設(shè)計(jì)呈Log函數(shù)曲線變化。光強(qiáng)變化越大，電流的增長量反而越小。因此鏈路中后面的一堆電路主要干的事情就是對電流變化跨過特定的閾值來進(jìn)行決斷。在電流上升時(shí)，跨過某個(gè)閾值則決斷輸出+1信號。在電流下降時(shí)，則決斷輸出-1信號。閾值的單位大小可以調(diào)整，且跨過閾值這個(gè)動作叫做"事件"(Event)。簡單來說，就是感應(yīng)電流變化大小。電流值每跨過一個(gè)單位閾值則決斷輸出一個(gè)事件信號，電流變化越大，則輸出的事件信號就越多。通過等效電路轉(zhuǎn)換等一連串操作，一個(gè)新的對光強(qiáng)變化進(jìn)行感應(yīng)的仿生CIS系統(tǒng)誕生，起名為DVS/EVS。

既然這種Sensor是對光強(qiáng)變化進(jìn)行感應(yīng)，那如果沒有光強(qiáng)變化或者光強(qiáng)變化很弱的話會怎么樣呢？答案很簡單，就是啥也不輸出。沒有光強(qiáng)變化或者變化太弱了，DVS/EVS就成了瞎子。

04

應(yīng)用

事件相機(jī)可應(yīng)用于特征跟蹤、SLAM、捕獵機(jī)器人，包括物聯(lián)網(wǎng)（超低功耗監(jiān)控和智慧城市）、自動駕駛（車輛測距、SLAM和乘員監(jiān)控）、機(jī)器人技術(shù)（場景理解與定位）、工業(yè)視覺（過程監(jiān)控和基礎(chǔ)設(shè)施檢測）等。

事件相機(jī)在自動駕駛領(lǐng)域的應(yīng)用

事件相機(jī)具備極快的響應(yīng)速度、減少無效信息、降低算力和功耗、高動態(tài)范圍等優(yōu)勢，可以幫助自動駕駛車輛降低信息處理的復(fù)雜度、提高車輛的行駛安全，并能夠在極亮或者極暗環(huán)境下正常工作。

適合落地的場景：

第一，城區(qū)場景中的鬼探頭。傳統(tǒng)幀相機(jī)在面對橫向的鬼探頭場景時(shí)，無法快速做出反應(yīng)，而事件相機(jī)可以更快的感知到危險(xiǎn)信號。

第二，高速場景下的避障。比如車輛在高速路上快速行駛時(shí)，遇到前方路面有一個(gè)輪胎，幀相機(jī)不能及時(shí)做出反應(yīng)，而事件相機(jī)可以依靠它的低時(shí)延性優(yōu)勢，快速識別出前方的輪胎，并及時(shí)做出避障動作。

第三，光線過亮或者過暗的場景。比如在深夜的環(huán)境下，幀相機(jī)由于周圍極暗的光線而無法識別周圍事物，而事件相機(jī)依然可以有效的識別周圍事物。

第四，光強(qiáng)突變較為明顯的場景。比如車輛從隧道出來后，面對高曝光的場景，幀相機(jī)會受到高爆光的影響，從而產(chǎn)生失效的工況，而事件相機(jī)不會受到影響。

不適合落地的場景：

主要是在城區(qū)場景的某些工況下，比如車輛前方有無數(shù)行人在穿插過馬路。再或者一些惡劣天氣環(huán)境下，比如大雨、大雪、沙塵等。

以上兩種場景下，前方的目標(biāo)物都存在數(shù)量多且無規(guī)律運(yùn)動的特點(diǎn)，這會對事件相機(jī)產(chǎn)生很多無效的噪點(diǎn)。

05

挑戰(zhàn)

技術(shù)層面

1）無法識別具體目標(biāo)物：幀相機(jī)輸出的是幀圖像，并且已擁有了成熟的應(yīng)用和標(biāo)定數(shù)據(jù)庫；而事件相機(jī)只能給出比較原始的數(shù)據(jù)信息，比如目標(biāo)物的外部輪廓，并且也沒有一個(gè)自己獨(dú)立的數(shù)據(jù)庫來匹配這些輪廓信息。若想要得到更深層次的信息，仍需要幀相機(jī)作為輔助，比如先從事件相機(jī)識別出前方雪糕筒的形狀，而后在經(jīng)過神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練后，發(fā)現(xiàn)該形狀與之前的雪糕筒相似，從而判斷出前方物體具體是什么。

2）缺少合適的芯片和算法：當(dāng)前事件相機(jī)使用的是原來幀相機(jī)的一整套架構(gòu)體系（比如所使用的芯片類型、算法模型等），但基于幀圖像的架構(gòu)并不能完全處理好事件流，而現(xiàn)有的大部分事件相機(jī)產(chǎn)品只是做了簡單的架構(gòu)平移。但兩者的工作原理完全不同，若只是簡單的架構(gòu)平移，就如同將一臺普通的轎車引擎裝在一輛超跑上。

工程層面

1）閾值設(shè)定難度高：閾值是衡量事件輸出的標(biāo)準(zhǔn)，當(dāng)目標(biāo)物的光強(qiáng)變化量（亮度由低到高或者由高到低）超過預(yù)設(shè)的閾值就會產(chǎn)生事件。其基本的原理是：通過調(diào)整閾值可以改變相機(jī)對噪點(diǎn)的敏感度，當(dāng)閾值越大時(shí)，相機(jī)對噪點(diǎn)越不敏感，能捕捉到的事件也會越少；當(dāng)閾值越小時(shí)，能捕捉到的事件也會越多。在自動駕駛領(lǐng)域，具體如何設(shè)定閾值也是一個(gè)難題：一方面，車在行駛過程中，與周圍的事物始終保持著相對運(yùn)動，隨著物體表面光強(qiáng)亮度的變化就會一直有事件產(chǎn)生，此時(shí)閾值應(yīng)該越大，從而減少噪點(diǎn)；另一方面，事件數(shù)據(jù)的特點(diǎn)是具有稀疏性（比如一個(gè)靜止的物體，事件相機(jī)只會在t0時(shí)刻產(chǎn)生事件，之后就不會有新的事件產(chǎn)生），從冗余安全的角度來看，為了降低數(shù)據(jù)過少的風(fēng)險(xiǎn)，閾值應(yīng)該越小

2）數(shù)據(jù)處理效率低：幀相機(jī)處理數(shù)據(jù)的原理，是在等整張圖像處理完了后才能做出決策；而事件相機(jī)的數(shù)據(jù)處理原理是出現(xiàn)一個(gè)事件就處理掉一個(gè)事件，然后快速地做出決策。但當(dāng)前的商業(yè)應(yīng)用中，市場上還沒有針對事件數(shù)據(jù)處理的成熟方法，所以已有的事件相機(jī)產(chǎn)品都是采用幀相機(jī)的數(shù)據(jù)處理方式來處理事件數(shù)據(jù)。舉例來說，若一個(gè)事件相機(jī)在60秒內(nèi)，只有在第60秒才產(chǎn)生一個(gè)事件。此時(shí)，我們按照30幀的幀率去處理事件數(shù)據(jù)，就需要將60秒的數(shù)據(jù)切割成每30秒一組數(shù)據(jù)，然后在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法模型下進(jìn)行運(yùn)算，可以發(fā)現(xiàn)，前一組30秒數(shù)據(jù)并沒有事件產(chǎn)生，但在傳統(tǒng)網(wǎng)絡(luò)模型下前一組數(shù)據(jù)也必須要進(jìn)行運(yùn)算，這就違背了事件相機(jī)的處理數(shù)據(jù)原理，讓其喪失了低時(shí)延的優(yōu)勢。

3）與其他傳感器融合的挑戰(zhàn)：由于事件相機(jī)無法單獨(dú)提供深層次的數(shù)據(jù)，比如測距、測速、表面具體顏色等，只能獲取到物體的輪廓，所以單純地使用一個(gè)事件相機(jī)是無法給到自動駕駛車輛足夠的冗余安全，與其他傳感器的融合才是更好的感知方案。在與其它傳感器融合時(shí)，需要把事件流與其它傳感器的信號進(jìn)行同步匹配。以事件相機(jī)與激光雷達(dá)的融合為例，事件相機(jī)與激光雷達(dá)都有幀的概念，激光雷達(dá)也是以某一恒定幀率發(fā)射點(diǎn)云。若想要把這兩個(gè)傳感器同步起來，就需要做到兩個(gè)方面：一方面，時(shí)間戳的一一對應(yīng)；另一方面，需要在做好標(biāo)定的基礎(chǔ)上，將事件相機(jī)的像素點(diǎn)云映射到激光雷達(dá)的點(diǎn)云上。

商業(yè)層面

1）應(yīng)用場景仍較少：在現(xiàn)有相機(jī)體系越來越成熟的趨勢下，當(dāng)前事件相機(jī)能給自動駕駛能帶來的增量價(jià)值過小，并且它只能通過與其它傳感器融合使用才能發(fā)揮更大的價(jià)值，但作為新型傳感器在進(jìn)入市場前，事件相機(jī)需要經(jīng)歷漫長的場景功能開發(fā)，從而慢慢挖掘出一些它的潛在價(jià)值。

2）供應(yīng)鏈體系不成熟：供應(yīng)鏈體系不成熟。事件相機(jī)處在早期發(fā)展階段，產(chǎn)品的標(biāo)準(zhǔn)化程度較低，在推廣過程中不得不提供一整套解決方案，導(dǎo)致產(chǎn)品的成本較高。以事件相機(jī)的算法開發(fā)供應(yīng)商為例，某自動駕駛公司傳感器專家提到，現(xiàn)有的事件相機(jī)相關(guān)的算法開發(fā)商，主要是以demo為主，沒有針對特定場景去做配套算法的開發(fā)。

06

展望

因?yàn)檎业囊恍┰敿?xì)講事件相機(jī)的文獻(xiàn)、資料大多數(shù)是兩三年前的了，所以隨著時(shí)間推移，人們對于它的探索和發(fā)展也有了進(jìn)一步提升。

在時(shí)間域上取值是連續(xù)的，但在值域的取值是離散的，這一點(diǎn)也有別于常見的數(shù)字信號。這樣的數(shù)據(jù)在處理時(shí)已經(jīng)完全不能用傳統(tǒng)RGB相機(jī)的方法處理了。但是它仍然能夠完成傳統(tǒng)相機(jī)所能完成的任務(wù)，如光流估計(jì)、特征提取、三維重建、模式識別、SLAM等。

未來一定是將兩種相機(jī)各取其長，發(fā)揮最大價(jià)值。

審核編輯：彭菁