動(dòng)態(tài)視覺相機(jī)(DVS)和動(dòng)態(tài)音頻傳感器(DAS)的工作原理

作為整個(gè)計(jì)算的最前沿，傳感效率的高低、傳感信號(hào)和后端計(jì)算模式的匹配程度必然影響著整個(gè)智能系統(tǒng)的表現(xiàn)。類腦技術(shù)的完全體=事件驅(qū)動(dòng)傳感 + 異步類腦芯片計(jì)算，配合高效利用異步機(jī)制的算法。而脈沖神經(jīng)網(wǎng)絡(luò)的異步運(yùn)算機(jī)制和仿生傳感器天然契合。目前，SynSense時(shí)識(shí)科技使用類腦技術(shù)實(shí)現(xiàn)了mW級(jí)別的“感算一體”動(dòng)態(tài)視覺智能SoC Speck，將這一新興的傳感+計(jì)算技術(shù)用于我們身邊的電子器件及智能設(shè)備中。

動(dòng)態(tài)視覺傳感器

動(dòng)態(tài)視覺相機(jī) Dynamic Vision Sensor（DVS）,有時(shí)候也稱作事件相機(jī)（Event camera）或者硅視網(wǎng)膜（Silicon Retina）。提到DVS的起源就要追溯到它的發(fā)明者M(jìn)isha Mahowald。Misha師從類腦工程領(lǐng)域的提出者Carver Mead (Carver mead 同時(shí)還是VLSI電路設(shè)計(jì)的大牛級(jí)別人物，也被認(rèn)為是摩爾定律的命名者)。在博士期間，她和Tobi Delbruck創(chuàng)舉性地結(jié)合生物學(xué)計(jì)算機(jī)科學(xué)和電氣工程領(lǐng)域，創(chuàng)建了第一個(gè)硅視網(wǎng)膜系統(tǒng)，這也是最早的動(dòng)態(tài)視覺相機(jī)的原型。之后，她和Tobi Delbruck還有幾位現(xiàn)在的類腦技術(shù)大牛們一起將技術(shù)帶到了蘇黎世，并和蘇黎世聯(lián)邦理工、蘇黎世大學(xué)聯(lián)合創(chuàng)辦了INI神經(jīng)信息研究所(Institute of Neuroinformatics)，專注于研究神經(jīng)科學(xué)、神經(jīng)形態(tài)相關(guān)的技術(shù)。硅視網(wǎng)膜就是其中重要的一項(xiàng)技術(shù)。1996年Misha因?yàn)檫@一非凡的工程案例成為國際科技女性（WITI）名人堂成員，遺憾的是Misha在33歲結(jié)束了自己年輕的生命。

但是硅電子視網(wǎng)膜的技術(shù)并未停滯，而是經(jīng)過十幾年的發(fā)展變得更加成熟。從INI出來的公司iniVation已經(jīng)將DVS變成成熟的產(chǎn)品，不僅整個(gè)傳感器集成了仿生的事件像素陣列，還在外圍同步集成了如RGB相機(jī)、IMU傳感器，幫助其實(shí)現(xiàn)更強(qiáng)大的信息同步和收集能力。另一公司Prophesee提供高分辨率的動(dòng)態(tài)視覺傳感器，并和Sony合作將先進(jìn)光學(xué)電子工藝和DVS結(jié)合，大大減小了芯片面積和光學(xué)性能。此外，在應(yīng)用算法層面，也有越來越多的科研學(xué)者和工程師專家已經(jīng)把事件相機(jī)信號(hào)應(yīng)用在各行各業(yè)中。

什么是DVS？可簡要概括為：只對(duì)運(yùn)動(dòng)的目標(biāo)成像。

從工作原理上來講， DVS最大的特點(diǎn)之一則是：異步感知。

我們拿傳統(tǒng)的數(shù)字相機(jī)來對(duì)比：

對(duì)于傳統(tǒng)相機(jī)來說，每個(gè)感光原件會(huì)根據(jù)一定的采樣率對(duì)整個(gè)感光陣列進(jìn)行同步的采樣， 因此每次成像需要依賴于一個(gè)時(shí)鐘信號(hào)當(dāng)作reference。以這樣的形式，我們得到了一個(gè)對(duì)光電流信號(hào)采樣的真實(shí)值的陣列。假設(shè)說我們有100x100大小的一個(gè)像素陣列，RGB三個(gè)采樣通道和1/30秒的采樣率的話，我們每秒就會(huì)得到100x100x30x3的數(shù)組，其中100x100x3就是我們常說的一幀圖片。

區(qū)別在于，對(duì)于同樣100x100的像素陣列來說，DVS里的每個(gè)像素的工作是相互獨(dú)立、互不干涉的。也就是說每個(gè)感光像素都只對(duì)自己所負(fù)責(zé)的一部分區(qū)域進(jìn)行獨(dú)立感光。同時(shí)，每個(gè)感光像素都不再直接采樣實(shí)值，而是時(shí)時(shí)刻刻去比較光電流的相對(duì)變化值是否超過了一個(gè)閾值。相對(duì)應(yīng)來說，光照強(qiáng)度的變化對(duì)應(yīng)著光電流的大小變化，其實(shí)DVS上的每一個(gè)像素位置是在感受相對(duì)光照強(qiáng)度的變化是否明顯。當(dāng)在對(duì)應(yīng)像素上感受到足夠的光強(qiáng)變化時(shí)， 傳感器就會(huì)發(fā)出一個(gè)“事件信號(hào)”，通常來說這個(gè)信號(hào)是一個(gè)數(shù)據(jù)包，包含著以下信息：

像素的坐標(biāo)地址 （x, y）

光照強(qiáng)度變化的極性

事件發(fā)生的時(shí)間戳

如下圖所示，假設(shè)我們同時(shí)用DVS（圖下方）和傳統(tǒng)相機(jī)（圖上方）對(duì)轉(zhuǎn)動(dòng)的圓盤成像， 我們就可以清晰看出區(qū)別。傳統(tǒng)相機(jī)的成像基于采樣率，所以會(huì)丟失掉幀和幀之間的信息，圓盤上黑點(diǎn)的運(yùn)動(dòng)是離散地體現(xiàn)在每一幀圖像的不同位置上的，而當(dāng)圓盤停止轉(zhuǎn)動(dòng)的時(shí)候，傳統(tǒng)相機(jī)依舊會(huì)按照采樣率對(duì)靜態(tài)的圓盤成像。

圖：傳統(tǒng)相機(jī)+DVS相機(jī)

而對(duì)DVS而言，只有光照強(qiáng)度變化的像素區(qū)域才會(huì)發(fā)出事件信號(hào)，同時(shí)又沒有采樣率的限制，在圓盤轉(zhuǎn)動(dòng)的情況下，我們得到的數(shù)據(jù)輸出可以看到的是一串連續(xù)的事件流。而在圓盤停止轉(zhuǎn)動(dòng)的時(shí)候，因?yàn)闊o光強(qiáng)明顯變化，DVS相機(jī)是沒有任何信號(hào)的生成的。所以對(duì)于DVS來說，它的輸出脫離了采樣率，對(duì)于不同的場景來說是完全不一樣的。對(duì)于大體積、高速運(yùn)動(dòng)物體的成像可能是多的，但是對(duì)于如靜止的背景，完全不產(chǎn)生數(shù)據(jù)。

下圖所示為簡單的一個(gè)DVS像素工作原理。可以看出整個(gè)pipeline里由幾大功能模塊組成：前端的感光元件，log域計(jì)算，差分放大和比較器。其中當(dāng)光強(qiáng)的log值在向較大方向變化時(shí)，我們得到極性為ON的事件，反之我們得到OFF事件。

圖：DVS像素工作原理

點(diǎn)擊了解：SynSense時(shí)識(shí)科技Open Neuromorphic演講回顧：工程師共聚，探討類腦視覺感知+計(jì)算 | 完整視頻

那么DVS對(duì)于視覺傳感來說能帶來什么優(yōu)勢？

高動(dòng)態(tài)范圍

當(dāng)拍攝的圖像在光線上有巨大的差異時(shí)，更大的動(dòng)態(tài)范圍就能獲得更大的影調(diào)空間——例如一個(gè)有明亮窗戶和昏暗內(nèi)部的地點(diǎn)。來自窗戶的光線比墻壁內(nèi)部的光線要亮得多，如果動(dòng)態(tài)范圍不夠大，這時(shí)要么窗戶的光線太亮，曝光過度（看起來是白色的），要么墻壁太暗，曝光不足（看起來是黑色的）。DVS的成像因?yàn)槿Q于光強(qiáng)的相對(duì)變化值，這使它在過曝光和欠曝光的狀態(tài)下也能穩(wěn)定清晰成像。一個(gè)DVS的理論動(dòng)態(tài)范圍約為120dB。而人眼的動(dòng)態(tài)范圍大概只在30-40dB左右。

克服成像的運(yùn)動(dòng)模糊

因?yàn)镈VS突破了傳統(tǒng)相機(jī)中的采樣率，那么對(duì)于運(yùn)動(dòng)物體的成像也就不再有幀率的限制。動(dòng)態(tài)模糊本質(zhì)的產(chǎn)生原因是相機(jī)成像幀率和物體運(yùn)動(dòng)的速度不匹配。DVS產(chǎn)生的連續(xù)事件流在理論上可以等效為4000-5000FPS成像速度。目前大部分的DVS相機(jī)都可以做到us級(jí)的成像延遲，而對(duì)于一個(gè)傳統(tǒng)30FPS的相機(jī)來說，其延時(shí)約為33ms。

超低功耗

因?yàn)镈VS的異步感知和只感知光照變化強(qiáng)度，DVS在大部分典型視覺場景下產(chǎn)生的數(shù)據(jù)是極為稀疏的。大多數(shù)事件相機(jī)的功耗都在10mW的級(jí)別，有部分原型相機(jī)的功耗甚至可以做到小于10uW，這個(gè)數(shù)字遠(yuǎn)遠(yuǎn)低于傳統(tǒng)數(shù)字相機(jī)（百毫瓦級(jí)）。

動(dòng)態(tài)音頻傳感器

動(dòng)態(tài)音頻傳感器DAS又稱硅耳蝸（silicon cochlear），功能是把各種現(xiàn)實(shí)生活中的聲音信號(hào)變成事件信號(hào)。和DVS一樣，DAS的本身原理也是通過電路設(shè)計(jì)將信號(hào)轉(zhuǎn)換為異步的事件信號(hào)。它的發(fā)明者Shih-Chii Liu也出自上文提到的神經(jīng)信息研究所INI，這個(gè)發(fā)明也帶領(lǐng)著事件驅(qū)動(dòng)傳感邁向了更廣闊的音頻信號(hào)處理領(lǐng)域。Shih-Chii也因此研究獲得了 [Misha Mahowald Prizes]（沒錯(cuò)， 就是為了紀(jì)念Misha在類腦領(lǐng)域的貢獻(xiàn)設(shè)置的獎(jiǎng)項(xiàng)）。

圖：DAS功能模塊

DAS實(shí)現(xiàn)的是在電路層面上模仿生物聽覺系統(tǒng)的功能，也就是從真實(shí)視覺聲音激勵(lì)變成電脈沖信號(hào)的過程。按筆者理解：聽覺電信號(hào)的產(chǎn)生是因?yàn)榉植荚诙佒械膬?nèi)絨毛器官可以對(duì)不同強(qiáng)度和頻率的震動(dòng)產(chǎn)生規(guī)則的電信號(hào)，這一現(xiàn)象稱為頻率拓?fù)?。這就很像現(xiàn)代數(shù)字信號(hào)處理里對(duì)聲音的時(shí)頻譜分析。而在DAS里，這一過程被工程化為符合頻帶范圍的若干個(gè)帶通濾波器組和半波整流器，加上一系列電路設(shè)計(jì)和信號(hào)處理必要的模塊，我們就可以實(shí)現(xiàn)聲音信號(hào)到脈沖信號(hào)的轉(zhuǎn)換。

和DVS一樣，DAS的輸出數(shù)據(jù)也是事件流信號(hào)的，其反應(yīng)的應(yīng)是一個(gè)通道內(nèi)的信號(hào)能量變化強(qiáng)度是否超過了閾值，一個(gè)事件數(shù)據(jù)包會(huì)包含：

發(fā)出事件的通道

極性

時(shí)間戳

以Shih-Chii的工作為例，DAS有雙聲道輸入，64個(gè)通道（每個(gè)聲道apply32個(gè)band pass filter），兩個(gè)聲道的信號(hào)相互在事件上匹配，片上有數(shù)控偏置和片上麥克風(fēng)，并且可以直接提供AER接口到類腦芯片上。

圖：DAS響應(yīng) 語句“The quick red fox jumped over the lazy dog ”

類腦傳感器的應(yīng)用

除了視覺和聲音這兩類信號(hào)，事件驅(qū)動(dòng)的傳感也在各個(gè)其他信號(hào)的領(lǐng)域被證實(shí)其可行性和高效，例如IMU、EEG、ECG信號(hào)等。那么這些新型傳感器有哪些應(yīng)用呢？

以DVS為例，科研學(xué)者們已經(jīng)展示出了其巨大的應(yīng)用前景。

DVS去模糊：比如使用DVS的信息和當(dāng)前低幀率的RGB相機(jī)的信息融合，我們可以重建出一個(gè)可以輸出超高幀率的低成本相機(jī)系統(tǒng)（去模糊）。

應(yīng)用事件相機(jī)實(shí)現(xiàn)無人機(jī)的高速避障

復(fù)雜視覺任務(wù)：自動(dòng)駕駛、機(jī)器人應(yīng)用場景下的復(fù)雜任務(wù)比如SLAM, 目標(biāo)識(shí)別, 光流估計(jì)等。

對(duì)于DAS而言，配合著相應(yīng)的后端神經(jīng)網(wǎng)絡(luò)算法，我們可以做到超低功耗的各類語音任務(wù)例如：

圖：Speaker verification

聲源定位

通過雙聲道直接產(chǎn)生的相位差估計(jì)聲源的方向和位置。

聲紋識(shí)別

判斷發(fā)出音頻的個(gè)體。

作為整個(gè)計(jì)算的最前沿：傳感效率的高低和傳感信號(hào)和后端計(jì)算模式的匹配程度必然影響著整個(gè)智能系統(tǒng)的表現(xiàn)。類腦技術(shù)的完全體 = 事件驅(qū)動(dòng)傳感 + 異步類腦芯片計(jì)算配合著高效利用異步機(jī)制的算法。而脈沖神經(jīng)網(wǎng)絡(luò)的異步運(yùn)算機(jī)制和仿生傳感器天然契合，相信我們即將看到這些新興的傳感技術(shù)和計(jì)算技術(shù)出現(xiàn)在我們身邊。

審核編輯：湯梓紅