Prophesee的GenX320第五代DVS傳感器產(chǎn)品參數(shù)介紹

DVS（Dynamic vision sensor）公司Prophesee調(diào)整了其基于事件的（event-based）攝像頭的規(guī)格，使其外形尺寸適用于始終在線的AIoT設(shè)備。Prophesee的CEO Luca Verre表示，與該公司100MP的第四代傳感器相比，第五代GenX320已將分辨率降至320x320像素，芯片尺寸也縮小到13mm2，現(xiàn)在還包括便于下游處理的標(biāo)準(zhǔn)數(shù)據(jù)格式，以及可用于喚醒系統(tǒng)其它部分的超低功耗模式層次。 ?

Prophesee的GenX320第五代DVS傳感器 ? Verre說(shuō)：“基于事件的傳感器技術(shù)目前正在消費(fèi)類領(lǐng)域創(chuàng)造機(jī)會(huì)，更大的生態(tài)系統(tǒng)正在意識(shí)到這項(xiàng)技術(shù)，并有興趣采用它。其實(shí)在三年前，我們就發(fā)現(xiàn)了很多機(jī)會(huì)，但這些機(jī)會(huì)不一定適合我們的第四代傳感器。這就是我們開(kāi)發(fā)第五代傳感器的原因，它適用于出于成本、功耗和集成原因而需要非常小的傳感器設(shè)備的應(yīng)用?！?? 像DVS傳感器這樣基于事件的傳感器是基于人類視網(wǎng)膜的生物學(xué)原理：它們只輸出像素亮度的變化，而不是完整的圖像幀。這樣就能以較低的延遲產(chǎn)生低帶寬數(shù)據(jù)，但仍能包含足夠的場(chǎng)景信息。

處理這種低帶寬數(shù)據(jù)所需的計(jì)算量較小，這意味著可以節(jié)省功耗。該技術(shù)對(duì)弱光條件的適應(yīng)能力也很強(qiáng)。 ? Prophesee與Sony合作設(shè)計(jì)的上一代傳感器已于2021年底量產(chǎn)。這種高清傳感器是一種BSI（back-side illuminated）三維堆疊芯片，體積很小，首次用于消費(fèi)類電子產(chǎn)品。 ?

Prophesee一直在與Qualcomm合作，演示這種傳感器與Snapdragon mobile處理器的結(jié)合。Verre說(shuō)，至少有兩家手機(jī)廠商正在采用這種技術(shù)，Snapdragon加Prophesee組合的智能手機(jī)計(jì)劃于2025年發(fā)布。這里的用例是融合全幀數(shù)據(jù)和事件數(shù)據(jù)，以提高智能手機(jī)攝像頭的圖像質(zhì)量。使用Prophesee傳感器檢測(cè)照片中的運(yùn)動(dòng)，然后使用Prophesee的計(jì)算攝影算法進(jìn)行修正，可以減少運(yùn)動(dòng)模糊。 ? GenX320具有分辨率低、功耗低和體積小的特點(diǎn)，其目標(biāo)市場(chǎng)是AR/VR頭戴式設(shè)備、安防和監(jiān)控/檢測(cè)系統(tǒng)、無(wú)觸摸顯示器、眼球跟蹤和其他始終在線的IoT設(shè)備。不過(guò)，雖然仍采用BIS 3D堆疊設(shè)計(jì)，但這款傳感器并非與Sony合作開(kāi)發(fā)，而是由另一家代工廠制造。 ?

Verre說(shuō)：“我們與Sony的關(guān)系非常好：我們共同開(kāi)發(fā)了第四代傳感器，而且我們還與Sony達(dá)成了共同進(jìn)入市場(chǎng)的商業(yè)協(xié)議。因此，這種合作關(guān)系還在繼續(xù)，但第五代傳感器是由Prophesee設(shè)計(jì)、我們的代工合作伙伴制造，并由我們銷售的。第四代和第五代傳感器在市場(chǎng)定位上完全不同，傳感器的分辨率也不同，適用于非常不同的用例，因此它們是互補(bǔ)的。沒(méi)有重疊，這使得我們與Sony的市場(chǎng)戰(zhàn)略非常直接?！??

接口和電源模式

Prophesee聯(lián)合創(chuàng)始人兼CTO Christoph Posch表示，GenX320有幾個(gè)與邊緣AI和IoT應(yīng)用相關(guān)的關(guān)鍵新功能。 ? 他說(shuō)：“以前我們的數(shù)據(jù)格式是非常規(guī)的，沒(méi)人知道該如何處理，沒(méi)人了解事件中動(dòng)態(tài)視覺(jué)信息的編碼。我們有非恒定的數(shù)據(jù)傳輸速率，也沒(méi)有標(biāo)準(zhǔn)的數(shù)據(jù)格式或接口。我們意識(shí)到，所有這些因素都延緩了這項(xiàng)技術(shù)的應(yīng)用。這就是為什么我們認(rèn)為，需要設(shè)計(jì)一種更實(shí)用的傳感器，可以集成到邊緣AI視覺(jué)系統(tǒng)中，幫助潛在客戶真正使用該系統(tǒng)?！?? GenX320包括片上預(yù)處理，可根據(jù)需要將數(shù)據(jù)重新格式化為行業(yè)標(biāo)準(zhǔn)格式，并有三種接口可供選擇： ?

高帶寬MIPI接口與應(yīng)用處理器連接，在數(shù)據(jù)流之前使用完整的數(shù)字pipeline對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和過(guò)濾。

CPI接口（DCMI）連接低延遲應(yīng)用中的微控制器。數(shù)據(jù)可匯總成二維直方圖，供AI處理使用。

Prophesee現(xiàn)有的AER（address-event representation）接口完全繞過(guò)了數(shù)字預(yù)處理管道，可用于神經(jīng)形態(tài)和spiking神經(jīng)網(wǎng)絡(luò)加速器。

GenX320還包括一系列低功耗模式。最低功耗模式用于始終在線的活動(dòng)檢測(cè)，功耗約為36μW。全激活模式的CPI接口功耗約為3.5mW，MIPI接口功耗約為20mW。 ?

Prophesee的GenX30芯片，傳感器芯片在頂部，處理器在底部。ESP指event signal processing pipeline。 ? Posch說(shuō)：“我們可以通過(guò)逐級(jí)提升的電源模式，實(shí)現(xiàn)更高的分辨率和更智能的檢測(cè)，直至最高的模式，即通過(guò)輸出接口將所有事件數(shù)據(jù)完全流式傳輸?shù)綉?yīng)用處理器。在最高和最低功耗模式之間，我們可以根據(jù)場(chǎng)景中發(fā)生的情況，在這些功耗模式之間進(jìn)行循環(huán)?！?? 這些模式使用了一種稱為GCD（global contrast detector）的新功能，它可以檢測(cè)移動(dòng)、進(jìn)入或離開(kāi)視場(chǎng)的物體。像素陣列被細(xì)分為若干區(qū)域，這些區(qū)域可以小到4x4像素。Prophesee使用陣列每個(gè)區(qū)域光電二極管的光電流總和（由硬件計(jì)算）來(lái)檢測(cè)該區(qū)域的活動(dòng)。在最低功耗模式下，有9個(gè)檢測(cè)區(qū)域；其效果就好像總共100,000個(gè)像素中只有9個(gè)像素被打開(kāi)，因此可以節(jié)省大量電力。 ? RISC-V CPU還可用于對(duì)感興趣的區(qū)域進(jìn)行靈活編程，最多可同時(shí)對(duì)12個(gè)區(qū)域進(jìn)行編程。 ?

GCD（Global contrast detection）是一項(xiàng)新功能，可將陣列分成若干區(qū)域，以節(jié)省功耗。這些區(qū)域的活動(dòng)檢測(cè)可用于喚醒系統(tǒng)的其它部分。 ?

商業(yè)應(yīng)用??

GenX320傳感器已被20多家領(lǐng)先客戶用于原型開(kāi)發(fā)。 ? Zinn Labs利用GenX360為AR/VR眼鏡開(kāi)發(fā)了基于事件的眼球追蹤器，其產(chǎn)生的數(shù)據(jù)量比全幀攝像頭少100倍。這意味著眼球追蹤可以在1kHz或更高的頻率下完成，比全幀相機(jī)快10倍?？焖傺矍蜃粉櫟膽?yīng)用之一是有焦點(diǎn)渲染：我們的眼睛不會(huì)同時(shí)聚焦于整個(gè)場(chǎng)景，因此，如果我們知道眼睛在看哪里，選擇性地渲染我們正在看的部分就可以節(jié)省計(jì)算量。Verre說(shuō)，Zinn Labs正在與客戶合作，爭(zhēng)取明年開(kāi)始量產(chǎn)Prophesee GenX320傳感器。 ? 英國(guó)初創(chuàng)公司Ultraleap已將GenX320用于無(wú)觸摸HMI的手部跟蹤系統(tǒng)。Verre說(shuō)，這種應(yīng)用的照明條件可能很苛刻，但Prophesee傳感器具有很高的動(dòng)態(tài)范圍（120dB以上）。 ?

Xperi的DMS采用了Prophesee的DVS傳感器 ? Xperi已經(jīng)有了一套使用Prophesee上一代傳感器的DMS，現(xiàn)在它正在考慮將GenX360用于智能設(shè)備和家用電器。臺(tái)灣的YunX計(jì)劃明年向市場(chǎng)推出由GenX320驅(qū)動(dòng)的隱私保護(hù)型跌倒探測(cè)系統(tǒng)。 ? Verre表示，Prophesee將在未來(lái)幾周內(nèi)展示GenX320與用于邊緣AI的STM32微控制器的搭配，隨后還將展示更多采用不同類型處理器的參考設(shè)計(jì)。GenX320的生產(chǎn)將于明年上半年加速。

編輯：黃飛

?