介紹一款仿真器v2e

事件相機(jī)仿真器模擬事件相機(jī)，生成事件數(shù)據(jù)供不同任務(wù)使用。本文簡(jiǎn)介一款仿真器v2e。

Before v2e

在v2e出現(xiàn)之前，也出現(xiàn)過不少仿真器，從uzh的repo上可以找到

比較出名的一個(gè)是2017年的Event Camera Dataset附帶的仿真器，其根據(jù)最基本的事件生成模型進(jìn)行仿真。

另一個(gè)是ESIM，相對(duì)于之前的仿真能力強(qiáng)大，仿真技術(shù)上的一項(xiàng)改進(jìn)是將均勻采樣改變了自適應(yīng)采樣，使光強(qiáng)變化更快的時(shí)候時(shí)間采樣率更高。見下圖右。

左圖：[1]的采樣原理；[2]ESIM的自適應(yīng)采樣

同時(shí)，ESIM由于可以自行設(shè)置圖片或3D場(chǎng)景進(jìn)行自定義的相機(jī)運(yùn)動(dòng)，可以獲取包括普通圖像、深度圖等信息在內(nèi)的數(shù)據(jù)，廣泛的應(yīng)用于SLAM、光流估計(jì)等任務(wù)?？梢栽?a href="http://wenjunhu.com/v/tag/1004/" target="_blank">ROS運(yùn)行，使用較為方便。

圖：ESIM配置后的和運(yùn)行結(jié)果

About v2e

最后出現(xiàn)了本文的重點(diǎn)v2e[3]。在ESIM和vid2e中，生成機(jī)制是事件生成模型，考慮了噪聲和對(duì)比度閾值的影響，但與實(shí)際具有較大差距。v2e相比于前者，增加了更多的功能：暗光仿真、運(yùn)動(dòng)模糊、時(shí)間延遲等。（以下內(nèi)容來自本人之前的博客，直接進(jìn)行了搬運(yùn)。博客連接點(diǎn)擊文末“獲取原文”）

v2e的安裝與使用（windows）

v2e的完整安裝可參考github的repo

本人在windows11 RTX3050筆記本上進(jìn)行了安裝測(cè)試，進(jìn)行整理如下：

1. 安裝環(huán)境

首先需要安裝v2e的運(yùn)行環(huán)境，推薦采用conda安裝python3.9的虛擬環(huán)境。

之后官方說需要有GPU和CUDA加速，我不清楚沒有GPU是否可以，但我覺得哪怕可以仿真也會(huì)非常慢，不能忍受，所以還是需要有GPU；

最后安裝v2e依賴項(xiàng)：下載v2e后采用pip進(jìn)行安裝依賴項(xiàng)。

2. 數(shù)據(jù)準(zhǔn)備

v2e采用SuperSloMo網(wǎng)絡(luò)首先對(duì)原始視頻進(jìn)行慢放，所以需要下載SuperSloMo的模型，并創(chuàng)建一個(gè)input路徑將模型放在input路徑下備用；

之后需要放待仿真的數(shù)據(jù)，v2e可以對(duì)視頻進(jìn)行仿真，也可以對(duì)一組圖片進(jìn)行仿真，只需要給定的是視頻文件路徑或圖片文件夾路徑即可自動(dòng)選擇。

3. 運(yùn)行與參數(shù)選擇

v2e的參數(shù)極其多，畢竟仿真的功能很多，包括DVS的參數(shù)（時(shí)間戳/像素分辨率、噪聲水平、對(duì)比度閾值、截止頻率等）、SuperSloMo的參數(shù)、輸入輸出參數(shù)（可以輸出視頻、文本、hdf5、aedat等多種格式）等，詳見v2e的repo。

運(yùn)行時(shí)只需要在cmd進(jìn)入虛擬環(huán)境后執(zhí)行一行代碼即可。

v2e仿真DVS數(shù)據(jù)輸出視頻

針對(duì)上面的視頻，原視頻6s，分辨率設(shè)置為346x260，其他參數(shù)采用默認(rèn)配置，仿真時(shí)間約3-5分鐘（RTX3050）。

4. 使用感受：

v2e的內(nèi)容雖然非常復(fù)雜，但是使用起來較為簡(jiǎn)單，只需要按照文檔把參數(shù)設(shè)置好就可，而且如果遇到錯(cuò)誤在運(yùn)行時(shí)給出的報(bào)錯(cuò)信息也非常完整，基本可以根據(jù)報(bào)錯(cuò)信息快速定位問題原因并解決。

后記

我配置過ESIM和v2e，感覺v2e雖然功能復(fù)雜，但使用起來更為方便，開發(fā)的較為完善，而ESIM配置過程中印象里踩了不少的坑。v2e的另一個(gè)好處就是可以windows下使用，對(duì)ubuntu和ros不熟悉的朋友更加友好。當(dāng)然，最重要的是，v2e的仿真更加科學(xué)、真實(shí)。所以如果有仿真需求的朋友，可以考慮直接用v2e。

審核編輯：劉清