使用事件相機來進行隱私保護的視覺定位新方式

主要內(nèi)容：

文章主要強調(diào)隱私保護下的視覺定位，這是近年來被很多研究者重視的一個研究方向，即在不傷害用戶隱私的情況下進行算法的研究。

文章以此提出了一種使用事件攝像機的魯棒、隱私保護的視覺定位算法，事件相機由于其高動態(tài)范圍和小的運動模糊比傳統(tǒng)相機有一定的優(yōu)勢，但是缺點在于事件相機存在很大的域間隙，難以直接應(yīng)用傳統(tǒng)的基于圖像的定位算法，針對存在的問題，文章提出了一種策略，即在定位之前，把事件相機捕獲的數(shù)據(jù)轉(zhuǎn)換為傳統(tǒng)圖像形式，從隱私角度來看與普通攝像機相比，事件攝像機只捕捉到一小部分視覺信息，因此可以自然隱藏敏感的視覺細節(jié)，為了進一步加強隱私保護，還在兩個級別上引入了隱私保護，即傳感器和網(wǎng)絡(luò)級別，傳感器級保護旨在通過輕量級過濾來隱藏面部細節(jié)，而網(wǎng)絡(luò)級保護則使用神經(jīng)網(wǎng)絡(luò)來隱藏私人場景應(yīng)用中的整個用戶視圖，這兩種級別的保護都涉及輕量計算，只會導致少量性能損失。

什么是事件相機？

我們大多數(shù)人對傳統(tǒng)相機以及其拍攝的RGB圖像很熟悉，但是對于事件相機應(yīng)該是很少使用了解的。

早期的圖像處理（其實現(xiàn)在更多也是）都是基于傳統(tǒng)相機來做的，然而傳統(tǒng)相機在應(yīng)用中有兩個很明顯的問題，如下圖，一個是運動模糊（當場景中的運動速度超過相機的采樣速率之后就會產(chǎn)生運動模糊），雖然可以通過算法彌補運動模糊，但是計算開銷很大，不滿足實時需求；另一個問題是由于光線的問題造成曝光不足或者過曝的動態(tài)范圍問題，強烈的陽光可能會使傳統(tǒng)相機無法看清視野物體。

Event camera則從傳感器層面解決傳統(tǒng)相機的缺點，同傳統(tǒng)相機不同，事件相機只觀測場景中的“運動”，確切地說是觀察場景中的“亮度的變化”，它只會在有亮度變化時輸出對應(yīng)pixel的亮度變化（1或0），具有響應(yīng)快、動態(tài)范圍寬、無運動模糊等優(yōu)勢。

對于傳統(tǒng)的相機，從某種程度上是捕獲一個靜態(tài)/靜止的空間，而Event Camera的目的是捕捉運動的物體。對于單個像素點，Event Camera只有接收的光強產(chǎn)生變化時，該像素點才會輸出。比如亮度增加并超過的一個閾值，那么對應(yīng)像素點將輸出一個亮度增加的事件。Event Camera沒有幀的概念，當場景變化時，就產(chǎn)生一系列的像素級（pixel-level）的輸出。事件相機的每個像素點是獨立異步工作的，所以動態(tài)范圍很大。總結(jié)就是，傳統(tǒng)相機以固定的幀率對場景進行全幀拍攝，所有像素同步工作。事件相機是每個像素獨立異步工作，采樣率高且僅對亮度變化（event）進行輸出，一個事件（event，亮度變化）包括發(fā)生的時刻、發(fā)生的像素坐標和事件發(fā)生的極性。所謂事件發(fā)生的極性表示的是亮度相比于前一次采樣是增加還是減少。

Contributions：

（1）使用事件攝像機在具有挑戰(zhàn)性的條件下進行魯棒定位

（2）傳感器級隱私保護以緩解觀察到的人的擔憂

（3）網(wǎng)絡(luò)級隱私保護以減輕用戶的擔憂

為什么要在隱私保護下進行算法研究？

如圖1所示，定位應(yīng)用的使用者可能會擔心和提供商共享同樣的視圖，畢竟這在具有有限計算量的邊緣設(shè)備，比如手機、AR眼鏡等中是不可避免的，而且被觀察的人也會出現(xiàn)擔憂，被別人不知不覺就拍攝了照片。所以隱私保護下的視覺算法研究近年來被越來越多的研究者所關(guān)注研究。

Pipeline：

給定事件相機記錄的事件流，算法輸出在3D地圖中找到的查詢事件相機的6自由度姿態(tài)，如圖1所示。

定位過程中的隱私保護：

提出了兩個級別的隱私保護以防止信息共享過程中可能發(fā)生的違規(guī)行為。

（1）傳感器級隱私保護，其專注于隱藏面部細節(jié)。

（2）網(wǎng)絡(luò)級隱私保護，目標是在私人場景中進行定位，其用戶可能希望完全隱藏他們正在查看的內(nèi)容

傳感器級隱私保護：

傳感器級隱私保護在一致或彎曲的區(qū)域暫時移除，并將結(jié)果與原始體素混合，這種低級操作保留了靜態(tài)結(jié)構(gòu)，同時模糊了動態(tài)或面部信息，通過沿時間軸的中值濾波來過濾時間上不一致的區(qū)域，如圖2a所示。

對于累積量不足的體素網(wǎng)格區(qū)域，由于信噪比較低，濾波過程可能會產(chǎn)生偽影。因此使用圖2b所示的二進制閾值將過濾后的體素與原始事件體素混合。

網(wǎng)絡(luò)級別隱私保護：

網(wǎng)絡(luò)級隱私保護將用戶的視圖完全隱藏在私有空間中，不讓服務(wù)提供商看到，同時節(jié)省了用戶端的計算。在服務(wù)提供商和用戶之間分割事件到圖像的轉(zhuǎn)換過程，其中推斷是使用私人重新訓練的重建網(wǎng)絡(luò)完成的

但是考慮到服務(wù)提供商可能會攻擊，如圖3b所示，有三種可能的攻擊：交換層推斷、通用網(wǎng)絡(luò)重新訓練和目標網(wǎng)絡(luò)重新訓練。首先，在交換層推斷中，采用的中間推斷結(jié)果，并使用原始網(wǎng)絡(luò)參數(shù)Θ運行其余的重建。另外兩種攻擊涉及使用服務(wù)提供商可能可用的大量事件數(shù)據(jù)重新訓練一組新的網(wǎng)絡(luò)。通用網(wǎng)絡(luò)再訓練使用與私人訓練相同的訓練目標訓練隨機初始化的神經(jīng)網(wǎng)絡(luò)。目標網(wǎng)絡(luò)重新訓練類似地使用相同的目標訓練神經(jīng)網(wǎng)絡(luò)，但使用的共享參數(shù)值初始化網(wǎng)絡(luò)的中間部分。使用重新訓練的網(wǎng)絡(luò)，服務(wù)提供商可以嘗試交換層推斷，如圖3b所示。

實驗：

數(shù)據(jù)集，使用三個數(shù)據(jù)集進行評估，DA VIS240C、EvRooms和EvHumans。

DA VIS240C包括使用DA VIS攝像機拍攝的場景，該攝像機同時輸出事件和幀。

EvRooms是文章提出的一個新數(shù)據(jù)集，用于評估基于事件的定位算法在具有挑戰(zhàn)性的外部條件下的魯棒性。數(shù)據(jù)集在20個場景中被捕獲，并分成包含快速相機運動（EvRoomsF）和低光照（EvRoomsL）的記錄。

EvHumans是另一個提出的新數(shù)據(jù)集，用于評估移動人群中的隱私保護定位。數(shù)據(jù)集由22名志愿者在12個場景中移動而成。這兩個數(shù)據(jù)集都是使用DA VIS346相機拍攝的。

比較的算法：

和直接的定位方法PoseNet，SP-LSTM以及以各種事件表示為輸入的基于結(jié)構(gòu)的方法

在隱私保護方面的效果：

總結(jié)：

提出了一種魯棒的基于事件的定位算法，可以同時保護用戶隱私。利用事件到圖像的轉(zhuǎn)換來適應(yīng)事件攝像機上基于結(jié)構(gòu)的定位。為了在轉(zhuǎn)換過程中保護隱私，提出了傳感器和網(wǎng)絡(luò)級別的保護。傳感器級保護的目標是隱藏面部標志，而網(wǎng)絡(luò)級保護的目的是在私人場景中為用戶隱藏整個視圖。

審核編輯 ：李倩