新型攝像頭與算法結(jié)合 實現(xiàn)飛行器3.5 毫秒快速反應(yīng)

那些打過籃球并玩過無人機的人，會想當(dāng)然地回答，小事一樁。但在這臺無人機面前，你錯了，因為它會快速、靈活地躲避飛來的襲擊。

最近，來自瑞士蘇黎世大學(xué)（University of Zurich）的研究人員設(shè)計出一種新方法，可以讓無人機在主動躲閃移動障礙物的情況下快速導(dǎo)航。該研究讓無人機向著擁有更優(yōu)異的性能，比如在惡劣環(huán)境下更快速地飛行，在更短時間內(nèi)完成更多任務(wù)等邁出很大一步。

圖 | 成功躲避球的無人機（來源：Davide Scaramuzza）

當(dāng)下市面上的無人機已經(jīng)可以承擔(dān)很多工作，但是躲避障礙物并不是它們的強項——尤其是在無人機快速移動時。盡管許多飛行機器人都配備了可以檢測障礙物的攝像頭，但通常它們都需要 20~40 毫秒的時間來處理圖像并做出反應(yīng)。這個時間看似很快，但當(dāng)無人機自身以較高的速度飛行時，20~40 毫秒的反應(yīng)時間對于避開飛鳥或者另一架無人機，甚至是靜態(tài)障礙物來說，都是不夠的。尤其是當(dāng)無人機在一個不可預(yù)測的環(huán)境中使用時，或者有多架無人機在同一片區(qū)域飛行時，這會是個棘手的問題。

蘇黎世大學(xué)的研究人員將一種類似運動傳感器的 “事件攝像頭” 整合在一起，并設(shè)計了新的算法，從而將無人機的反應(yīng)時間縮短到了幾毫秒。這個近乎一個數(shù)量級的提升，足以讓無人機在空中躲開短距離內(nèi)向其砸來的球或其他物品。該研究發(fā)表在了最新一期的《科學(xué) · 機器人》（Science Robotics）雜志上，由蘇黎世大學(xué)機器人技術(shù)和感知方向的教授 Davide Scaramuzza 領(lǐng)導(dǎo)。

新型攝像頭與算法結(jié)合，3.5 毫秒快速反應(yīng)

傳統(tǒng)的攝像頭，例如智能手機上的那種，都是通過定期拍攝整個場景的快照來工作，它會同時曝光圖像的所有像素。但是，通過這種方式，只能在機載計算機分析完所有像素之后才能檢測到運動物體。

Davide 研究團隊的 “事件攝像頭” 則不同，其具有彼此獨立工作的智能像素。它在未檢測到外界的變化像素時會保持沉默，而一旦看到了光強度變化的像素就會立即發(fā)送信息。這樣一來，機載計算機只需處理圖像中的一小部分變化像素，因此大大加快了計算速度，從而縮短了反應(yīng)時間。

Davide 向 DeepTech 具體解釋道：“事件在時空域中生成一個體。我們的算法只考慮在過去 10 毫秒內(nèi)出現(xiàn)的事件。我們補償攝像頭看到的運動，并分析所有事件的統(tǒng)計數(shù)據(jù)。對于每個像素，我們計算歸一化的平均時間戳，它的范圍介于 -1 和 1 之間，動態(tài)對象的得分非常接近于 1。這使我們可以將事件的閾值分別以靜態(tài)對象和動態(tài)對象區(qū)分開?！?/span>

圖 | 自我運動補償算法的各個階段，以便區(qū)分出屬于移動障礙的事件（來源：Davide Scaramuzza）

除此之外，“目前的無人機，其目標(biāo)檢測算法無法很好地和我們開發(fā)的新型攝像頭配合工作?！?/span>Davide 解釋說，“事件攝像頭”是一項最近的創(chuàng)新工作，并且功能與傳統(tǒng)攝像頭不同。我們的攝像頭不以恒定的時間間隔輸出標(biāo)準(zhǔn)圖像，而是輸出與每個像素強度變化相對應(yīng)的異步事件流。因此，其他研究人員必須發(fā)明自己的算法，在很短的時間內(nèi)收集攝像頭記錄的所有事件，然后減去無人機自身運動的影響。

據(jù) Davide 介紹，該研究使用的 “事件攝像頭”，目前世界上只有 5 家公司生產(chǎn)。“因為這種傳感器直到 10 年前還只是研究原型，我們使用的是 Insightness 公司的設(shè)備?！?研究中所用的無人機平臺，是 Davide 實驗室定制的四軸飛行器，跟市售的商品區(qū)別不是很大，但用于感知和導(dǎo)航的算法都是他的團隊開發(fā)的。

在研究過程中，Davide Scaramuzza 和同事首先分別測試了攝像頭和算法。

在攝像頭被單獨靜止放置時，他們將各種形狀和大小的物體扔向它，同時測量了算法檢測物體的效率。結(jié)果顯示，根據(jù)物體大小和投擲距離的不同，檢測成功率在 81％~97％ 之間上下浮動。此外，該系統(tǒng)的平均反應(yīng)時間只需 3.5 毫秒，便可檢測到飛來的物體。

隨后，最為嚴(yán)峻的考驗開始了：他們將攝像頭安裝在真正的無人機上，讓其在室內(nèi)和室外飛行，然后直接向無人機投擲物體。經(jīng)過多次測試，無人機能夠成功避開物體的概率超過 90%，這其中包括從 3 米遠(yuǎn)的地方以 10 米 / 秒的速度扔出的球。當(dāng)測試無人機提前 “知道” 物體的大小時，只需一臺 “事件攝像頭” 就足夠了；而當(dāng)無人機需要面對大小不同的飛來物體時，則需要使用兩個攝像頭來為其提供立體視覺。

正在接洽商業(yè)化

那么，這項研究能否在短期內(nèi)投入規(guī)模化應(yīng)用呢？Davide 向 DeepTech 透露：“在原則上，該技術(shù)已經(jīng)做好了商業(yè)化準(zhǔn)備，我們正在與一些公司討論細(xì)節(jié)之中?！?/span>

至于未來的研究方向，Davide 對 DeepTech 說：“我們的計劃是在一個更靈活的四旋翼上測試這個系統(tǒng)。而對于更長遠(yuǎn)的目標(biāo)，我們最終是想有一天能夠讓無人機達(dá)到如今飛行員操縱一般的駕駛自如。當(dāng)前，在涉及無人機的所有搜索和救援應(yīng)用中，實際上都是人為控制的。如果我們能讓無人機擁有像人類飛行員一樣可靠的導(dǎo)航能力，那么就可以將其用于超出視線范圍或無法遠(yuǎn)程控制的任務(wù)中。”

圖 | 比較傳統(tǒng)攝像頭與事件攝像頭的輸出：傳統(tǒng)攝像頭以固定的速率捕獲幀；而事件攝像頭僅以時空事件的螺旋形式，連續(xù)輸出亮度變化的信號，紅色為正向變化，藍(lán)色為負(fù)向變化（來源：Davide Scaramuzza）

Davide Scaramuzza 所在的蘇黎世大學(xué)機器人與感知小組實驗室，一直專注于開發(fā)可以讓自動無人機快速飛行的新技術(shù)，以便執(zhí)行對時間要求更為嚴(yán)格的任務(wù)，例如在發(fā)生自然災(zāi)害之后對惡劣的環(huán)境進行探索等。

“對于諸如地震、海嘯發(fā)生后的搜尋和救援工作來說，時間是非常關(guān)鍵的。因此人們需要能夠在有限的電量時間內(nèi)（通常為 10~20 分鐘）完成盡可能多任務(wù)的快速導(dǎo)航無人機。” Davide 向 DeepTech 解釋道。“當(dāng)我們的新攝像頭將無人機的導(dǎo)航速度提高十倍左右時，也擴展了其潛在的其他應(yīng)用可能?！?/span>

“未來總有一天，無人機將會被投入到各種各樣的應(yīng)用中，例如貨物交付、人員運輸、航空攝影術(shù)等，當(dāng)然還有提到的搜救?！?他說，“但是，讓機器人能夠更快地感知并更快地做出決策，對于其他領(lǐng)域來說也可以改變游戲規(guī)則。在一些領(lǐng)域中，比如無人駕駛汽車、運輸、采礦機器人，以及進行遠(yuǎn)程檢查工作的設(shè)備等，可靠地檢測視野內(nèi)的障礙也是至關(guān)重要的。

安全問題，對于每個人來說都是非常重要的事情?！拔覀兊难芯肯蛑磥頍o人機或者汽車更加智能化且更加安全邁出了一小步?！?他表示，他和團隊成員對這項研究所展現(xiàn)的躲避功能感到十分興奮，“我們從未見過商用無人機對快速移動的障礙做出如此迅速的反應(yīng)，這是所有飛行機器人在任何環(huán)境中安全導(dǎo)航的關(guān)鍵要素?！?/span>

植根學(xué)界，兼顧創(chuàng)業(yè)

Davide Scaramuzza 于 1980 年出生于意大利，目前是蘇黎世大學(xué)信息學(xué)和神經(jīng)信息學(xué)的教授，同時他也是蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）神經(jīng)信息學(xué)教授。他從事機器人、計算機視覺和神經(jīng)科學(xué)交叉領(lǐng)域的研究。具體來說，他研究標(biāo)準(zhǔn)和神經(jīng)形態(tài)攝像頭的使用，使微型無人機在搜索和救援場景中能夠自主、靈活地導(dǎo)航。

他在蘇黎世聯(lián)邦理工學(xué)院獲得了機器人和計算機視覺博士學(xué)位，隨后在賓夕法尼亞大學(xué)（University of Pennsylvania）進行博士后的學(xué)習(xí)和工作。從 2009 年到 2012 年，他領(lǐng)導(dǎo)了歐洲 sFly 項目——該項目引入了 PX4 自動駕駛儀，并開創(chuàng)了基于視覺沖擊的微型無人機自主導(dǎo)航。

由于他在視覺導(dǎo)航方面的研究貢獻(xiàn)，他被授予 IEEE 機器人與自動化社會職業(yè)生涯早期獎，SNSF-ERC 啟動資金，谷歌研究獎，庫卡、高通和英特爾等獎項，歐洲青年研究獎，Misha Mahowald 神經(jīng)形態(tài)工程獎，以及一些會議論文獎等。

他與人合著了《自主移動機器人導(dǎo)論》(Introduction to Autonomous Mobile Robots，由 MIT Press 出版），并在頂級期刊（TRO、PAMI、IJCV、IJRR）和會議（RSS、ICRA、CVPR、ICCV）上發(fā)表過 100 多篇關(guān)于機器人和感知的論文。

2015 年，Davide 與他人共同創(chuàng)立了一家名為“蘇黎世之眼”（Zurich-Eye）的公司，致力于將移動機器人的視覺慣性導(dǎo)航解決方案商業(yè)化，該公司后來成為了 Oculus 公司（2014 年被 Facebook 收購， 5 年多時間馬克 ? 扎克伯格在虛擬現(xiàn)實領(lǐng)域投入了數(shù)十億美元）的歐洲研究中心。此外，他還是 Dacuda 公司（瑞士一家計算機視覺公司，其 3D 部門在 2017 年被 Magic Leap 公司收購）的戰(zhàn)略顧問。