行業(yè) | 當(dāng)Faster RCNN遇到FPGA,自動駕駛開始起飛!

當(dāng)今的自動駕駛行業(yè)是一個百舸爭流的局面，總體來看，還是西方引導(dǎo)東方的探索摸索，以 google 為主的以激光雷達(dá)為主的流派和以 Tesla 為主的機器視覺流派引導(dǎo)了整個市場。從發(fā)展趨勢來看，兩種方法正在進(jìn)一步融合，最終會各取優(yōu)勢而相互補充發(fā)展。對整個自動駕駛領(lǐng)域，其核心技術(shù)是個擬人化的實現(xiàn)過程，即：感知->認(rèn)知->決策->控制->執(zhí)行五部分。感知，是所有智能體所要擁有的基本屬性，自動駕駛要解決的第一個問題，就是汽車的感知系統(tǒng)，AI 算法的核心就是要解決感知問題。汽車的感知系統(tǒng)是多種傳感器融合的系統(tǒng)。

圖 1 自動駕駛技術(shù)框架圖 來源：億歐智庫

如上圖所示，多傳感器融合共同組成自動駕駛的感知層已經(jīng)成為行業(yè)共識，這是一個復(fù)雜的技術(shù)體系，本文主要討論最主要的感知部分：機器視覺，以攝像頭為主的計算機視覺解決方案，為汽車加上「眼睛」，能有效識別周邊環(huán)境及物體屬性。隨著 AI 算法的蓬勃發(fā)展, 機器視覺由基于規(guī)則向基于 CNN 神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)變。

圖 2 汽車傳感器示意圖 來源：億歐智庫

國內(nèi)的主要發(fā)展方向集中在視覺上的突破，一種原因是激光雷達(dá)和毫米波雷達(dá)被國外幾個大公司控制，核心技術(shù)短期內(nèi)難以突破，成本居高不下。而做機器視覺, 則成本低廉，且容易上手，國內(nèi)攝像頭的供應(yīng)鏈很完善，所以在這種情況下，國內(nèi)廠商更傾向于 CNN 網(wǎng)絡(luò)的機器視覺能做更多的事情，其實這種選擇是正確的，國內(nèi)廠商突破的最好的一個點就是視覺突破，視覺方案相對成熟和完善，可以利用國內(nèi)的一些特點，找到差異化競爭的突破口，快速形成優(yōu)勢，再逐步迭代更新技術(shù)。如開車時任意變道的行為，這個國外的汽車檢測方式是等尾部進(jìn)入車道內(nèi)再進(jìn)行檢測，這明顯不符合國情，所以算法本土化，解決國人開車遇到的問題，就是差異化競爭，這也更需要對算法有自己的把控能力。

車載系統(tǒng)對 CNN 網(wǎng)絡(luò)的目標(biāo)檢測識別的要求是很高的，而且越高越好，這不僅僅是為了檢測車道和障礙物，還會在自動駕駛中的另一個必不可少的條件：高精度地圖上有巨大的利用空間。因為傳統(tǒng)的地圖模式無法滿足自動駕駛的需求，它需要更多的維度信息，更新更及時，精度達(dá)到厘米級。精度要想達(dá)到厘米級，僅僅依靠衛(wèi)星是遠(yuǎn)遠(yuǎn)不夠的，目前兩個解決方案，一個是 RTK 方案，即在地面上建立大量的基準(zhǔn)站，由基準(zhǔn)站來彌補 GNSS 定位的不足，這個方案精準(zhǔn)，但卻很貴。另外一個方案就是先將地圖上的多維度信息保存到數(shù)據(jù)庫，然后通過車載上的多傳感器（攝像頭，雷達(dá)）所獲取到的特征信息和數(shù)據(jù)庫進(jìn)行匹配，從而修正和彌補定位的精度問題，毫無疑問，這個方案更加實用和快速部署。國內(nèi)地圖公司更傾向于用這種方式，這就更加要求攝像頭檢測物體特征精準(zhǔn)度的問題了。

由算法的精度問題，不得不提算法的實現(xiàn)芯片方案，現(xiàn)在的精度最好的算法還是基于 CNN 的 AI 算法模型，CNN 算法要求的計算量是很大的，目前很多廠商都是直接用 nvidia 的 TX2 做為運算主要載體，在 TX2 上運行對 GPU 友好的算法，這里其實有個誤區(qū)，當(dāng)算法對 GPU 不友好時，就直接宣判了該算法的死刑，這樣操作是不合理的，GPU 成了前進(jìn)路上的一個拐杖，拐杖用的多了就產(chǎn)生了依賴性，反而喪失了發(fā)現(xiàn)更多空間的創(chuàng)造性，我們用兩條腿走路，還是要回歸到問題的本質(zhì)，根據(jù)問題的具體需求來尋求最優(yōu)的解決方案。自動駕駛車載系統(tǒng)的基本要求低延時低功耗 以及算法的復(fù)雜性和多變性，決定了用 FPGA 做車載加速方案是一個理想的選擇。用 FPGA 做加速方案的另外一個不可忽視的好處是：成本可以做的很低。

所以機器視覺的好的方案已經(jīng)不單單是好的算法，而是一個在合理的硬件成本里得到一個最優(yōu)算法的求解問題。由算法來保證識別精度，由硬件來保證算法的實現(xiàn)速度，由成本來保證兩者都需要性價比最優(yōu)的搭配，這才是正確的解決思路。當(dāng)然，想同時實現(xiàn)上述幾點，并非易事。路，要一步一步的走，坑，要一個一個的趟，我們上述的問題一個一個的分析。

算法同源不同行，孰高孰低檢測忙

在整個 AI 算法的大環(huán)境下，車載視覺系統(tǒng)的算法也是基于 CNN 的分割算法，這就引出目前主要的兩個算法 Faster RCNN 系列和 yolo 系列，兩者各有千秋，前者精度更準(zhǔn)，后者速度更快。前者是 two-stage 的方案，即先用最好的網(wǎng)絡(luò)來找出特征值，然后再調(diào)整框來檢測目標(biāo)。后者是 one-stage 的方案，即找特征值和畫框在一個網(wǎng)絡(luò)里完成。

通俗的理解，F(xiàn)aster RCNN 更符合人類「強強聯(lián)合」的概念，即：找出目前性能最好的網(wǎng)絡(luò)，然后再組裝成一起，產(chǎn)生更優(yōu)的效果，它是基于多網(wǎng)絡(luò)融合的方案，所以它的特點就很明確：算的準(zhǔn)，但是算的慢。yolo 的誕生，恰恰是解決了這個問題，yolo 的最大的特點就是快到?jīng)]朋友，但在精度方面卻遜色于 Faster RCNN。

數(shù)據(jù)對比：

圖 3 Faster R-CNN 是精度最高的 來源：網(wǎng)絡(luò)

COCO 數(shù)據(jù)集上，前 10 名中有 9 項都是來自于 Faster R-CNN 的變體。

這兩種方法都有很多變體，one-stage 的方法在精度上不斷想與 two-stage 的方法抗衡，two-stage 不斷的在加快計算速度，但在數(shù)據(jù)集上的結(jié)論以及越來越快的 Faster R-CNN 變體的可以說明，F(xiàn)aster R-CNN 的 檢測精度始終保持領(lǐng)先。但在速度上，yolo 是遙遙領(lǐng)先的。

圖 4 yolo 的速度是最快的 來源：網(wǎng)絡(luò)

正是 Yolo 在速度上明顯提高，YOLO 的確受到車載系統(tǒng)的青睞，Yolo 真的是車載系統(tǒng)的首選嗎？答案未必，正如上文所述，F(xiàn)aster RCNN 的精度是最好的，如果能將其速度也提上去，豈不是更好的選擇。

為此，我們先分析下 Faster RCNN 精度高的原因：

首先，前景背景分離的區(qū)別。Faster RCNN 是有前景背景分離的。這會要求在訓(xùn)練該網(wǎng)絡(luò)時需要進(jìn)行正負(fù)樣本都要訓(xùn)練，也就是說正確的范疇我要負(fù)責(zé)，錯誤的范疇我也要負(fù)責(zé)。這會大大減少誤檢率的概率，所以 Faster RCNN 的查全率（recall）會特別的高。

而 yolo 則沒有這樣的算法結(jié)構(gòu)，它只有正樣本訓(xùn)練，不會區(qū)分前景和背景的區(qū)別。其實這一點是對自動駕駛不太友好的，例如之前 Tesla 的自動駕駛事故就是因為檢測算法沒有區(qū)分前景和背景，將迎面開來的白色卡車和背景中的白云混為一體，從而導(dǎo)致事故發(fā)生。

其次，畫框方式的區(qū)別。Faster RCNN 和畫框的方式和 yolo 是不一樣的，yolo 是將框的問題作為一個聚類問題解決，由算法去自適應(yīng)物體形狀。而 Faster RCNN 是按照一定規(guī)則的框去逼近物體形狀。如下圖所示，9 個矩形共有 3 種形狀，長寬比為大約為（1:2,1:1,2:1）三種，通過 anchors 就引入了檢測中常用到的多尺度方法。

圖 5 框的類型 來源：網(wǎng)絡(luò)

這種人為定義的框的結(jié)構(gòu)更能精準(zhǔn)的標(biāo)定物體，當(dāng)然，任何優(yōu)勢都是有代價的。Faster RCNN 為每一個點都配備這 9 種 anchors 作為初始的檢測框，所以在原始圖上，anchors 的個數(shù)特別多，然后讓 cnn 來判斷哪些是有目標(biāo)的前景，哪些是沒有目標(biāo)的背景，然后再對目標(biāo) anchors 進(jìn)行排序和 NMS（非最大值抑制），即能得到最好的效果。能量是守恒的，當(dāng)獲得優(yōu)勢 A 時，并將付出 B 的代價，關(guān)鍵看代價是什么。feature map 每個點設(shè)置 9 個 Anchor，所以他的 anchor 是很多的，如下圖所示（網(wǎng)絡(luò)截圖）：

圖 6 anchor 的框圖 來源：網(wǎng)絡(luò)

當(dāng)然，好處也是很明顯的，舉個例子，如下圖：

圖 7 框的平移轉(zhuǎn)換示意圖 來源：網(wǎng)絡(luò)

每個 Anchor 的平移量和變換尺度，顯然即可用來修正 Anchor 位置了。紅色為提取的 foreground anchors，即便紅色的框被分類器識別為飛機，但是由于紅色的框定位不準(zhǔn)，這張圖相當(dāng)于沒有正確的檢測出飛機，每個 Anchor 的平移量和變換尺度，即可用來修正 Anchor 位置了，表現(xiàn)結(jié)果即是由只標(biāo)出主體的紅框轉(zhuǎn)換為標(biāo)記更準(zhǔn)的綠框，顯然，綠框的精度更準(zhǔn)。

相對來說，Yolo 系列不區(qū)分前景和背景，畫框的方式也是做一個回歸的問題，這會對密集的目標(biāo)的畫框方式導(dǎo)致不準(zhǔn)，yolo 會把密集的目標(biāo)會畫成一個框。

圖 8 yolo 密集目標(biāo)檢測 來源：雪湖實測

除了精度高之外，能做多網(wǎng)融合是 Faster RCNN 的另外一個很重要的特點。特別對于車載系統(tǒng)，由于現(xiàn)實的復(fù)制性和應(yīng)用的廣泛性，經(jīng)常會需要添加不同的網(wǎng)絡(luò)和良好的性能，如增加車道檢測等，可以將不同的網(wǎng)絡(luò)通過 interp（雙線性插值）層來進(jìn)行實現(xiàn)不同網(wǎng)絡(luò)之間的平滑過渡。

利用這個特點，我們可以做很多啟發(fā)性的探索，前面提到，多傳感器融合來構(gòu)建自動駕駛的感知層是行業(yè)共識，如激光雷達(dá)在自動駕駛中是個很核心的傳感器，有沒有將激光雷達(dá)和視覺同時融合到一個網(wǎng)絡(luò)中的方案呢？有人提出這樣的方案，如下：

圖 9 用 FasterRCNN 來融合激光雷達(dá)和視覺算法 來源：網(wǎng)絡(luò)

上圖的方案，總體上沿用了 Faster RCNN 的檢測框架，但是在輸入、proposal 的形式以及 Faster RCNN 網(wǎng)絡(luò)上做了較大的改動，以實現(xiàn)視覺與激光點云的信息融合。

這個網(wǎng)絡(luò)給了我們很大的啟示，多傳感器融合方案框架是自動駕駛的必備技能，我們必然要考慮不同的傳感器的特性和適應(yīng)該傳感器的算法結(jié)構(gòu)，然后將多種算法結(jié)構(gòu)融合到一個算法框架中來，而 Faster RCNN 網(wǎng)絡(luò)本身就是基于多網(wǎng)絡(luò)融合的方案制成的，所以用 Faster RCNN 來做車載系統(tǒng)有其兼容多傳感器方案的巨大優(yōu)勢。

既然 Faster RCNN 這么多的好處，為什么用的人少呢？主要原因就是算的慢，如下圖所示

由上面圖表可以看出，F(xiàn)aster RCNN 在 TX2 的運行結(jié)果是非常慢的。算法慢，便無解了嗎？未必。因為這里所謂的慢，是針對 GPU 而言的，是因為算法對 GPU 不友好導(dǎo)致的結(jié)果，而對 GPU 不友好，未必對其他異構(gòu)計算平臺不友好，事實證明，這恰恰是 FPGA 的優(yōu)勢所在。

安能得來偷天技？兼顧精度與速度

在 GPU 運行慢的網(wǎng)絡(luò)，可以在 FPGA 上進(jìn)行加速實現(xiàn)。而要想提高速度，就要對網(wǎng)絡(luò)進(jìn)行具體分析，是哪些層運算速度慢以及慢的原因在哪里？

圖 11 Faster RCNN 的框架圖 來源：網(wǎng)絡(luò)

如上圖所示，前半部分是基礎(chǔ)網(wǎng)絡(luò)來提取特征值，后半部分在畫框，RPN 網(wǎng)絡(luò)負(fù)責(zé)前景背景分離，排序算法負(fù)責(zé)篩選，最后全連接輸出結(jié)果。

總體運行結(jié)果，進(jìn)一步分析每層的耗時：

圖 12 Faster RCNN 在 gpu 中每層的耗時 來源：雪湖實測

關(guān)鍵層 interp 層的分析：

圖 13 Interp 層分析 來源：雪湖實測

通過圖 12 的分析結(jié)果我們得出結(jié)論，耗時最長的都集中在了 proposal（排序）及以后的層（FC 層）。通過圖 13 Interp 層（雙線性插值）的分析，我們也得出結(jié)論，GPU 對 Interp 層的加速有限，速度沒有 CPU 的運算快。通過這些數(shù)據(jù)的分析，我們就能很明白的知道 GPU 的優(yōu)勢和劣勢在哪里，GPU 的優(yōu)勢在于能重復(fù)數(shù)據(jù)切片，在運算 cnn 圖片時它是有優(yōu)勢的，因為圖片可以分成不同的 tile 片，然后 GPU 會對每個 tile 進(jìn)行并行計算，當(dāng)算法并不能很好的完成切片動作時，GPU 便沒有什么實質(zhì)的優(yōu)勢，從上圖可以看出，proposal 和 FC6 都很耗時，proposal 層就是在排序，排序?qū)?GPU 是不友好的。Interp 層也是不好切片操作的，所以 proposal 模塊及以后耗時比較大。

知道了相應(yīng)的數(shù)據(jù)和原理，在 FPGA 上就能很好解決這些問題，對 FPGA 來說，F(xiàn)PGA 是可編程的，是可以將整個算法一分為二的，在 proposal 之前是一部分，在 proposal 之后是一部分，兩者在全流水運算后是一個并行的狀態(tài)。這樣用并行的計算來抵消后面的耗時時間，就能大大的縮小計算時延。

針對 Interp 層，F(xiàn)PGA 可以將相應(yīng)放大的系數(shù)存入 BRAM 中，這樣的時間更短，是 CPU 的 3 倍左右的速度。Interp 層的意義是很大的，因為前面我們分析過，自動駕駛的感知層很適合做多網(wǎng)絡(luò)融合的方案，而 Interp 層正式這些網(wǎng)絡(luò)結(jié)合的連接層，經(jīng)過大量實驗證明，用 Interp 做分辨率的上下采樣切換，能最大的保留原始圖片的特征信息，從而使多個網(wǎng)絡(luò)間能夠平滑過渡。這也就意味著多網(wǎng)絡(luò)融合的方案更適合用 FPGA 來實現(xiàn)。

除了前面的優(yōu)化方法之外，我們還可以考慮層合并，切割 featuremap，權(quán)重共享，減少 IO 讀寫時間等方式來進(jìn)行進(jìn)一步的優(yōu)化。另外一個不得不提到優(yōu)化方向就是量化成 8bit 數(shù)據(jù)進(jìn)行計算，這樣 FPGA 中的 DSP 每次都能運算兩個數(shù)，這就可以使用性價比更高的 FPGA 芯片上進(jìn)行運算，從而得到更高的收益。雪湖科技就是這樣做的。

圖 14 雪湖科技開發(fā)的 Faster RCNN 的性能參數(shù)

當(dāng)然，并非說 yolo 算法沒有優(yōu)勢，雪湖也對 yolo 系列做了 FPGA 加速的方案。

圖 15 雪湖開發(fā)的 yolov3-tiny 的性能參數(shù)

雪湖做的工作只是說明用什么樣的算法應(yīng)該根據(jù)真實情況而定，而不單單是看 GPU 的運算指標(biāo)，F(xiàn)PGA 有很多很驚艷的東西，它的潛力一直擺在那里，只是尚未被挖掘出來，雪湖在 FPGA 領(lǐng)域深耕多年，能把 FPGA 的潛力充分挖掘，只要能做到這一點，出來的結(jié)果就足夠驚艷。

風(fēng)景莫道塞外好, 江南深處藏雪湖

開發(fā) FPGA 是有難度的，要對 FPGA 的邏輯實現(xiàn)和算法優(yōu)化有很深的理解之外，

沒有一支精干的團(tuán)隊，沒有一個好的驗證平臺，沒有強有力的 EDA 開發(fā)工具，

將這么復(fù)雜的算法要在一個資源有限的 FPGA 芯片上實現(xiàn)并達(dá)到很高的吞吐量，難度是可想而知的。

雪湖科技在這方面下足了功夫，十年磨一劍，打造出一套完全自主產(chǎn)權(quán)的完整的先進(jìn)的工具系統(tǒng)，同時，針對 CNN 的 AI 算法這塊，專門打磨出一套完整的開發(fā)/驗證系統(tǒng)。

圖 16 雪湖 CNN 算法實現(xiàn)框架圖 來源：雪湖科技

如上圖所示，我們將所有的計算模塊都進(jìn)行封裝，并通過不同的 command 來執(zhí)行不同的算子操作，最終會加快 CNN 算法的實現(xiàn)和落地。

將 AI 算法快速落地，是雪湖的優(yōu)勢所在。雪湖，以算力為根本，為加速而存在，不止步于自動駕駛，不畏懼于技術(shù)變遷。以擁有完全自主產(chǎn)權(quán)的核心技術(shù)為榮，以創(chuàng)新和拼搏為榮。在 FPGA 芯片加速計算領(lǐng)域 (包括但不限于 AI 算法) 絕對是一道亮麗的風(fēng)景線，正所謂：風(fēng)景莫道塞外好，江南深處藏雪湖！