自動(dòng)駕駛技術(shù)中FPGA面臨的挑戰(zhàn)與實(shí)踐

人工智能技術(shù)是自動(dòng)駕駛的基礎(chǔ)，算法、算力和數(shù)據(jù)是其三大要素。本文探討的就是其中的“算力”。算力的高低，不僅直接影響了行駛速度的高低，還決定了有多大的信息冗余用來保障駕駛的安全。算力最直觀地體現(xiàn)在硬件上，而汽車對(duì)自動(dòng)駕駛的控制器有特殊的要求。

除了對(duì)一般硬件的成本、體積重量、功耗的要求外，還要求：提供足夠的算力，保證行駛速度和信息冗余。滿足嚴(yán)苛的車規(guī)標(biāo)準(zhǔn)，比如超寬的溫度范圍，-40℃ – 85℃。綜合來看 FPGA 是適合自動(dòng)駕駛高速計(jì)算的技術(shù)。

實(shí)踐中遇到的挑戰(zhàn)是，多種多樣的加速需求和有限的硬件資源的矛盾。需求的來源既包括深度學(xué)習(xí)前向推測(cè)、也包括基于規(guī)則的算法。硬件資源受限包括了：FPGA 資源受限和內(nèi)存帶寬受限。

FPGA 資源的有限性體現(xiàn)：峰值算力受限：有限的 FPGA 資源限制了計(jì)算并行度的提高，這約束了峰值算力。支持的算子種類受限：有限的 FPGA 資源只能容納有限個(gè)算子。內(nèi)存帶寬受限體現(xiàn)在：內(nèi)存數(shù)據(jù)傳輸在計(jì)算總時(shí)間中占據(jù)了不可忽略的時(shí)間。極端情況下，對(duì)某些算子提高并行度后，計(jì)算時(shí)間不減。為應(yīng)對(duì)這些挑戰(zhàn)，我們?cè)趯?shí)踐中提取了一些有益的經(jīng)驗(yàn)，總結(jié)出來與大家共享。

算法工程師采用浮點(diǎn)數(shù) float32 對(duì)模型進(jìn)行訓(xùn)練，產(chǎn)出的模型參數(shù)也是浮點(diǎn)型的。然而在我們使用的 FPGA 中，沒有專用的浮點(diǎn)計(jì)算單元，要實(shí)現(xiàn)浮點(diǎn)數(shù)計(jì)算，代價(jià)很大，不可行。使用 int8 計(jì)算來逼近浮點(diǎn)數(shù)計(jì)算，也即實(shí)現(xiàn)量化計(jì)算，這是需要解決的第一個(gè)問題。

<>符號(hào)表示四舍五入，兩個(gè)<>把矩陣A和B的元素線性映射到區(qū)間[-127, 127]，在此區(qū)間完成乘法和加法。最后一個(gè)乘法把整型結(jié)果還原成 float32。在量化前，需要完成1000000次 float32 的乘法。量化成 int8 后，需要完成1000000次 int8 的乘法，和30000次量化、反量化乘法。

由于量化和反量化占的比重很低，量化的收益就等于 int8 取代 float32 乘法的收益，這是非常顯著的。

這種方法的好處是，每次計(jì)算既能充分利用 int8 數(shù)據(jù)的表征能力（127總能被使用到），不存在數(shù)據(jù)飽和的情況（所有元素都被線性映射），保證單次計(jì)算的精度最高?？梢灾苯咏邮芨↑c(diǎn)訓(xùn)練的模型，維持準(zhǔn)召率。Resnet50 測(cè)50000張圖片，Top1 和 Top5 準(zhǔn)確率下降1%。在 Valet Parking 產(chǎn)品用到的多個(gè)網(wǎng)絡(luò)中，沒有觀察到準(zhǔn)召率下降。缺點(diǎn)是，F(xiàn)PGA 計(jì)算有截?cái)嗾`差，經(jīng)過多次累計(jì)，數(shù)值計(jì)算誤差最大平均可以達(dá)到10%。對(duì)于一些訓(xùn)練不完全成功的模型（只在有限評(píng)測(cè)集上效果比較好），準(zhǔn)召率下降明顯，結(jié)果不可控。

已知量化尺度：靜態(tài)量化，如果上面的式子變成經(jīng)過線下統(tǒng)計(jì)，量化尺度被固化為 scaleA 和 scaleB，表示四舍五入，并且限制在[-127, 127]之內(nèi)。這種方法的好處是節(jié)約了 FPGA 資源?？梢院芊奖愕夭捎酶炕茰y(cè)一致的訓(xùn)練方法，推測(cè)和訓(xùn)練計(jì)算數(shù)值誤差很小，準(zhǔn)召率可控。缺點(diǎn)是，要求模型訓(xùn)練采用一致的量化方法。否則，計(jì)算誤差很大，不可接受。