基于FPGA平臺(tái)的安全自動(dòng)駕駛解決方案

3月20-21日，由佐思產(chǎn)研、佐智汽車主辦，地平線、TTTech、魔智、海信網(wǎng)絡(luò)科技、晶眾股份、芯侖光電、PLK、中科慧眼等單位支持的2018第三屆ADAS與自動(dòng)駕駛國際論壇在上海銀星皇冠假日酒店舉辦。超過400多位嘉賓參加了本次論壇，深圳市自行科技有限公司總經(jīng)理關(guān)艷峰博士發(fā)表了《基于FPGA平臺(tái)的安全自動(dòng)駕駛解決方案》的主題演講。

深圳市自行科技有限公司總經(jīng)理關(guān)艷峰

關(guān)艷峰：我從第一屆就參加了佐思的ADAS自動(dòng)駕駛論壇了，今年是第三屆。在第一屆自動(dòng)駕駛論壇，還沒有人講FPGA，今天看到越來越人在關(guān)注FPGA。

自行科技定位在智能汽車電子領(lǐng)域，主要提供ADAS和自動(dòng)駕駛的核心模組和系統(tǒng)，主要面向感知和定位。目前我們提供的產(chǎn)品主要是基于單目視覺的ADAS和車內(nèi)駕駛監(jiān)控系統(tǒng)、以及身份識(shí)別系統(tǒng)等。我們的產(chǎn)品已經(jīng)在前裝乘用車開始商用，我們現(xiàn)在有兩個(gè)研發(fā)中心，第三個(gè)正在建。

自行科技的產(chǎn)品定位，是以深度學(xué)習(xí)、視覺和FPGA三個(gè)主要因素來打造前裝可量產(chǎn)的核心模組和系統(tǒng)，把深度學(xué)習(xí)作為系統(tǒng)的算法核心，把FPGA作為硬件核心或者計(jì)算核心，以視覺融合其他傳感器作為它的感知核心。

我去年提到三個(gè)問題，性能、價(jià)格、功耗。我們花了24個(gè)月優(yōu)化基于FPGA平臺(tái)的ADAS及自動(dòng)駕駛解決方案和產(chǎn)品。例如，如何滿足自動(dòng)駕駛需要的大量計(jì)算，可靠性，還有對(duì)性能的要求，包括幀率，至少20幀以上。今年通過跟Tier 1、車廠的接觸，壓力轉(zhuǎn)到安全上。因?yàn)榧词蛊渌矫娑己?，軟件算法不安全，硬件不安全，整個(gè)系統(tǒng)不安全，依然沒有用。所以，我今天的演講強(qiáng)調(diào)基于FPGA平臺(tái)的產(chǎn)品安全性問題。

從去年5月份到現(xiàn)在一年的時(shí)間，我們都在做著如何提升FPGA平臺(tái)上的核心模組的安全性的相關(guān)工作。因?yàn)槲覀兗茸鲕噧?nèi)又做車外，不論自動(dòng)駕駛還是輔助駕駛，在L5之前都處于人車共駕的狀態(tài)，不能只提升外部環(huán)境的感知，而忽視駕駛員的感知，這兩款產(chǎn)品都在優(yōu)化。

未來我們還要繼續(xù)加深L3級(jí)別自動(dòng)駕駛感知模組的研究。市場(chǎng)定位上我們是Tier 2，和很多Tier 1合作。在前裝乘用車方面，和某GlobalTier 1合作的一款產(chǎn)品達(dá)到相當(dāng)高的水平，進(jìn)入了全球體系，今年Q2要量產(chǎn)。新能源車ADAS的量產(chǎn)會(huì)在2019年。

關(guān)于安全，主要涉及幾個(gè)方面，例如，功能安全，信息安全等。

安全的基礎(chǔ)在哪里？自動(dòng)駕駛系統(tǒng)功能安全首當(dāng)其沖，這是整個(gè)業(yè)界三到五年內(nèi)要解決的問題，之后是信息安全。但需要在基礎(chǔ)性工作做好的前提下，才能談功能安全或者信息安全。

安全基礎(chǔ)工作包括同步問題，如傳感器的同步、人車的同步；失效問題，如硬件失效、軟件失效和算法失效。大家一直都在質(zhì)疑這個(gè)問題，深度學(xué)習(xí)是一個(gè)黑盒子，如果算法失效了怎么辦？

同步問題

關(guān)于傳感器同步，我們都有一個(gè)共識(shí)，需要同時(shí)獲得外部環(huán)境信息，否則會(huì)失去它的價(jià)值，導(dǎo)致錯(cuò)誤的判斷。要保證同時(shí)獲取信息，在安全的基礎(chǔ)系統(tǒng)架構(gòu)上，大多數(shù)同行會(huì)選擇帶操作系統(tǒng)的處理器。不是說這種處理器不好，而是它在處理傳感器同步的時(shí)候基本上是指令觸發(fā)的，指令觸發(fā)很難控制精準(zhǔn)的采樣時(shí)間，延時(shí)相對(duì)較大且不足夠穩(wěn)定。而FPGA不基于操作系統(tǒng)，是電平觸發(fā)，延時(shí)小且控制精準(zhǔn)。

FPGA分為兩部分，一部分是純邏輯，可直接發(fā)出指令，操控傳感器獲取目標(biāo)信息。不同距離的傳感器，從高速到低速不同的速度范圍，傳感器工作不同，如何在傳感器之間的切換過程實(shí)現(xiàn)同步？這有很多具體的約束和要求。

另外一部分是人車同步。在發(fā)生交通事故時(shí)，是不是駕駛員注意力不夠集中，或者過度依賴自動(dòng)駕駛系統(tǒng)，這在L4之前都是一個(gè)非常重要的問題，所以駕駛員狀態(tài)的實(shí)時(shí)感知和車外環(huán)境的實(shí)時(shí)感知必須同步，不同步會(huì)導(dǎo)致危險(xiǎn)。車內(nèi)車外兩個(gè)攝像頭要達(dá)到同樣的等級(jí)，才能提供相應(yīng)的功能。

關(guān)于功能安全的問題，它的核心問題就是在評(píng)價(jià)指標(biāo)，危險(xiǎn)和風(fēng)險(xiǎn)，它有固定的評(píng)價(jià)流程。有相應(yīng)的軟件、硬件和算法方案后，要做功能安全性驗(yàn)證和失效分析。

失效問題

硬件的失效問題很關(guān)鍵，譬如傳感器失效。一套系統(tǒng)有多個(gè)傳感器，實(shí)際上任何一個(gè)傳感器離最終的安全要求都是有差距的。一方面要通過傳感器融合提升單一傳感器的能力，另一方面通過融合使整體感知決策能力更加可靠。

多種傳感器淺度融合，是最簡(jiǎn)單的融合算法，但它并未改變單一傳感器的感知能力，我們希望通過深度融合，使得各個(gè)單一傳感器得感知能力得到進(jìn)一步得提升，從而提升整體感知決策得可靠度，這是未來傳感器融合的核心問題。

淺度融合解決不了這個(gè)問題，所以做深度融合，這就需要硬件底層的支持，比如是否開放傳感器的RawData。

講到軟件失效，3天造車，5天出Demo方式的軟件架構(gòu)，是量產(chǎn)不了的。采用開源的代碼或系統(tǒng)，也是量產(chǎn)不了的。對(duì)于軟件中的底層驅(qū)動(dòng)，中間件、操作系統(tǒng)，如何去設(shè)計(jì)、開發(fā)、驗(yàn)證都需要大量的工作，開發(fā)周期長，成本高，但這是量產(chǎn)的基礎(chǔ)。

舉個(gè)例子，要滿足ISO26262的軟件安全要求，軟件開發(fā)中的指針不能隨便用，有的程序開發(fā)得很快，用了很多指針，二級(jí)指針是禁用的。一些嵌套迭代是不能用的，用了就有可能降低軟件的穩(wěn)定性。所以基于可量產(chǎn)的安全的軟件架構(gòu)是必須的，在有安全保證的架構(gòu)基礎(chǔ)上，軟件才可能安全，這也需要經(jīng)過專業(yè)機(jī)構(gòu)的評(píng)估，就像硬件的EMC測(cè)試一樣。

算法失效有很多種，尤其對(duì)以視覺為主的算法，光線的影響是最嚴(yán)重的。我們從兩個(gè)方面去看，車內(nèi)、車外。車內(nèi)我們是否能夠解決被遮擋、強(qiáng)光、陰陽臉、白天、晚上等各種場(chǎng)景。我們?cè)谶@些場(chǎng)景下做了足夠評(píng)估才能說明算法是可靠的。

我們的FPGA硬件已經(jīng)迭代了30個(gè)月，算法迭代的時(shí)間更長。有些環(huán)境下，人的肉眼都很難區(qū)別，靠算法如何去解決？

語義分割算法的失效，最怕的是車道線出問題。車道線有問題，會(huì)導(dǎo)致連鎖問題，連續(xù)失效。我們?cè)贔PGA上面實(shí)現(xiàn)超30幀語義解析，可以大大提高可靠性。

信息安全

信息安全方面，傳感器可能面臨的攻擊，最大的兩類是信號(hào)干擾和樣本欺騙。信號(hào)干擾主要是針對(duì)傳感器的強(qiáng)電磁干擾，另一種是本體干擾，會(huì)降低信噪比和信號(hào)精度。

從視覺來講，如何對(duì)抗樣本欺騙很重要，因?yàn)榭陀^環(huán)境造成和人為制造的虛假樣本普遍存在，就需要提高系統(tǒng)性能來對(duì)抗樣本的欺騙。客戶問我最多的就是，你們?nèi)绾稳ッ鎸?duì)人皮面具的欺騙，這需要很多技術(shù)去解決。

信息安全，還包括來自于車內(nèi)網(wǎng)絡(luò)和車聯(lián)網(wǎng)的入侵。

最后，我想和諸位朋友分享一下自行科技的車內(nèi)外ADAS功能演進(jìn)和平臺(tái)演進(jìn)。

功能演進(jìn)

我們會(huì)一直關(guān)注車內(nèi)DMC及車外ADAS的功能演進(jìn)，及兩者的協(xié)同與聯(lián)動(dòng)。尤其是車內(nèi)DMC部分，我們從基礎(chǔ)的疲勞預(yù)警、身份識(shí)別、行為檢測(cè)，逐步發(fā)展到視線追蹤、表情識(shí)別等高級(jí)功能，為未來的智能座艙、個(gè)性化配置及L3級(jí)自動(dòng)駕駛駕駛員接管等功能提供魯棒豐富的感知信息，并和車外ADAS功能協(xié)同工作，為駕駛員提供更加安全、精準(zhǔn)與人性化的服務(wù)。我們也會(huì)不斷升級(jí)和擴(kuò)充我們的車內(nèi)外傳感器組合，來匹配不同階段的功能演進(jìn)。

平臺(tái)演進(jìn)

不同階段的功能計(jì)算復(fù)雜度不同，對(duì)于硬件平臺(tái)的需求也不相同，具體表現(xiàn)在計(jì)算力、計(jì)算架構(gòu)、平臺(tái)靈活性與可擴(kuò)展性等。為此，自行科技的硬件平臺(tái)演進(jìn)路線是以XilinxZynq系列為代表的FPGA平臺(tái)為主，配合高性價(jià)比的MPSoC，通過逐步提升算力，滿足各個(gè)階段不同等級(jí)的ADAS功能、性能、車規(guī)、安規(guī)方面的需求。