為汽車(chē)接口、安全和計(jì)算密集型負(fù)載選擇和使用 FPGA

作者：Clive “Max” Maxfield

從傳統(tǒng)上來(lái)講，汽車(chē)中的計(jì)算任務(wù)是由微控制器單元 （MCU） 和應(yīng)用處理器 （AP） 完成的。一輛普通的中檔車(chē)可能包含 25 至 35 個(gè)MCU/AP，而豪華車(chē)則可能采用 70 個(gè)或更多。越來(lái)越多的汽車(chē)需要極其復(fù)雜的密集型計(jì)算能力，用于執(zhí)行高級(jí)駕駛輔助系統(tǒng)（ADAS）、信息娛樂(lè)、控制、網(wǎng)絡(luò)和安全等任務(wù)。其中許多應(yīng)用涉及與人工智能 （AI） 相結(jié)合的圖像和視頻處理方面的機(jī)器視覺(jué)。

獨(dú)立的處理器架構(gòu)難以處理傳感器、照相機(jī)和顯示器等外圍設(shè)備所需的所有電氣接口和各種協(xié)議。此外，在許多情況下，這類(lèi)處理器根本無(wú)法滿(mǎn)足機(jī)器視覺(jué)和人工智能等任務(wù)的極端計(jì)算需求。

為了解決這種復(fù)雜性，汽車(chē)系統(tǒng)設(shè)計(jì)人員正把目光投向現(xiàn)場(chǎng)可編程門(mén)陣列 （FPGA）。這樣做不是為了取代現(xiàn)有的MCU/AP，而是作為它們和其他設(shè)備之間的橋梁，并通過(guò)卸載通信和其他計(jì)算密集型任務(wù)來(lái)增強(qiáng) MCU/AP 的性能。

由于 FPGA 可進(jìn)行編程以支持各種電氣接口和協(xié)議，因此可作為 MCU/AP 和傳感器、照相機(jī)、顯示器之間的橋梁。此外，由于 FPGA能夠以大規(guī)模并行方式進(jìn)行計(jì)算和工作，因此可以用來(lái)執(zhí)行計(jì)算密集型的視覺(jué)處理和人工智能任務(wù)，從而釋放主機(jī)處理器性能，用于執(zhí)行其他任務(wù)。

本文將討論現(xiàn)代汽車(chē)的處理要求，介紹一些可由 FPGA 處理的汽車(chē)應(yīng)用。然后，以 Lattice Semiconductor 提供的一些 FPGA為例進(jìn)行介紹并展示如何用這種器件解決連接、處理和安全方面的問(wèn)題。本文還將介紹相關(guān)的開(kāi)發(fā)板，以幫助設(shè)計(jì)人員上手工作。

FPGA 的目標(biāo)汽車(chē)應(yīng)用

為了實(shí)現(xiàn) ADAS 功能，今天的汽車(chē)在車(chē)身上采用了許多傳感器，包括攝像頭、雷達(dá)、LiDAR和超聲波探測(cè)器。在許多情況下，必須從不同的傳感器獲取數(shù)據(jù)并對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理（消除噪音并按要求格式化），然后通過(guò)傳感器融合來(lái)組合這些數(shù)據(jù)，以使由此獲得的信息比通過(guò)單獨(dú)使用不同傳感器的數(shù)據(jù)而獲得的信息更具確定性。人工智能應(yīng)用多用于數(shù)據(jù)分析，做出決策并采取適當(dāng)?shù)拇胧?/p>

一種相對(duì)較新的趨勢(shì)是部署電子（或稱(chēng)“數(shù)字”）后視鏡。這種情況下，會(huì)在后車(chē)窗內(nèi)安裝一個(gè)高分辨率廣角攝像頭。來(lái)自該攝像頭的視頻流會(huì)發(fā)送至取代了傳統(tǒng)后視鏡的數(shù)字顯示屏上，從而能夠更清晰地觀察車(chē)輛后方，不受后座乘客的阻擋。有些情況下，由安裝在兩個(gè)側(cè)后視鏡上的攝像頭產(chǎn)生的視頻流可與來(lái)自后窗攝像頭的視頻流合并。將這三個(gè)反饋信號(hào)“拼接”在一起，在超寬的電子后視鏡上產(chǎn)生單一圖像，讓駕駛員能夠更好地觀察車(chē)輛周?chē)那闆r。

最近的另一個(gè)趨勢(shì)是部署安裝在儀表板上、轉(zhuǎn)向柱上的或者集成在后視鏡（普通或電子）中的車(chē)內(nèi)攝像頭。當(dāng)結(jié)合人工智能時(shí)，這些車(chē)內(nèi)后視鏡可用于執(zhí)行眾多任務(wù)，如識(shí)別不同的駕駛員并相應(yīng)地調(diào)整駕駛員座椅和后視鏡。除了監(jiān)視駕駛員以確保他們注意道路和不打瞌睡之外，這類(lèi)系統(tǒng)還可以檢測(cè)駕駛員有無(wú)瞌睡跡象以及健康問(wèn)題或痛苦表情（如癲癇或心臟病發(fā)作），然后采取適當(dāng)措施。這些措施可能包括啟動(dòng)危險(xiǎn)警告燈，實(shí)施剎車(chē)并將車(chē)輛導(dǎo)引至路邊。更多的應(yīng)用還包括：通過(guò)防止汽車(chē)被鎖和發(fā)出閃燈信號(hào)來(lái)確保不會(huì)誤將幼兒和寵物遺留在后座上無(wú)人看管，以及在乘客將手機(jī)、包或包裹等物品遺落在后座上時(shí)提醒司機(jī)。

在基于視頻的應(yīng)用方面，有些情況下需要將一個(gè)視頻輸入分成多個(gè)視頻流，有些情況下則可能是根據(jù)設(shè)計(jì)要求將多個(gè)視頻流匯聚成一個(gè)。

隨著電動(dòng)汽車(chē) （EV） 部署的增加，需要監(jiān)視和控制電機(jī)，并監(jiān)視和管理充電過(guò)程以使電池壽命達(dá)到最長(zhǎng)。

最重要的是，今天的許多汽車(chē)開(kāi)始啟用 5G 或 V2X 功能，其中V2X（“車(chē)輛到任何東西”）是指車(chē)輛和任何可能影響車(chē)輛（或受車(chē)輛影響）的其他實(shí)體之間的通信，從路邊基礎(chǔ)設(shè)施到其他車(chē)輛。隨之而來(lái)的就是需要安全保障，以防止黑客入侵車(chē)輛。

汽車(chē)級(jí)器件

不是所有的 FPGA 都適用于汽車(chē)應(yīng)用，記住這點(diǎn)很重要。汽車(chē)電子委員會(huì) （AEC） 是一個(gè)最初由克萊斯勒、福特和通用汽車(chē)在 20 世紀(jì) 90年代成立的組織，旨在建立共同的零件鑒定和質(zhì)量體系標(biāo)準(zhǔn)。最常引用的 AEC 文獻(xiàn)之一便是 AEC-Q100——“基于故障機(jī)制的集成電路應(yīng)力測(cè)試鑒定?！?/p>

IATF 16949:2016 是一項(xiàng)技術(shù)規(guī)范，旨在制定質(zhì)量管理體系，用于規(guī)定持續(xù)改進(jìn)，強(qiáng)調(diào)預(yù)防缺陷并減少汽車(chē)行業(yè)供應(yīng)鏈和裝配流程中的變動(dòng)和浪費(fèi)。IATF 16949:2016 是由國(guó)際汽車(chē)工作組 （IATF） 和 ISO 技術(shù)委員會(huì)在 ISO 9001 標(biāo)準(zhǔn)基礎(chǔ)上制定的。

汽車(chē)市場(chǎng)的電子系統(tǒng)供應(yīng)商越來(lái)越要求半導(dǎo)體供應(yīng)商提供符合 AEC-Q100 標(biāo)準(zhǔn)的產(chǎn)品，并能證明其質(zhì)量體系獲得了 ISO/TS-16949 認(rèn)證。

為工作選擇正確的 FPGA

FPGA 非常靈活，但不同的器件系列會(huì)提供各種不同能力和功能組合，從而更加適合特定的任務(wù)。以嵌入式視覺(jué)應(yīng)用為例，現(xiàn)代攝像頭和顯示器通常采用 MIPI接口。MIPI CSI-2（攝像頭/傳感器）和 DSI（顯示器）協(xié)議都采用了被稱(chēng)為 D-PHY 的通信物理層 （PHY）。傳統(tǒng)的 MCU/AP可能不支持這種接口，但一些 FPGA 會(huì)支持，如 Lattice Semiconductor 的 CrossLink-NX 嵌入式視覺(jué)和處理 FPGA。

除了每個(gè) PHY 都支持 10 Gb/s 速率的兩個(gè)加固型四通道 MIPI D-PHY 收發(fā)器外，CrossLink-NX 器件還支持 5 Gb/sPCIe、1.5 Gb/s 可編程輸入/輸出 （I/O） 以及1066 Mb/s 的 DDR3。這種器件還支持傳統(tǒng)的電氣接口和協(xié)議，如低壓差分信號(hào)（LVDS）、Sub-LVDS（LVDS 的降低電壓版本）、Open LVDS 顯示接口 （OLDI） 和串行千兆位媒體獨(dú)立接口（SGMII）。因此，這些器件可用于匯集視頻流、分離視頻流、運(yùn)行人工智能應(yīng)用，并且在執(zhí)行這些任務(wù)的同時(shí)，還可以作為傳統(tǒng) MCU/AP
與現(xiàn)代傳感器、顯示器之間的橋梁。

希望評(píng)估 CrossLink-NX FPGA 的汽車(chē)系統(tǒng)開(kāi)發(fā)商會(huì)發(fā)現(xiàn)，LIFCL-VIP-SI-EVN CrossLink-NX VIP 傳感器輸入板（圖 1）和 LF-EVDK1-EVN 模塊化嵌入式視覺(jué)套件的組合的意義重大（前者可以作為后者的輸入板）。除了 CrossLink-NX FPGA之外，傳感器輸入板還具有四個(gè) 1300 萬(wàn)像素的 Sony IMX258 CMOS MIPI 圖像傳感器，可支持 4K2K @ 30 幀/秒 （fps） 或1080p @ 60 幀/秒。該板還支持通過(guò)三個(gè)獨(dú)立的 PMOD 接口連接傳感器。

對(duì)于還需要高 I/O 帶寬的計(jì)算密集型應(yīng)用——諸如像用于手勢(shì)識(shí)別和控制、語(yǔ)音識(shí)別和控制、人類(lèi)存在檢測(cè)、乘員識(shí)別和駕駛員監(jiān)控之類(lèi)的 AI應(yīng)用來(lái)說(shuō)，Lattice 的 ECP5 FPGA 具有高達(dá) 3.2 Gb/s 的串行器/解串器（SERDES），為獲得更高粒度而在雙通道塊中的每個(gè)器件都采用了多達(dá)有四個(gè)通道，具有多達(dá) 85K 的查找表 （LUT）、能為對(duì)稱(chēng)濾波器提供 2倍資源改進(jìn)的增強(qiáng)型數(shù)字信號(hào)處理 （DSP） 塊，并支持減緩單粒子翻轉(zhuǎn) （SEU）。這些 FPGA 還為 LVCMOS33/25/18/15/12、XGMII、LVTTL、LVDS、總線(xiàn) LVDS、7:1 LVDS、LVPECL 和 MIPI D-PHY I/O 接口提供可編程I/O 支持。

例如，LFE5U-85F-6BG554C 就是一種 ECP5 器件，該器件有 84，000 個(gè)邏輯元件，3.75 Mb RAM 和 259 個(gè)I/O。同樣值得關(guān)注的還有 LFE5UM-45F-VERSA-EVNG ECP5 Versa 開(kāi)發(fā)套件（圖 2）。該開(kāi)發(fā)板采用半長(zhǎng) PCI Express（PCIe） 外形尺寸，設(shè)計(jì)人員可用其評(píng)估 ECP5 FPGA 的關(guān)鍵連接特性，包括 PCIe、千兆以太網(wǎng) （GbE）、DDR3 和通用 SERDES性能。

用 FPGA 確保汽車(chē)安全

現(xiàn)在，黑客造成的安全威脅在不斷增加，新的違規(guī)事件持續(xù)發(fā)生。就汽車(chē)而言，網(wǎng)絡(luò)攻擊可能造成失控，導(dǎo)致乘客和行人傷亡，造成受攻擊汽車(chē)和其他車(chē)輛損壞以及財(cái)產(chǎn)損失。

汽車(chē)安全解決方案的很大一部分是建立一個(gè)信任根 （RoT）；也就是說(shuō)，可以始終信任系統(tǒng)中的某個(gè)硬件資源。一種解決方案是基于 FPGA 的硬件 RoT（HRoT），如 Lattice 的MachXO3D 系列器件提供的解決方案。除了大量的 LUT 資源和 I/O外，這些基于閃存的器件還實(shí)現(xiàn)了瞬時(shí)啟動(dòng)和熱插拔功能。通用應(yīng)用包括膠合邏輯、總線(xiàn)橋接、總線(xiàn)接口、電機(jī)控制、上電控制和其他控制邏輯應(yīng)用。

特別值得注意的是，MachXO3D 是唯一同時(shí)具有雙啟動(dòng)能力和少于 10K LUT 的 FPGA，該器件配備了美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究所 （NIST）認(rèn)證的不可變安全引擎。這使得 MachXO3D 可以作為汽車(chē)的 HRoT，以“系統(tǒng)的先開(kāi)后關(guān)器件”的形式發(fā)揮作用。當(dāng)系統(tǒng)上電時(shí)，MachXO3D首先檢查以確保其正在運(yùn)行經(jīng)過(guò)驗(yàn)證的固件。然后，該器件檢查系統(tǒng)中其他器件的固件。如果系統(tǒng)中的任何組件受到攻擊或損害，包括其本身，MachXO3D都會(huì)拒絕可疑固件并使用已知的、良好的、經(jīng)過(guò)認(rèn)證的固件圖像重新加載該組件。

對(duì)于那些有興趣評(píng)估基于 MachXO3D 的設(shè)計(jì)的開(kāi)發(fā)人員，LCMXO3D-9400HC-D-EVN MachXO3D
開(kāi)發(fā)板提供了一個(gè)可擴(kuò)展的原型開(kāi)發(fā)平臺(tái)（圖 3）。該板具有一個(gè) L-ASC10（模擬檢測(cè)和控制）硬件管理器件、一個(gè)與 Arduino 和 Raspberry Pi板搭配使用的通用 I/O 接口、兩個(gè) Hirose FX12-40 針座位置 （DNI），一個(gè) Aardvark 針座 （DNI） 以及具有四重讀取功能的128 Mbit 串行外圍接口 （SPI） 閃存。

該開(kāi)發(fā)板的尺寸為 4 x 6 英寸，配備供電和編程用 USB mini-B 接口，以及支持 Arduino、Aardvark、FX12、Hirose 和Raspberry Pi 的多個(gè)針座位置。該開(kāi)發(fā)板包括一根 USB 線(xiàn)和一本快速入門(mén)指南。

結(jié)論

現(xiàn)代汽車(chē)電子需要越來(lái)越多的傳感器、電氣接口和協(xié)議，并對(duì)處理能力和帶寬提出了相應(yīng)的要求。由于增加了人工智能、機(jī)器視覺(jué)處理以及安全要求，使得在實(shí)施采用傳統(tǒng)MCU 或 AP 方法的解決方案時(shí)變得復(fù)雜。

如圖所示，通過(guò)適當(dāng)?shù)厥褂?FPGA，設(shè)計(jì)人員可以增加一定的靈活性和處理能力。也就是說(shuō)，可以連接完全不同的處理環(huán)境，執(zhí)行傳感器匯集和融合功能，解決 I/O帶寬要求，并以大規(guī)模并行的方式完成計(jì)算和運(yùn)行，同時(shí)釋放主處理器功能來(lái)執(zhí)行其他任務(wù)。

在安全方面，具有雙啟動(dòng)能力和 NIST 認(rèn)證的不可變安全引擎的、基于閃存的 FPGA 可以作為汽車(chē)的
HRoT，并確保自身和其他器件只運(yùn)行經(jīng)過(guò)認(rèn)證的固件，從而防止黑客通過(guò)加密技術(shù)破壞汽車(chē)系統(tǒng)。