傳感器融合，挑戰(zhàn)重重！

針對多種數(shù)據(jù)類型正在探索多種方法，但現(xiàn)在說哪一種最好，或者其中任何一種是否會縮短自動駕駛汽車的上市時間還為時過早。

全自動駕駛汽車的一個關(guān)鍵策略是能夠?qū)⒍鄠€傳感器的輸入融合在一起，這對于做出安全可靠的決策至關(guān)重要，但事實證明這比最初想象的要困難得多。

有多個問題需要解決，包括如何對不同類型的數(shù)據(jù)進(jìn)行分區(qū)、優(yōu)先級排序和最終組合，以及如何構(gòu)建車輛內(nèi)的處理架構(gòu)，以便車輛能夠足夠快地根據(jù)這些不同的數(shù)據(jù)類型做出決策，以避免事故。對于如何實現(xiàn)這一目標(biāo)，沒有單一的最佳實踐，這就是為什么許多汽車原始設(shè)備制造商采取截然不同的方法的原因。這也有助于解釋為什么今天道路上還沒有完全自動駕駛的車輛。

“可以通過三種主要方法來看待這個問題，” Siemens Digital Industries Software混合物理和虛擬系統(tǒng)、汽車和軍用航空副總裁 David Fritz 說道。“一種方法是在處理之前融合來自多個傳感源的原始數(shù)據(jù)。雖然這種方法可以降低功耗，但一個傳感器陣列的不良數(shù)據(jù)可能會污染其他傳感器的良好數(shù)據(jù)，從而導(dǎo)致不良結(jié)果。此外，大量原始數(shù)據(jù)的傳輸還帶來了帶寬、延遲和系統(tǒng)成本等其他挑戰(zhàn)?！?/p>

第二種方法是對象融合，其中每個傳感器處理數(shù)據(jù)并將其特定于傳感器的處理結(jié)果表示為對其檢測到的內(nèi)容的解釋?！斑@具有無縫集成機(jī)載傳感器結(jié)果的優(yōu)點?；A(chǔ)設(shè)施傳感器以及其他車輛上的傳感器，”弗里茨說?！斑@種方法的挑戰(zhàn)是對象的通用表示和標(biāo)記，以便它們可以在不同的車輛和基礎(chǔ)設(shè)施之間共享。

第三種選擇——也是我們認(rèn)為從功耗、帶寬和成本角度來看最引人注目的一種——是前兩種方法的混合。在這種方法中，物體被傳感器檢測到但不被分類。在這種情況下，物體的點云被傳輸?shù)綑C(jī)載中央計算系統(tǒng)，該系統(tǒng)對來自內(nèi)部和外部不同傳感器的點云進(jìn)行分類（標(biāo)記）。這顯著降低了帶寬和延遲要求，降低了傳感器的成本和負(fù)載，并允許車輛解釋或分類，

汽車生態(tài)系統(tǒng)中的討論才剛剛開始，還有很多挑戰(zhàn)需要克服。

“你需要弄清楚你擁有哪些對象，以及何時使用它們，” Arteris IP業(yè)務(wù)開發(fā)副總裁 Frank Schirrmeister 說道?！八械母袷蕉挤浅２煌Ｈ绻谘芯考す饫走_(dá)，就會發(fā)現(xiàn)一些帶有距離的時髦地圖。在相機(jī)中，它是RGB，并且有一組像素。有了熱量，還有別的東西。即使在關(guān)聯(lián)和融合所有這些內(nèi)容之前，您也需要以某種方式理解這些格式。從架構(gòu)的角度來看，這可能導(dǎo)致最需要在傳感器處或靠近傳感器處進(jìn)行處理。然后，在不同位之間完成對象關(guān)聯(lián)。但你需要弄清楚細(xì)節(jié)，比如物體有多熱、物體有多遠(yuǎn)等。這些不同傳感器的維恩圖具有一組重疊的特征，其中一些比其他傳感器更好?！?/p>

傳感器融合是一個快速創(chuàng)新的領(lǐng)域，得益于算法的不斷改進(jìn)和芯片行業(yè)對 SoC 架構(gòu)的深入了解。

“傳感器融合的一個共同點是需要異構(gòu)處理方法，因為它需要結(jié)合信號處理——通常使用 DSP、專用加速器上的人工智能處理以及使用 CPU 的控制代碼，”高級工程師 Markus Willems 說。新思科技產(chǎn)品經(jīng)理?！案鶕?jù)傳感器的類型，需要支持不同的數(shù)據(jù)類型。這包括用于圖像數(shù)據(jù)的 8 位整數(shù)處理，或用于雷達(dá)處理的 32 位單精度 (SP) 浮點，而 AI 處理可能需要 bfloat16 等。在單芯片上運(yùn)行不同類型的處理器需要復(fù)雜的軟件開發(fā)流程，利用優(yōu)化的 C/C++ 編譯器和函數(shù)庫，以及支持最新神經(jīng)網(wǎng)絡(luò)（包括傳感器融合中使用的變壓器）的圖形映射工具。內(nèi)存、帶寬和延遲是關(guān)鍵的設(shè)計參數(shù)，設(shè)計人員希望看到處理器仿真模型和 SoC 架構(gòu)探索工具的早期可用性，以檢查假設(shè)場景。”

雖然傳感器融合在汽車領(lǐng)域受到廣泛關(guān)注，但它對于其他市場也很有用。

Cadence Tensilica IP 小組產(chǎn)品管理組總監(jiān) Pulin Desai 表示：“我們專注于汽車領(lǐng)域，因為攝像頭、雷達(dá)中將會有圖像傳感器，或許還有激光雷達(dá)?！薄?a target="_blank">機(jī)器人應(yīng)用中還可能有圖像傳感器和 IMU?？赡苡卸鄠€圖像傳感器，并且您將融合這些東西。其他傳感器包括陀螺儀、磁力計、加速度計，這些傳感器在許多不同的領(lǐng)域以多種不同的方式使用。雖然汽車方面?zhèn)涫荜P(guān)注，但家用掃地機(jī)器人也使用相同的圖像傳感器和雷達(dá)傳感器。它可能具有與無人機(jī)非常相似的架構(gòu)。任何類型的無人駕駛車輛都具有此類傳感器?！?/p>

有大量數(shù)據(jù)流入。弄清楚在哪里處理所有數(shù)據(jù)是一個挑戰(zhàn)，部分原因是并非所有數(shù)據(jù)都采用相同的格式。

“這里存在經(jīng)典的邊緣計算情況，您需要決定如何平衡整個鏈條的處理 - 從模擬世界獲取數(shù)據(jù)的地方，到在大腦中做出決定或與駕駛員交互的地方混合使用模型，”Arteris 的 Schirrmeister 說道?！皩ο箨P(guān)聯(lián)聽起來更現(xiàn)實，但也存在各種各樣的挑戰(zhàn)。熱雷達(dá)、激光雷達(dá)和雷達(dá)都使用不同的類型來表示數(shù)據(jù)。如果您查看激光雷達(dá)，因為它本質(zhì)上是為您提供一定距離內(nèi)的點，所以這是與從相機(jī)獲得的數(shù)據(jù)完全不同類型的數(shù)據(jù)。將這些全部關(guān)聯(lián)起來當(dāng)然不是一件小事，并且可能需要大量計算。更重要的是，您還需要確定不同的項目是否彼此不一致。如果是這樣，你選擇什么？你使用一些平均值嗎？對于所有這些傳感器的組合來說絕對是一個挑戰(zhàn)?！?/p>

當(dāng)談到數(shù)據(jù)的實際融合時，西門子的弗里茨觀察了多種方法?！霸谠缙诘囊恍﹪L試中，NVIDIA 迅速起步，他們說，‘我們可以做很多人工智能的事情。當(dāng)傳感器數(shù)據(jù)傳入時，我們可以使用高端 GPU，嘗試降低其功耗，然后使用神經(jīng)網(wǎng)絡(luò)對其進(jìn)行處理?！边@就是幾年前我們在后備箱中安裝一個必須進(jìn)行水冷卻的機(jī)架的原因。然后，激光雷達(dá)人員會說，‘我知道你不能為每臺激光雷達(dá)支付 20,000 美元，所以我們正在努力讓激光雷達(dá)更便宜。有人說，‘好吧，等一下。相機(jī)大概是35美分。我們?yōu)槭裁床环胖靡欢严鄼C(jī)并將所有這些融合在一起呢？這是幾年前開始的，采用的是一種蠻力的、幾乎是腦死亡的方法。這就是方法，“我有原始激光雷達(dá)數(shù)據(jù)。我有原始相機(jī)數(shù)據(jù)。我有雷達(dá)、激光雷達(dá)、攝像頭。我如何將所有這些放在一起？人們做了一些瘋狂的事情，比如將激光雷達(dá)數(shù)據(jù)轉(zhuǎn)換為 RGB?！拔覀冇卸鄠€幀，因為有距離信息。然后我們將通過最簡單的卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行它來嘗試檢測對象并對它們進(jìn)行分類。這就是事情的嚴(yán)重程度。但有些人仍在嘗試這樣做?！?/p>

相比之下，特斯拉仍然主要依賴攝像頭數(shù)據(jù)。弗里茨說，這是可能的，因為立體相機(jī)的功能，甚至是單聲道相機(jī)中固定時間段內(nèi)的連續(xù)幀，使用視差來確定深度?！罢驗槿绱耍麄冋f，‘為什么我需要激光雷達(dá)？因為我沒有激光雷達(dá)，所以我沒有傳感器融合問題。它只是簡化了事情。但是假設(shè)相機(jī)上的鏡頭被水或污垢覆蓋。他們有這些問題需要擔(dān)心。在極端的另一端，如果你完全依賴激光雷達(dá)，我見過這樣的場景：你有一個人穿過街道的 2D 表示，而汽車認(rèn)為這是一個真人。為什么？因為反射。激光雷達(dá)發(fā)生了各種各樣人們不知道的事情。

融合不同的數(shù)據(jù)類型還取決于存在的傳感器類型?！叭藗冋谡?wù)撛缙?、中期和晚期融合，”Cadence 的 Desai 說?！斑@一切都取決于我們的客戶和我們客戶的客戶的系統(tǒng)設(shè)計，這表明他們正在嘗試解決什么類型的問題。我們對其中一些事情是不可知的，因為立體傳感器可以進(jìn)行早期融合或后期融合，因為你的圖像和數(shù)據(jù)都已經(jīng)識別了物體，并且你可以對其進(jìn)行后期融合。還可能存在中間融合，這更像是系統(tǒng)供應(yīng)商選擇他們想要如何進(jìn)行融合，他們想要做多少計算，信息有多強(qiáng)大，或者他們試圖解決什么類型的問題解決。這有多難？嗯，這取決于融合的類型。”

傳感器融合的類型

圖 1：不同的融合選項。來源：Cadence

Desai 說，另一個需要考慮的因素是何時使用它們，或者經(jīng)典 DSP 是否更合適，尤其是在人們對 AI/ML 技術(shù)高度關(guān)注的情況下?！拔覍⑽覀冞^去所做的一些事情與我們今天所做的事情進(jìn)行了比較。在某些問題上，你可以通過某種確定性的方式利用人工智能實現(xiàn)非常高的成功率。例如，我們在2012年和2013年做人臉和人物檢測時，我們使用了經(jīng)典的計算機(jī)視覺算法，但當(dāng)時它們不是很準(zhǔn)確。達(dá)到準(zhǔn)確度是非常困難的。然后，當(dāng)我們轉(zhuǎn)向人工智能時，我們在人臉檢測和人物檢測方面獲得了非常強(qiáng)大的性能。所以現(xiàn)在有一個非常確定的情況，你會說，‘我要做人臉檢測，我可以達(dá)到人類所說的 99% 的準(zhǔn)確率，而人工智能可以給我 97% 的準(zhǔn)確率。為什么我需要玩一些不夠好的東西？我會去使用這個人工智能，因為我確切地知道它的作用，并且它提供了最好的準(zhǔn)確性。但在某些情況下，例如當(dāng)我仍在嘗試解決問題時，我需要嘗試不同的算法并在我的環(huán)境中進(jìn)行操作。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號處理器來執(zhí)行這些算法?！蔽倚枰獓L試不同的算法并在我的環(huán)境中進(jìn)行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號處理器來執(zhí)行這些算法?！蔽倚枰獓L試不同的算法并在我的環(huán)境中進(jìn)行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號處理器來執(zhí)行這些算法?！?/p>

此外，很多時候，使用人工智能引擎時，進(jìn)入人工智能引擎的數(shù)據(jù)必須經(jīng)過預(yù)處理，這意味著它必須采用特定的格式。

“在特定的數(shù)據(jù)類型中，你的人工智能引擎可能會說，‘我只做定點，’”德賽解釋道?！八阅憧梢允褂每?a href="http://wenjunhu.com/v/tag/1315/" target="_blank">編程引擎來做到這一點。那么，一旦你把某些東西放入人工智能中，你可能就沒有太大的靈活性了。四年后，當(dāng)新事物出現(xiàn)時，你可能必須改變它。有很多不同的因素。本質(zhì)上，如果您正在做一些非常確定的事情，您就會知道您可以獲得非常高的性能率，并且您今天就知道了。你可能會說，‘今天我要引入人工智能來解決這個問題。明天，我可能還會這么做。然后，我通過使用可編程引擎來增加靈活性?；蛘?，如果我不知道我需要使用它，那么我仍然會使用經(jīng)典算法來使用它。即使我有AI，我仍然需要做數(shù)據(jù)的預(yù)處理和后處理。

結(jié)論

隨著汽車原始設(shè)備制造商和系統(tǒng)公司將其計算架構(gòu)向傳感器融合發(fā)展，實驗將成為一項要求。

西門子的弗里茨認(rèn)為，在這個進(jìn)化時期，處理開發(fā)的正確方法是雇用和/或組建一些小團(tuán)隊來進(jìn)行大量試點項目?！翱赡苡惺畮讉€人或兩打人。例如，他們的目標(biāo)可能是到 2026 年或 2028 年在測試環(huán)境中生產(chǎn) 300 個原型?！?/p>

盡管如此，每個 OEM 目前的處境仍取決于 OEM、他們進(jìn)行架構(gòu)開發(fā)的時間以及他們未來希望如何做到這一點。

“不同的原始設(shè)備制造商擁有不同水平的專業(yè)知識。有些人正試圖加強(qiáng)他們的團(tuán)隊來解決這個問題，”弗里茨指出?！按蠖鄶?shù)原始設(shè)備制造商都有一點‘不是這里發(fā)明的’綜合癥，他們認(rèn)為自己可以做到這一點，因為他們有很多聰明的人。問題是，您是否要將 ECU 從 100 個增加到 200 個，并使車輛的重量增加一倍？換句話說，他們現(xiàn)在的員工中往往沒有全面思考這個問題的人。他們的想法是，“我有一把錘子，因此這一定是一顆釘子。”然后他們就慘敗了。”

與大多數(shù)新技術(shù)一樣，開發(fā)人員認(rèn)識到他們需要一個適合自己 CPU 的編譯器，因此他們嘗試構(gòu)建自己的編譯器。“然后他們發(fā)現(xiàn)他們認(rèn)為可以做到的兩個人卻做不到，并意識到他們還需要四個人，然后，再需要一兩個人，”他說。“到最后，他們對它投入了如此多的感情，很難消滅它，而且這種情況會永遠(yuǎn)持續(xù)下去，直到最后他們最終購買了他們需要的芯片并解雇了 100 名內(nèi)部開發(fā)人員。這種情況經(jīng)常發(fā)生，在汽車領(lǐng)域也不例外。傳感器融合是我們正在看到這種現(xiàn)象發(fā)生的幾個關(guān)鍵領(lǐng)域之一。就像這個領(lǐng)域的其他一切一樣，就像多年前發(fā)令槍響了一樣，人們開始跑步，然后意識到，‘我還沒有為這場馬拉松進(jìn)行訓(xùn)練?！?/p>