傳感器融合，困難重重

來源：半導(dǎo)體行業(yè)觀察

傳感器融合，就像一場(chǎng)馬拉松，發(fā)令槍一響，人們開始跑步追逐，然后才意識(shí)到，似乎還沒有為這場(chǎng)馬拉松進(jìn)行訓(xùn)練。

編輯：感知芯視界

全自動(dòng)駕駛汽車的關(guān)鍵，是要將多個(gè)傳感器的輸入融合在一起并做出安全可靠的決策，但事實(shí)證明，這比最初想象的要困難得多。

目前的問題包括：如何對(duì)不同類型的數(shù)據(jù)進(jìn)行分區(qū)、優(yōu)先級(jí)排序和最終組合，如何構(gòu)建車輛內(nèi)的處理架構(gòu)、以便車輛能夠根據(jù)這些不同的數(shù)據(jù)類型做出決策。

對(duì)此，Siemens Digital Industries Software混合物理和虛擬系統(tǒng)、汽車和軍用航空副總裁 David Fritz 提出了三種解決方案：

一種方法是在處理之前，就融合來自多個(gè)傳感源的原始數(shù)據(jù)。雖然這種方法可以降低功耗，但一個(gè)傳感器陣列的不良數(shù)據(jù)可能會(huì)污染其他傳感器的良好數(shù)據(jù)，從而導(dǎo)致不良結(jié)果。此外，大量原始數(shù)據(jù)的傳輸還帶來了帶寬、延遲和系統(tǒng)成本等其他挑戰(zhàn)。

第二種方法是對(duì)象融合，其中每個(gè)傳感器處理數(shù)據(jù)并將其特定于傳感器的處理結(jié)果表示為對(duì)其檢測(cè)到的內(nèi)容的解釋。這具有無縫集成機(jī)載傳感器結(jié)果的優(yōu)點(diǎn)。這種方法的挑戰(zhàn)是各傳感器的通用表示和標(biāo)記，如何在不同的車輛和基礎(chǔ)設(shè)施之間共享。

第三種選擇是前兩種方法的混合。在這種方法中，物體可以被傳感器檢測(cè)到，但不會(huì)被分類。在這種情況下，物體的點(diǎn)云被傳輸?shù)綑C(jī)載中央計(jì)算系統(tǒng)，該系統(tǒng)對(duì)來自內(nèi)部和外部不同傳感器的點(diǎn)云進(jìn)行分類（標(biāo)記）?？梢越档蛶捄脱舆t要求，降低了傳感器的成本和負(fù)載，并允許車輛解釋或分類。

當(dāng)然，整個(gè)汽車生態(tài)系統(tǒng)中的討論才剛剛開始，還有很多挑戰(zhàn)需要克服。

Arteris IP業(yè)務(wù)開發(fā)副總裁 Frank Schirrmeister 表示，“你需要弄清楚你擁有哪些對(duì)象，以及何時(shí)使用它們，” “所有的格式都非常不同。如果您正在研究激光雷達(dá)，就會(huì)發(fā)現(xiàn)一些有趣的帶有距離的地圖。即使在關(guān)聯(lián)和融合所有這些內(nèi)容之前，也需要以某種方式理解這些格式。從架構(gòu)的角度來看，這可能導(dǎo)致最需要在傳感器處或靠近傳感器處進(jìn)行處理。然后，在不同位之間完成對(duì)象關(guān)聯(lián)。但你需要弄清楚細(xì)節(jié)，比如物體有多熱、物體有多遠(yuǎn)等。這些不同傳感器的維恩圖具有一組重疊的特征，其中一些比其他傳感器更好?！?/p>

傳感器融合是一個(gè)快速創(chuàng)新的領(lǐng)域，得益于算法的不斷改進(jìn)和芯片行業(yè)對(duì) SoC 架構(gòu)的深入了解。傳感器融合的一個(gè)共同點(diǎn)是需要異構(gòu)處理方法，因?yàn)樗枰Y(jié)合信號(hào)處理——通常使用 DSP、專用加速器上的人工智能處理以及使用 CPU 的控制代碼。

傳感器融合在汽車領(lǐng)域受到廣泛關(guān)注，對(duì)于其他市場(chǎng)也很有用。因?yàn)閿z像頭、雷達(dá)中將會(huì)有圖像傳感器，或許還有激光雷達(dá)。機(jī)器人應(yīng)用中還可能有圖像傳感器和 IMU?？赡苡卸鄠€(gè)圖像傳感器。其他傳感器包括陀螺儀、磁力計(jì)、加速度計(jì)，這些傳感器在許多不同的領(lǐng)域以多種不同的方式使用。雖然汽車方面?zhèn)涫荜P(guān)注，但家用掃地機(jī)器人也使用相同的圖像傳感器和雷達(dá)傳感器。它可能具有與無人機(jī)非常相似的架構(gòu)。任何類型的無人駕駛車輛都具有此類傳感器。

傳感器融合同樣需要有大量數(shù)據(jù)流入。弄清楚在哪里處理所有數(shù)據(jù)是一個(gè)挑戰(zhàn)，部分原因是并非所有數(shù)據(jù)都采用相同的格式。

這里存在經(jīng)典的邊緣計(jì)算情況，如何平衡整個(gè)鏈條的處理：從模擬世界獲取數(shù)據(jù)的地方，到在大腦中做出決定或與駕駛員交互的地方混合使用模型，但是熱雷達(dá)、激光雷達(dá)和雷達(dá)都使用不同的類型來表示數(shù)據(jù)，將這些全部關(guān)聯(lián)起來當(dāng)然不是一件小事，并且可能需要大量計(jì)算。更重要的是，還需要確定不同的項(xiàng)目是否一致，如何取值。

當(dāng)談到數(shù)據(jù)的實(shí)際融合時(shí)，西門子弗里茨觀察了多種方法。“在早期的一些嘗試中，NVIDIA 迅速起步，他們說，‘我們可以做很多人工智能的事情。當(dāng)傳感器數(shù)據(jù)傳入時(shí)，我們可以使用高端 GPU，嘗試降低其功耗，然后使用神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行處理。” 這就是幾年前我們?cè)诤髠湎渲邪惭b一個(gè)必須進(jìn)行水冷卻的機(jī)架的原因。然后，激光雷達(dá)人員會(huì)說，‘我知道你不能為每臺(tái)激光雷達(dá)支付 20,000 美元，所以我們正在努力讓激光雷達(dá)更便宜。

“我有原始激光雷達(dá)數(shù)據(jù)。我有原始相機(jī)數(shù)據(jù)。我有雷達(dá)、激光雷達(dá)、攝像頭。我如何將所有這些放在一起？人們做了一些瘋狂的事情，比如將激光雷達(dá)數(shù)據(jù)轉(zhuǎn)換為 RGB?！拔覀冇卸鄠€(gè)幀，因?yàn)橛芯嚯x信息。然后我們將通過最簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行它來嘗試檢測(cè)對(duì)象并對(duì)它們進(jìn)行分類。這就是事情的嚴(yán)重程度。但有些人仍在嘗試這樣做?！?/p>

相比之下，特斯拉仍然主要依賴攝像頭數(shù)據(jù)。弗里茨說，這是可能的，因?yàn)榱Ⅲw相機(jī)的功能，甚至是單聲道相機(jī)中固定時(shí)間段內(nèi)的連續(xù)幀，使用視差來確定深度。“正因?yàn)槿绱?，他們說，‘為什么我需要激光雷達(dá)？因?yàn)槲覜]有激光雷達(dá)，所以我沒有傳感器融合問題。它只是簡(jiǎn)化了事情。但是假設(shè)相機(jī)上的鏡頭被水或污垢覆蓋。他們有這些問題需要擔(dān)心。在極端的另一端，如果你完全依賴激光雷達(dá)，我見過這樣的場(chǎng)景：你有一個(gè)人穿過街道的 2D 表示，而汽車認(rèn)為這是一個(gè)真人。為什么？因?yàn)榉瓷洹＜す饫走_(dá)發(fā)生了各種各樣人們不知道的事情。

融合不同的數(shù)據(jù)類型還取決于存在的傳感器類型?！叭藗冋谡?wù)撛缙?、中期和晚期融合”?a href="http://wenjunhu.com/tags/Cadence/" target="_blank">Cadence 的 Desai 說?！斑@一切都取決于我們的客戶和我們客戶的客戶的系統(tǒng)設(shè)計(jì)，這表明他們正在嘗試解決什么類型的問題。我們對(duì)其中一些事情是不可知的，因?yàn)榱Ⅲw傳感器可以進(jìn)行早期融合或后期融合，因?yàn)槟愕膱D像和數(shù)據(jù)都已經(jīng)識(shí)別了物體，并且你可以對(duì)其進(jìn)行后期融合。還可能存在中間融合，這更像是系統(tǒng)供應(yīng)商選擇他們想要如何進(jìn)行融合，他們想要做多少計(jì)算，信息有多強(qiáng)大，或者他們?cè)噲D解決什么類型的問題解決。這有多難？嗯，這取決于融合的類型。”

Desai 說，另一個(gè)需要考慮的因素是何時(shí)使用它們，或者經(jīng)典 DSP 是否更合適，尤其是在人們對(duì) AI/ML 技術(shù)高度關(guān)注的情況下?！拔覍⑽覀冞^去所做的一些事情與我們今天所做的事情進(jìn)行了比較。在某些問題上，你可以通過某種確定性的方式利用人工智能實(shí)現(xiàn)非常高的成功率。

此外，很多時(shí)候，使用人工智能引擎時(shí)，進(jìn)入人工智能引擎的數(shù)據(jù)必須經(jīng)過預(yù)處理，這意味著它必須采用特定的格式。即使使用AI，我仍然需要做數(shù)據(jù)的預(yù)處理和后處理。

隨著汽車原始設(shè)備制造商和系統(tǒng)公司將其計(jì)算架構(gòu)向傳感器融合發(fā)展，實(shí)驗(yàn)將成為一項(xiàng)要求。

西門子的弗里茨認(rèn)為，在這個(gè)進(jìn)化時(shí)期，處理開發(fā)的正確方法是雇用和/或組建一些小團(tuán)隊(duì)來進(jìn)行大量試點(diǎn)項(xiàng)目?！?/p>

盡管如此，每個(gè) OEM 目前的處境仍取決于 OEM、他們進(jìn)行架構(gòu)開發(fā)的時(shí)間以及他們未來希望如何做到這一點(diǎn)。

“不同的原始設(shè)備制造商擁有不同水平的專業(yè)知識(shí)。有些人正試圖加強(qiáng)他們的團(tuán)隊(duì)來解決這個(gè)問題，”弗里茨指出?！按蠖鄶?shù)原始設(shè)備制造商都有一點(diǎn)‘不是這里發(fā)明的’綜合癥，他們認(rèn)為自己可以做到這一點(diǎn)，因?yàn)樗麄冇泻芏嗦斆鞯娜?。問題是，您是否要將 ECU 從 100 個(gè)增加到 200 個(gè)，并使車輛的重量增加一倍？換句話說，他們現(xiàn)在的員工中往往沒有全面思考這個(gè)問題的人。他們的想法是，“我有一把錘子，因此這一定是一顆釘子?！?然后他們就慘敗了?！?/p>

與大多數(shù)新技術(shù)一樣，開發(fā)人員認(rèn)識(shí)到他們需要一個(gè)適合自己 CPU 的編譯器，因此他們嘗試構(gòu)建自己的編譯器?！叭缓笏麄儼l(fā)現(xiàn)他們認(rèn)為可以做到的兩個(gè)人卻做不到，并意識(shí)到他們還需要四個(gè)人，然后，再需要一兩個(gè)人，”他說?！暗阶詈?，他們對(duì)它投入了如此多的感情，很難消滅它，而且這種情況會(huì)永遠(yuǎn)持續(xù)下去，直到最后他們最終購(gòu)買了他們需要的芯片并解雇了 100 名內(nèi)部開發(fā)人員。這種情況經(jīng)常發(fā)生，在汽車領(lǐng)域也不例外。

*免責(zé)聲明：本文版權(quán)歸原作者所有，本文所用圖片、文字如涉及作品版權(quán)，請(qǐng)第一時(shí)間聯(lián)系我們刪除。本平臺(tái)旨在提供行業(yè)資訊，僅代表作者觀點(diǎn)，不代表感知芯視界立場(chǎng)。

今日內(nèi)容就到這里啦，如果有任何問題，或者想要獲取更多行業(yè)干貨研報(bào)，可以私信我或者留言

審核編輯 黃宇