Nullmax打造一套強(qiáng)大的平臺(tái)化BEV-AI整體技術(shù)架構(gòu)

在高階智能駕駛不斷上車的今天，行泊一體已經(jīng)成為了汽車行業(yè)的量產(chǎn)共識(shí)，如何在實(shí)現(xiàn)極致性能體驗(yàn)的同時(shí)，進(jìn)一步降低硬件成本，并且大幅提升開發(fā)部署的效率，是行泊一體加速落地的關(guān)鍵。

傳統(tǒng)的行泊一體方案，行泊功能一般來(lái)自兩套系統(tǒng)，芯片、傳感器各為陣營(yíng)，不僅性能受限，也帶來(lái)了多余的硬件成本。面向當(dāng)下和未來(lái)，行泊一體顯然需要更加「現(xiàn)代化」的深度融合：傳感器深度復(fù)用，芯片資源完全共享，并通過(guò)強(qiáng)大的軟件算法實(shí)現(xiàn)功能的整合升級(jí)。而這，也對(duì)底層的技術(shù)架構(gòu)提出了更高要求。

這套架構(gòu)既要能夠支持行車、泊車的各種傳感器，基于單顆SOC為主的域控制器打造功能完整的行泊一體應(yīng)用，還要提供豐富多樣的算法選擇，滿足不同算力和算子情況下的各種行車、泊車任務(wù)要求，最好還能實(shí)現(xiàn)充分的技術(shù)共用和模塊復(fù)用，讓所有方案的開發(fā)、部署和升級(jí)變得高效便捷。

為此，Nullmax打造了這樣一套強(qiáng)大的平臺(tái)化BEV-AI整體技術(shù)架構(gòu)，為「現(xiàn)代化」的全場(chǎng)景行泊一體應(yīng)用提供至關(guān)重要的技術(shù)支撐，推動(dòng)高階智駕加速走向普及。

自動(dòng)駕駛「新基建」

在智能駕駛時(shí)代，汽車最明顯的標(biāo)志是硬件的變化，更高算力的芯片、更多數(shù)量的傳感器，通常意味著更大的智能化潛力。這些硬件如同自動(dòng)駕駛功能的基礎(chǔ)設(shè)施，而用來(lái)驅(qū)動(dòng)這些硬件高效協(xié)同并提供豐富功能的BEV-AI技術(shù)架構(gòu)，就是自動(dòng)駕駛的「新基建」工程。

對(duì)于自動(dòng)駕駛來(lái)說(shuō)，感知是整個(gè)系統(tǒng)的最上游，當(dāng)傳感器的類型和數(shù)量顯著增加時(shí)，如何融合所有傳感器持續(xù)輸入的多模態(tài)、不同視角數(shù)據(jù)，并實(shí)時(shí)輸出下游所需的一系列任務(wù)結(jié)果，是自動(dòng)駕駛的核心問(wèn)題。并且在應(yīng)用中，感知環(huán)節(jié)常常會(huì)消耗掉車上的大部份算力，所以感知其實(shí)也是技術(shù)架構(gòu)的核心所在。

在感知環(huán)節(jié)，系統(tǒng)需要融合不同視角相機(jī)的視覺(jué)數(shù)據(jù)，以及毫米波雷達(dá)、激光雷達(dá)等傳感器的數(shù)據(jù)，在模型設(shè)計(jì)和工程實(shí)現(xiàn)上都具有很大挑戰(zhàn)。常規(guī)的后融合處理方式，每個(gè)傳感器對(duì)應(yīng)一個(gè)神經(jīng)網(wǎng)絡(luò)，無(wú)法充分挖掘多傳感器融合的優(yōu)勢(shì)，而且計(jì)算量大、耗時(shí)長(zhǎng)。此外，如果多個(gè)任務(wù)簡(jiǎn)單地共享一個(gè)主干網(wǎng)絡(luò)，則容易出現(xiàn)各個(gè)任務(wù)難以同時(shí)獲得優(yōu)異性能的情況。

所以在2020年，Nullmax構(gòu)建了基于BEV的感知基礎(chǔ)架構(gòu)，為自動(dòng)駕駛提供融合更準(zhǔn)、速度更快的感知模型。它可以有效融合空間和時(shí)序信息，對(duì)360度的多傳感器數(shù)據(jù)進(jìn)行高效融合，也能自動(dòng)搜尋最優(yōu)的網(wǎng)絡(luò)設(shè)計(jì)，支持多傳感器、多任務(wù)的協(xié)同工作。

并且在2022年，Nullmax應(yīng)用BEV-Transformer完成了這套架構(gòu)的改造升級(jí)，形成了平臺(tái)化的BEV-AI自動(dòng)駕駛整體技術(shù)架構(gòu)。它在技術(shù)底層考慮行車、泊車的特點(diǎn)，將任務(wù)范圍從感知延伸到下游的規(guī)劃，提供全場(chǎng)景、端到端、可成長(zhǎng)的完整應(yīng)用。

在深入使用Transformer基礎(chǔ)上，Nullmax BEV-AI技術(shù)架構(gòu)還整合了大量BEV-CNN的成果，能在面向不同算力、算子的多核異構(gòu)SOC時(shí)能夠提供最優(yōu)的算法選擇。它可同時(shí)輸出3D和2D的感知結(jié)果，既能為紅綠燈檢測(cè)等適合2D感知的任務(wù)提供2D輸出，也可以為動(dòng)態(tài)障礙物檢測(cè)等任務(wù)輸出3D結(jié)果，然后用進(jìn)行2D校驗(yàn)，在系統(tǒng)層面形成魯棒的設(shè)計(jì)。

基于這套先進(jìn)的BEV-AI整體技術(shù)架構(gòu)，Nullmax可以快速完成各項(xiàng)功能和任務(wù)的開發(fā)，并形成一套性能拔尖、易于部署、持續(xù)升級(jí)的一體化量產(chǎn)方案。

面面俱到的完整BEV架構(gòu)

為了滿足自動(dòng)駕駛?cè)湹拈_發(fā)迭代需求，Nullmax的BEV-AI架構(gòu)涵蓋了六個(gè)方面的主要內(nèi)容：BEV 3D車道線檢測(cè)，BEV 3D目標(biāo)檢測(cè)，BEV局部地圖，BEV規(guī)劃，云端自動(dòng)化4D真值標(biāo)注，車端感知、預(yù)測(cè)、規(guī)劃的量產(chǎn)部署。 復(fù)雜路口的BEV 3D目標(biāo)檢測(cè) BEV 3D目標(biāo)檢測(cè)為自動(dòng)駕駛提供360°的動(dòng)態(tài)障礙物檢測(cè)能力，并融合時(shí)序信息對(duì)各類目標(biāo)進(jìn)行準(zhǔn)確預(yù)測(cè)。BEV 3D車道線檢測(cè)為車輛輸出實(shí)時(shí)的車道情況，BEV局部地圖在車端實(shí)時(shí)構(gòu)建媲美高精地圖的高精度局部地圖，二者能夠在任意常規(guī)道路條件下，輸出自動(dòng)駕駛所需的靜態(tài)場(chǎng)景深刻理解。然后以此為基礎(chǔ)，BEV規(guī)劃可以用端到端方式輸出行車的軌跡和速度，實(shí)現(xiàn)復(fù)雜場(chǎng)景下的自動(dòng)駕駛應(yīng)用，而不依賴高精地圖。 路口場(chǎng)景的BEV規(guī)劃

云端的自動(dòng)化4D真值標(biāo)注，用來(lái)完成3D空間信息+時(shí)間信息的3D bunding-box真值標(biāo)注，以及車道線、Local Map等方面的標(biāo)注，支持BEV-AI的高效開發(fā)和迭代。最終，Nullmax BEV-AI整體架構(gòu)根據(jù)實(shí)際需求，形成能在車端實(shí)時(shí)運(yùn)行、易于部署的感知、預(yù)測(cè)、規(guī)劃一系列量產(chǎn)應(yīng)用。

為了讓這套BEV-AI技術(shù)架構(gòu)具備平臺(tái)化特點(diǎn)，滿足實(shí)際應(yīng)用中的不同量產(chǎn)需求，Nullmax還攻克了三個(gè)方面的難點(diǎn)。一是融合多個(gè)攝像頭數(shù)據(jù)的同時(shí)，不進(jìn)行單個(gè)攝像頭的獨(dú)自處理和多個(gè)攝像頭結(jié)果的復(fù)雜后處理，以節(jié)省算力、提升融合效果；二是在算法層面實(shí)現(xiàn)圖像空間到BEV空間的信息轉(zhuǎn)換；三是支持任意攝像頭，且不過(guò)度依賴相機(jī)的外參，從而適配所有傳感配置。

簡(jiǎn)單來(lái)說(shuō)，Nullmax的BEV-AI，采取多相機(jī)聯(lián)合工作方式，輸入任意數(shù)量相機(jī)的圖像，直接統(tǒng)一輸出BEV視角下的三維信息，因而無(wú)需為每個(gè)相機(jī)進(jìn)行單獨(dú)的處理。同時(shí)，Nullmax利用cross-attention機(jī)制實(shí)現(xiàn)2D圖像到3D空間的關(guān)聯(lián)，為BEV-AI架構(gòu)打造了一系列基于Transformer的BEV檢測(cè)、分割方法，并通過(guò)multi-camera cross attention等方式，實(shí)現(xiàn)了不過(guò)度依賴相機(jī)參數(shù)的2D和3D關(guān)聯(lián)。

歸功于這些深入的工作，Nullmax的BEV-AI技術(shù)架構(gòu)為行泊一體等量產(chǎn)應(yīng)用帶來(lái)了巨大的平臺(tái)化優(yōu)勢(shì)和產(chǎn)品優(yōu)勢(shì)。

大幅提升的BEV量產(chǎn)優(yōu)勢(shì)

在實(shí)際應(yīng)用中，芯片平臺(tái)、傳感器配置、功能定義、技術(shù)指標(biāo)的細(xì)微差異，都可能會(huì)為自動(dòng)駕駛的開發(fā)工作帶來(lái)巨大變動(dòng)，尤其是復(fù)雜的行泊一體量產(chǎn)應(yīng)用。因此通過(guò)平臺(tái)化的技術(shù)架構(gòu)提升量產(chǎn)效率，意義重大。

Nullmax BEV-AI架構(gòu)能夠支持所有的芯片平臺(tái)，提供高中低不同算力平臺(tái)下的行泊一體量產(chǎn)應(yīng)用。尤其是在備受歡迎的德州儀器TDA4、英偉達(dá)Orin芯片上，基于BEV-AI技術(shù)架構(gòu)的行泊一體方案，有的已經(jīng)完成交付，有的正在交付。

在最低8T算力的情況下，BEV-AI就可以實(shí)現(xiàn)包括高速NOA在內(nèi)的基礎(chǔ)行泊一體，如果算力達(dá)到16T，那么行泊車體驗(yàn)還會(huì)進(jìn)一步升級(jí)。當(dāng)算力達(dá)到100T以上，那么BEV-AI架構(gòu)可以提供城市道路的領(lǐng)航輔助功能，實(shí)現(xiàn)全場(chǎng)景的行泊一體。

同時(shí)，Nullmax BEV-AI架構(gòu)還能夠支持所有的自動(dòng)駕駛產(chǎn)品。無(wú)論是完整的行泊一體，還是單獨(dú)的行車、泊車功能，又或者是上游的行泊車感知，BEV-AI架構(gòu)能夠按需裁剪，適配任務(wù)需求，并且可以支持任意的傳感器配置。

夜間基于8T算力和4顆側(cè)視相機(jī)的BEV周視感知

通常來(lái)說(shuō)，不同的車輛在傳感器的類型、數(shù)量和參數(shù)上會(huì)存在普遍差異，比如相機(jī)的焦距、像素、FOV、安裝位置、朝向等情況就各不相同。Nullmax的BEV-AI架構(gòu)可以適配這些傳感器層面的差異，無(wú)需大幅修改算法，即可提供應(yīng)用。

除此之外，Nullmax BEV-AI架構(gòu)還具有平臺(tái)產(chǎn)品化的特點(diǎn)，讓架構(gòu)平臺(tái)的技術(shù)優(yōu)勢(shì)形成了面向部署優(yōu)化、超遠(yuǎn)距離感知的產(chǎn)品優(yōu)點(diǎn)。這讓基于BEV-AI架構(gòu)的量產(chǎn)方案，在部署時(shí)能能取得更好的應(yīng)用體驗(yàn)，并在資源占用、感知幀率、系統(tǒng)延時(shí)等關(guān)鍵指標(biāo)上表現(xiàn)更佳，尤其是面對(duì)中低算力芯片平臺(tái)的時(shí)候。

而且更遠(yuǎn)距離的感知，也能為自動(dòng)駕駛提供更高的安全性。相比于業(yè)內(nèi)BEV方案通常數(shù)十米遠(yuǎn)的感知距離，Nullmax BEV-AI架構(gòu)可以輕松實(shí)現(xiàn)更遠(yuǎn)距離的有效感知，滿足量產(chǎn)功能的所有性能指標(biāo)。

正是憑借BEV-AI架構(gòu)在平臺(tái)化和產(chǎn)品化方面帶來(lái)的這些優(yōu)勢(shì)，Nullmax不僅快速完成了各種量產(chǎn)應(yīng)用的高質(zhì)量開發(fā)和交付，并且方案整體達(dá)到了行業(yè)領(lǐng)先的技術(shù)水準(zhǔn)。

結(jié)語(yǔ)

在汽車向著高階智駕發(fā)展的過(guò)程中，先進(jìn)的技術(shù)架構(gòu)將為自動(dòng)駕駛的落地帶來(lái)全方位的優(yōu)勢(shì)，不論是量產(chǎn)方案的本身還是技術(shù)應(yīng)用的過(guò)程，都不例外。Nullmax BEV-AI架構(gòu)將繼續(xù)作為行泊一體「現(xiàn)代化」路上的「新基建」，加速全場(chǎng)景自動(dòng)駕駛應(yīng)用的落地。