康謀分享 | 如何應(yīng)對(duì)ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)？

隨著軟件定義汽車的發(fā)展，車輛生成的數(shù)據(jù)量也以前所未有的速度不斷增加。這些數(shù)據(jù)包含廣泛的信息，包括傳感器數(shù)據(jù)、遙測(cè)數(shù)據(jù)、診斷數(shù)據(jù)等。在開發(fā)過程中，有效處理這些數(shù)據(jù)并從中獲得見解至關(guān)重要。

對(duì)于原始設(shè)備制造商（OEM）和汽車一級(jí)供應(yīng)商（Tier 1）來說，是否自主構(gòu)建和維護(hù)數(shù)據(jù)處理流程是一個(gè)至關(guān)重要的考慮因素。數(shù)據(jù)處理流程是應(yīng)對(duì)當(dāng)下軟件定義汽車所產(chǎn)生的海量數(shù)據(jù)的基礎(chǔ)組件。

一、問題背景

在 AWS 等云平臺(tái)上為高級(jí)駕駛輔助系統(tǒng) （ADAS） 和自動(dòng)駕駛 （AD） 數(shù)據(jù)構(gòu)建魯棒的數(shù)據(jù)處理流程，通常需要全面了解各種服務(wù)及其集成。您可能使用的特定服務(wù)可能取決于應(yīng)用程序的要求、數(shù)據(jù)源和處理需求。

為了解決這一問題，康謀通過使用IVEX提出了專門用于應(yīng)對(duì)ADAS/AD海量數(shù)據(jù)的數(shù)據(jù)處理流程。該流程的核心目的是自動(dòng)從原始傳感器數(shù)據(jù)等輸入中識(shí)別出值得關(guān)注的事件和場(chǎng)景。構(gòu)建這樣的數(shù)據(jù)處理流程需要仔細(xì)考慮各種技術(shù)方面，例如：原始傳感器數(shù)據(jù)的云端存儲(chǔ)、基于原始數(shù)據(jù)的算法執(zhí)行（包括需要例如GPU等特定資源的機(jī)器學(xué)習(xí)算法）、事件和場(chǎng)景等后處理數(shù)據(jù)的存儲(chǔ)機(jī)制、算法版本控制、結(jié)果可視化以及確保數(shù)據(jù)僅對(duì)授權(quán)用戶可見。

二、內(nèi)部構(gòu)建或獲取預(yù)組裝解決方案

IVEX的數(shù)據(jù)處理流程基于多種AWS服務(wù)實(shí)現(xiàn)無縫銜接，以下是經(jīng)過策略性部署的AWS服務(wù)：

1. 原始傳感器的數(shù)據(jù)（包括激光雷達(dá)點(diǎn)云、相機(jī)圖像和GNSS信息）存儲(chǔ)在S3存儲(chǔ)服務(wù)中。S3用作采集數(shù)據(jù)的暫存地，為后期處理的數(shù)據(jù)提供擴(kuò)展存儲(chǔ)，并為處理提供經(jīng)濟(jì)高效的短期存儲(chǔ)解決方案。此外，使用S3掛載點(diǎn)功能能讓S3作為主要的“處理卷”，使其能夠像文件系統(tǒng)一樣使用。雖然它不完全符合POSIX標(biāo)準(zhǔn)，對(duì)某些工作負(fù)載存在限制，但可以通過整合EFS和可能添加的FSx來解決這個(gè)問題，以根據(jù)需要確保兼容性。

2. 處理后的數(shù)據(jù)（重要事件和場(chǎng)景）存儲(chǔ)在關(guān)系型數(shù)據(jù)庫服務(wù)（Relational Database Service，RDS）和DocDB中。RDS是一個(gè)高效的存儲(chǔ)庫，用于組織對(duì)分析至關(guān)重要的標(biāo)記數(shù)據(jù)。同時(shí)，DocDB作為文檔存儲(chǔ)運(yùn)行，它是專為快速變化的數(shù)據(jù)和顯示目的所需的二進(jìn)制數(shù)據(jù)而設(shè)計(jì)的。

3. EKS和EC2處理算法執(zhí)行和可視化任務(wù)。EKS充當(dāng)一系列服務(wù)的主機(jī)，包括后端、數(shù)據(jù)服務(wù)、前端和處理服務(wù)。EC2主要用于根據(jù)為EKS制定的規(guī)則配置機(jī)器。

4. 算法的版本控制通過 ECR 進(jìn)行管理。ECR用于存儲(chǔ)Docker容器鏡像。

5. 身份驗(yàn)證通過Cognito進(jìn)行。如果有必要，可以靈活地替換為任何OpenID Connect （OIDC）解決方案。

6. 數(shù)據(jù)傳輸和臨時(shí)數(shù)據(jù)存儲(chǔ)通過EFS進(jìn)行管理。EFS作為臨時(shí)處理區(qū)域運(yùn)行，供各種數(shù)據(jù)處理流水線存放中間數(shù)據(jù)并促進(jìn)不同進(jìn)程之間的數(shù)據(jù)共享。因?yàn)镋FS完全符合POSIX標(biāo)準(zhǔn)，所以可以選擇它作為S3的替代文件系統(tǒng)。

這個(gè)方案示例突出了構(gòu)建魯棒的ADAS/AD數(shù)據(jù)處理流程所涉及的眾多云服務(wù)，并強(qiáng)調(diào)了應(yīng)對(duì)各種技術(shù)復(fù)雜性的必要性。此外，還必須解決諸如組織輸入數(shù)據(jù)、確保數(shù)據(jù)格式兼容性以及管理和監(jiān)控?cái)?shù)據(jù)格式變化等挑戰(zhàn)。

例如，隨著ADAS/AD系統(tǒng)的發(fā)展，添加更多傳感器以及管理不同車輛配置的需求成為數(shù)據(jù)處理流程中的關(guān)鍵考慮因素。如果不加以妥善處理，這些因素可能會(huì)導(dǎo)致不正確的數(shù)據(jù)處理，最終得到錯(cuò)誤的結(jié)果。

上圖列出的是構(gòu)建此數(shù)據(jù)處理流程的預(yù)計(jì)工作量和成本細(xì)目，該處理流程可標(biāo)記12種駕駛場(chǎng)景、提取駕駛參數(shù)，并支持可視化大型文件（≥ 10TB）。

三、總結(jié)

總之，解決上述的這些問題需要付出大量的努力。顯而易見的是，選擇預(yù)先搭建好的數(shù)據(jù)處理流程將擁有更低的開銷。此后，便可以將節(jié)省的時(shí)間和成本分配給開發(fā)OEM和Tier1產(chǎn)品的關(guān)鍵方面。