希捷攜手AutoX為自動(dòng)駕駛汽車打造私有云數(shù)據(jù)中心,構(gòu)建端邊云一體化的數(shù)據(jù)架構(gòu)
自動(dòng)駕駛——昔日科學(xué)家們的野心,如今夢(mèng)想正在照進(jìn)現(xiàn)實(shí)。不過(guò),海量數(shù)據(jù)的存儲(chǔ)和管理能力,成為自動(dòng)駕駛從技術(shù)到落地的關(guān)鍵挑戰(zhàn)。
自動(dòng)駕駛網(wǎng)約車、無(wú)人配送車、無(wú)人清潔車、無(wú)人物流車等產(chǎn)品正努力探索從概念走向落地,以期為我們的生活和工作帶來(lái)更多便利。對(duì)于自動(dòng)駕駛車輛而言,數(shù)據(jù)的重要性堪比汽油和電,被喻為自動(dòng)駕駛汽車的新“燃料”。從傳感器、激光雷達(dá)采集到的數(shù)據(jù)以及車輛機(jī)械、環(huán)境等各類數(shù)據(jù)的有效訓(xùn)練、分析和處理,意味著自動(dòng)駕駛技術(shù)平臺(tái)提供商的核心競(jìng)爭(zhēng)力,也決定著自動(dòng)駕駛的技術(shù)革新與產(chǎn)品迭代。
而在自動(dòng)駕駛汽車數(shù)據(jù)的有效存儲(chǔ)和管理方面,自動(dòng)駕駛行業(yè)的領(lǐng)先企業(yè)AutoX已經(jīng)搶先一步,通過(guò)搭建“超級(jí)數(shù)據(jù)工廠”并攜手希捷打造涵蓋“端-邊-云”的數(shù)據(jù)管理架構(gòu),不斷提升數(shù)據(jù)駕馭能力,進(jìn)而推進(jìn)自動(dòng)駕駛的平民化。
海量與動(dòng)態(tài)即時(shí):魚(yú)和熊掌并非不能兼得
自動(dòng)駕駛汽車產(chǎn)生的數(shù)據(jù)量會(huì)隨著其級(jí)別升高,自動(dòng)駕駛級(jí)別越高,所需的傳感器數(shù)量則越多、精度也越高,而數(shù)據(jù)量就會(huì)相應(yīng)上漲。據(jù)統(tǒng)計(jì),行駛狀態(tài)下的RoboTaxi(自動(dòng)駕駛出租車)平均每小時(shí)就產(chǎn)生1TB的數(shù)據(jù)量,AutoX目前運(yùn)營(yíng)超過(guò)一百臺(tái)自動(dòng)駕駛車隊(duì),一天之內(nèi)就可以產(chǎn)生達(dá)到PB級(jí)的海量數(shù)據(jù)。
與此同時(shí),為了提升數(shù)據(jù)處理的效率,越來(lái)越多的道路測(cè)試數(shù)據(jù)需要在采集后就立即得到分析與處理。目前,許多自動(dòng)駕駛汽車企業(yè)在成立之初傾向于采用公有云進(jìn)行數(shù)據(jù)的存儲(chǔ)、處理、訓(xùn)練。隨著車隊(duì)規(guī)模的擴(kuò)大,自動(dòng)駕駛汽車數(shù)據(jù)量的指數(shù)級(jí)增加,從自動(dòng)駕駛汽車到公有云這樣的數(shù)據(jù)處理架構(gòu)掣肘數(shù)據(jù)的流動(dòng)效率,也為數(shù)據(jù)存儲(chǔ)的成本和性能都帶來(lái)更大的壓力。
網(wǎng)絡(luò)帶寬是限制公有云端數(shù)據(jù)流動(dòng)效率的一個(gè)重要因素。隨著自動(dòng)駕駛汽車采集的數(shù)據(jù)量越來(lái)越龐大,在公有云進(jìn)行上傳、下載和數(shù)據(jù)訪問(wèn)時(shí),尤其是處理大型數(shù)據(jù)集時(shí),帶寬壓力會(huì)越來(lái)越凸顯,帶寬不足往往造成數(shù)據(jù)處理的延時(shí)和遲滯等問(wèn)題。此外,數(shù)據(jù)量的不斷膨脹使得公有云成本的增長(zhǎng)速度驚人,長(zhǎng)久的成本考量也成為自動(dòng)駕駛企業(yè)需要亟待解決的問(wèn)題。
面對(duì)這樣的挑戰(zhàn),AutoXVP潘堅(jiān)偉博士表示,“完善流暢的數(shù)據(jù)架構(gòu)對(duì)AutoX處理海量數(shù)據(jù)來(lái)說(shuō)至關(guān)重要。我們不僅要考慮成本、性能、容量等因素,更需要關(guān)鍵數(shù)據(jù)以最快的速度得到訓(xùn)練、處理與妥善存儲(chǔ)。為此我們與希捷團(tuán)隊(duì)一起,規(guī)劃并搭建了更適合業(yè)務(wù)需求的數(shù)據(jù)處理架構(gòu),加速L4級(jí)別自動(dòng)駕駛的布局和落地。”
端-邊-云之間,數(shù)據(jù)如何行云流水
針對(duì)AutoX的海量數(shù)據(jù)存儲(chǔ)以及端-邊-云的數(shù)據(jù)流動(dòng)需求,希捷為AutoX規(guī)劃并打造了邊緣的私有云數(shù)據(jù)中心,將數(shù)據(jù)架構(gòu)從終端(自動(dòng)駕駛車隊(duì))到核心(公有云),升級(jí)為更為完善的端-邊-云三層架構(gòu)(自動(dòng)駕駛車隊(duì)—邊緣數(shù)據(jù)中心—公有云)。
經(jīng)過(guò)升級(jí),之前大量的、在公有云完成的工作在邊緣就得到了高效處理。在實(shí)際工作的過(guò)程中,自動(dòng)駕駛汽車完成實(shí)地運(yùn)營(yíng)與模擬測(cè)試之后,可快速將采集到的數(shù)據(jù)直接上傳到私有云數(shù)據(jù)中心。一系列的數(shù)據(jù)處理工作在私有云數(shù)據(jù)中心得以完成,包括數(shù)據(jù)清洗、數(shù)據(jù)挖掘、數(shù)據(jù)標(biāo)注、算法訓(xùn)練及推理等。這不但解決了AutoX對(duì)于快速數(shù)據(jù)處理的需求,同時(shí)降低了總體擁有成本(TCO)。在邊緣處理過(guò)后的數(shù)據(jù)最終會(huì)被妥善存放到公有云進(jìn)行歸檔與備份。
“軟硬兼施”:自動(dòng)駕駛數(shù)據(jù)獲得全面呵護(hù)
在構(gòu)建邊緣的私有云數(shù)據(jù)中心方面,希捷從AutoX的需求出發(fā),為AutoX量身定制了構(gòu)建方案,這其中包括希捷SeagateExos 5U84系統(tǒng)、服務(wù)器,以及Ceph分布式存儲(chǔ)系統(tǒng)。
SeagateExos5U84系統(tǒng)憑借成本、性能、容量和安全等方面的優(yōu)勢(shì),滿足AutoX在各方面的需求。該系統(tǒng)具有強(qiáng)大的集成能力,讓計(jì)算更接近其存儲(chǔ),并有效地提升了私有云數(shù)據(jù)中心的使用效率。此外,由于存儲(chǔ)系統(tǒng)在密度和性能方面均領(lǐng)先業(yè)界,可降低AutoX總體擁有成本,存儲(chǔ)高達(dá)1.344PB的數(shù)據(jù)。同時(shí)可擴(kuò)展的架構(gòu),幫助AutoX應(yīng)對(duì)未來(lái)無(wú)限增長(zhǎng)的自動(dòng)駕駛數(shù)據(jù)。
此外,在整個(gè)方案中,服務(wù)器承載私有云數(shù)據(jù)中心的計(jì)算任務(wù),而Ceph分布式存儲(chǔ)系統(tǒng)則有效幫助AutoX管理存儲(chǔ)資源,將數(shù)據(jù)分布均衡,并實(shí)現(xiàn)了水平擴(kuò)展。
與此同時(shí),這套方案可復(fù)制性強(qiáng),AutoX可快速將此方案復(fù)制到涵蓋上海、深圳、武漢等多個(gè)城市地區(qū)的更多場(chǎng)景中。
希捷科技副總裁暨中國(guó)區(qū)總裁孫丹女士稱,“AutoX在自動(dòng)駕駛領(lǐng)域表現(xiàn)卓越,近期在加州獲得全無(wú)人駕駛牌照,在自動(dòng)駕駛領(lǐng)域擁有豐富的實(shí)踐經(jīng)驗(yàn)。面對(duì)AutoX在數(shù)據(jù)架構(gòu)與數(shù)據(jù)存儲(chǔ)方面的需求與挑戰(zhàn),希捷與AutoX通力協(xié)作,以更強(qiáng)大的數(shù)據(jù)存儲(chǔ)與處理能力,推進(jìn)自動(dòng)駕駛行穩(wěn)致遠(yuǎn)?!?/p>
評(píng)論
查看更多