NVIDIA 支撐自動(dòng)駕駛車端云端同步邁入高算力大模型時(shí)代

我國汽車產(chǎn)業(yè)發(fā)展迅速，汽車智能化大勢所趨，自動(dòng)駕駛所需的算力需求高速增長。為了加速自動(dòng)駕駛生態(tài)發(fā)展，阿里云自動(dòng)駕駛加速器與行業(yè)領(lǐng)先的主機(jī)廠、投資機(jī)構(gòu)攜手，結(jié)合自身技術(shù)、產(chǎn)品、業(yè)務(wù)資源，為自動(dòng)駕駛創(chuàng)新企業(yè)提供多項(xiàng)支持。

3 月 10-11 日，NVIDIA 開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬應(yīng)邀出席阿里云自動(dòng)駕駛加速器第一次線下集結(jié)活動(dòng)并發(fā)表主題演講《NVIDIA支撐自動(dòng)駕駛車端云端同步邁入高算力大模型時(shí)代》，演講分享了自動(dòng)駕駛領(lǐng)域 AI 的研發(fā)趨勢和解決方案。

NVIDIA 開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬

圖片來源：阿里云自動(dòng)駕駛加速器

以下為演講內(nèi)容：

自動(dòng)駕駛需要通過大量的傳感器獲取環(huán)境信息，然后對(duì)這些數(shù)據(jù)進(jìn)行處理和分析，而加速計(jì)算可以提供更快的數(shù)據(jù)處理速度和更高的精度。加速計(jì)算不僅對(duì)自動(dòng)駕駛行業(yè)十分關(guān)鍵，也在數(shù)據(jù)處理、互聯(lián)網(wǎng)和醫(yī)療等領(lǐng)域扮演著重要的角色，促進(jìn)了這些行業(yè)的發(fā)展。

車端算力對(duì)于加速汽車智能化非常重要。作為自動(dòng)駕駛鏈條的基礎(chǔ)，車上的大算力芯片和解決方案是必不可少的。NVIDIA DRIVE 平臺(tái)是全球最常用的自動(dòng)駕駛平臺(tái)之一，提供各種芯片和解決方案，包括車端、數(shù)據(jù)中心和仿真解決方案。

安全是開發(fā)自動(dòng)駕駛的第一要?jiǎng)?wù)，更大的算力可以提高安全性。NVIDIA 在 2022 年秋季 GTC 宣布的 NVIDIA DRIVE Thor SoC 車規(guī)級(jí)系統(tǒng)芯片，可實(shí)現(xiàn)最高 2000 TOPS AI 算力以及 2000 TFLOPS 浮點(diǎn)算力，可以在單個(gè)計(jì)算平臺(tái)整合全車的智駕和座艙功能，為未來的算法和應(yīng)用發(fā)展預(yù)留足夠空間。

應(yīng)用和算力需要相互匹配，并且算力的發(fā)展需要一定的超前性以留給算法和應(yīng)用發(fā)展足夠的空間。近年來，BEV 和 Transformer 在深度學(xué)習(xí)領(lǐng)域取得了出色的效果，并帶來了很大的效率提升。但同時(shí)也對(duì)計(jì)算量提出了更高的要求，因此出現(xiàn)了一些革命性的技術(shù)。

例如 Transformer Engine 和專門做 Transformer block 計(jì)算的技術(shù)等。除了 BEV 和 Transformer，NVIDIA 也針對(duì)各種其它模型，與云服務(wù)合作伙伴在云端進(jìn)行訓(xùn)練和預(yù)測加速。對(duì)于現(xiàn)代加速的集群，其運(yùn)行應(yīng)用類別非常多，包括仿真、AI、scientific AI、數(shù)字孿生、量子計(jì)算等等，而這些應(yīng)用都是典型的加速計(jì)算集群的應(yīng)用。

當(dāng)前，硬件性能提升放緩，每年只有 1.1 倍左右，五年期望的 10 倍提升實(shí)際只有 2 倍，十年期望的100倍提升只有 4 倍。此時(shí)，如果使用加速計(jì)算，每年保持 1.6 倍的提速，將為工作負(fù)載提供充足算力，成為應(yīng)對(duì)性能瓶頸的重要解決方案。同時(shí)，也需要注意到成本問題，包括單個(gè)晶體管價(jià)格逐年增加、能源消耗、機(jī)房建設(shè)、供電等問題，因此需要更多的加速計(jì)算來降低成本和提高效率。

在自動(dòng)駕駛領(lǐng)域，NVIDIA 能夠提供豐富的工具和解決方案，幫助用戶完成AI模型端到端的流程。對(duì)于數(shù)據(jù)預(yù)處理，NVIDIA 可以提供結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理工具，還可以進(jìn)行圖像處理，確保訓(xùn)練和預(yù)測的一致性。在訓(xùn)練方面，NVIDIA 可以提供不同的框架，同時(shí)也會(huì)關(guān)注模型的推理。在云端部署時(shí)，NVIDIA 提供大規(guī)模部署的工具。

NVIDIA 相信未來 10 年內(nèi)，所有計(jì)算任務(wù)都將被加速，而 NVIDIA 已經(jīng)為此做好了準(zhǔn)備。加速計(jì)算的特點(diǎn)和意義在于，可以提高工作效率、降低成本、提升用戶體驗(yàn)，同時(shí)也推動(dòng)產(chǎn)業(yè)信息化融合的發(fā)展。這些特點(diǎn)和意義決定了 NVIDIA 的工作方式，即與客戶和合作伙伴深度合作，根據(jù)客戶需求設(shè)計(jì)出最適合的解決方案，共同進(jìn)步。

加速計(jì)算的特點(diǎn)總結(jié)如下：

• 性能數(shù)量級(jí)上的提升：加速計(jì)算可以使模型性能有數(shù)十倍甚至上百倍的提升。

• 應(yīng)用特異性：上層應(yīng)用需要根據(jù)具體業(yè)務(wù)場景進(jìn)行優(yōu)化，沒有一勞永逸的方法。

• 找出瓶頸：需要從應(yīng)用自上而下尋找性能瓶頸，然后加速這些瓶頸，以達(dá)到整體性能的提升。

• 端到端的優(yōu)化：AI 加速器算法的核心是優(yōu)化，端到端的優(yōu)化需要軟件協(xié)同設(shè)計(jì)，需要業(yè)務(wù)、算法、工程人員和優(yōu)化工程師共同配合。

自動(dòng)駕駛軟件產(chǎn)品研發(fā)特點(diǎn)如下三點(diǎn)：

• 第一，自動(dòng)駕駛的端到端開發(fā)需要加速數(shù)據(jù)模型的流轉(zhuǎn)，并讓數(shù)據(jù)信息充分利用。例如在車端采集數(shù)據(jù)，需要對(duì)這些數(shù)據(jù)進(jìn)行高效的利用，在云端進(jìn)行自動(dòng)打標(biāo)或者模型訓(xùn)練、數(shù)據(jù)推理等過程，讓數(shù)據(jù)從采集到被利用整個(gè)過程盡可能快。

• 第二，云端的訓(xùn)練、預(yù)測，車端的驗(yàn)證和部署需要保持模型和數(shù)據(jù)的對(duì)齊。不同的訓(xùn)練框架、預(yù)處理庫和數(shù)據(jù)處理方式會(huì)導(dǎo)致模型和數(shù)據(jù)不對(duì)齊，因此需要將整個(gè)過程自動(dòng)化起來并做到統(tǒng)一管理。

• 第三，如果車端和云端的算力出現(xiàn)問題時(shí)，需要設(shè)計(jì)更多創(chuàng)新性的大模型來解決實(shí)際的問題。

在云上，自動(dòng)駕駛應(yīng)用需要處理大量數(shù)據(jù)的采集、管理和篩選，數(shù)據(jù)管理包括人工和自動(dòng)打標(biāo)，還需進(jìn)行模型訓(xùn)練和 REPLAY 驗(yàn)證。如果采集車數(shù)量夠多，數(shù)據(jù)采集的長尾效應(yīng)可以減少單輛車的數(shù)據(jù)量，但考慮到量產(chǎn)車的數(shù)量，數(shù)據(jù)處理必須更智能、高效。這已然成為自動(dòng)駕駛企業(yè)的共識(shí)，而 NVIDIA 也將與云服務(wù)合作伙伴，結(jié)合在其他行業(yè)卓有成效的經(jīng)驗(yàn)和成果，幫助企業(yè)落地相關(guān)能力。

總的來說，AI 加速計(jì)算可以大幅提升自動(dòng)駕駛應(yīng)用的性能，但對(duì)于不同的應(yīng)用場景需要采用特定的方法進(jìn)行優(yōu)化。例如在視覺計(jì)算領(lǐng)域，Swin-transformer 模型在自駕行業(yè)有很好的應(yīng)用場景，并且訓(xùn)練吞吐可以提高 2.3 倍，從而降低訓(xùn)練時(shí)間，提高模型驗(yàn)證和上線速度。

另外，CV-CUDA 開源庫是一個(gè)通用的高性能圖像處理加速庫，適用于不同行業(yè)的 AI 成像前后處理，目前已經(jīng)被短視頻行業(yè)、自動(dòng)駕駛行業(yè)和地圖行業(yè)等多個(gè)領(lǐng)域廣泛采用。僅就前處理而言，就可以減少訓(xùn)練和預(yù)測中調(diào)試工作量，提升模型對(duì)齊效果，提升工作效率。

加速計(jì)算需要軟硬協(xié)同設(shè)計(jì)，僅依靠單一優(yōu)化手段，很難達(dá)到效果，需要盡可能自上而下得去加速更多環(huán)節(jié)。AI 的核心是加速，而加速的核心是優(yōu)化，這需要算法和優(yōu)化工程師配合完成。

在自動(dòng)駕駛領(lǐng)域，NVIDIA 將與云服務(wù)合作伙伴，依托其他領(lǐng)域的成功經(jīng)驗(yàn)和成果，為車企和自動(dòng)駕駛企業(yè)，提供端到端的全棧式 AI 加速計(jì)算解決方案。

即刻點(diǎn)擊 “閱讀原文” 或掃描下方海報(bào)二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時(shí)間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計(jì)算平臺(tái)如何推動(dòng)人工智能、元宇宙、云技術(shù)和可持續(xù)計(jì)算的下一波浪潮。加入 GTC23，切勿錯(cuò)過 AI 的決定性時(shí)刻！