基于4000萬公里量產(chǎn)車駕駛數(shù)據(jù)訓(xùn)練，參數(shù)規(guī)模1200億

4 月 11 日，InfoQ 獲悉，自動駕駛創(chuàng)企毫末智行發(fā)布了業(yè)內(nèi)首個自動駕駛生成式大模型 DriveGPT，中文名“雪湖·海若”。

自動駕駛生成式大模型 DriveGPT 雪湖·海若

自動駕駛生成式大模型 DriveGPT 雪湖·海若，有望成為大模型技術(shù)落地自動駕駛新范式。

毫末智行 CEO 顧維灝介紹了雪湖·海若名字的來源：“‘海若’出自《莊子·秋水》，里面有兩個神話人物河伯和北海若。河伯請教北海若，何謂大小之分，北海若教導(dǎo)，不因天地而覺大，不因毫末而覺小。毫末雪湖·海若，寓意智慧包容、海納百川，為行業(yè)發(fā)展貢獻力量?！?/p>

毫末 DriveGPT 雪湖·海若通過引入駕駛數(shù)據(jù)建立 RLHF（人類反饋強化學(xué)習(xí)）技術(shù)，對自動駕駛認知決策模型進行持續(xù)優(yōu)化。它的最終目標(biāo)是實現(xiàn)端到端自動駕駛，現(xiàn)階段主要用于解決自動駕駛的認知決策問題，后續(xù)持續(xù)會將毫末多個大模型的能力整合到 DriveGPT。

目前，毫末 DriveGPT 雪湖·海若實現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級，參數(shù)規(guī)模達到 1200 億，預(yù)訓(xùn)練階段引入 4000 萬公里量產(chǎn)車駕駛數(shù)據(jù)，RLHF 階段引入 5 萬段人工精選的困難場景接管 Clips。

DriveGPT 雪湖·海若的底層模型采用 GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，與 ChatGPT 使用自然語言進行輸入與輸出不同，DriveGPT 輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列，即將自動駕駛場景 Token 化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測以及決策邏輯鏈的輸出等任務(wù)。（DriveGPT 雪湖·海若）DriveGPT 雪湖·海若的實現(xiàn)過程是，首先在預(yù)訓(xùn)練階段通過引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過引入駕駛接管 Clips 數(shù)據(jù)完成反饋模型（Reward Model）的訓(xùn)練，然后再通過強化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對自動駕駛認知決策模型的持續(xù)優(yōu)化。同時，DriveGPT 雪湖·海若還會根據(jù)輸入端的提示語以及毫末 CSS 自動駕駛場景庫的決策樣本去訓(xùn)練模型，讓模型學(xué)習(xí)推理關(guān)系，從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程，完成可理解、可解釋的推理邏輯鏈生成。

在應(yīng)用方面，DriveGPT 雪湖·海若的首發(fā)車型是新摩卡 DHT-PHEV，即將量產(chǎn)上市。顧維灝提到，DriveGPT 雪湖·海若可以逐步應(yīng)用到城市 NOH、捷徑推薦、智能陪練以及脫困場景中。有了 DriveGPT 雪湖·海若的加持，車輛行駛會更安全；動作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動作。對于普通用戶來說，車輛越來越像老司機，用戶對智能產(chǎn)品的信任感會更強，理解到車輛的行為都是可預(yù)期、可理解的。

目前，毫末 DriveGPT 雪湖·海若已正式對外開放，開啟對限量首批客戶的合作，北京交通大學(xué)計算機與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等已經(jīng)加入。毫末 DriveGPT 的對外開放及服務(wù)，將促進自動駕駛的從業(yè)者和研究機構(gòu)快速構(gòu)建基礎(chǔ)能力。

毫末 DriveGPT 雪湖·海若將率先探索四大應(yīng)用能力，包括智能駕駛、駕駛場景識別、駕駛行為驗證、困難場景脫困。當(dāng)前，毫末在使用數(shù)據(jù)過程中，逐步建立起一套基于 4D Clips 駕駛場景識別方案，具備極高性價比。在行業(yè)上，給出正確的標(biāo)注結(jié)果，一張圖片需要約 5 元；如果使用 DriveGPT 雪湖·海若的場景識別服務(wù)，一張圖片的價格將下降到 0.5 元。單幀圖片整體標(biāo)注成本僅相當(dāng)于行業(yè)的 1/10。接下來，毫末會將圖像幀及 4D Clips 場景識別服務(wù)逐步向行業(yè)開放使用，這將大幅降低行業(yè)使用數(shù)據(jù)的成本，提高數(shù)據(jù)質(zhì)量，從而加速自動駕駛技術(shù)的快速發(fā)展。

大模型研發(fā)離不開龐大的算力支撐。

顧維灝介紹，毫末在 2023 年 1 月發(fā)布的中國自動駕駛行業(yè)最大的智算中心 MANA OASIS（雪湖· 綠洲）此次從算力優(yōu)化等層面升級了三大能力，進一步支持 DriveGPT 雪湖·海若的算力。首先，毫末與火山引擎全新搭建了“全套大模型訓(xùn)練保障框架”，實現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個月沒有任何非正常中斷, 有效保證了大模型訓(xùn)練穩(wěn)定性；其次，毫末研發(fā)出以真實數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù)，并將其推廣到了大模型訓(xùn)練，構(gòu)建了一個大模型持續(xù)學(xué)習(xí)系統(tǒng)，自主研發(fā)任務(wù)級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計算資源利用率達到 95%；最后，MANA OASIS 通過提升數(shù)據(jù)吞吐量來降本增效，滿足 Transformer 大模型訓(xùn)練效率，通過引入火山引擎提供的 Lego 算子庫實現(xiàn)算子融合，端到端吞吐提升 84%。

毫末打造的自動駕駛數(shù)據(jù)智能體系 MANA，在經(jīng)過一年多的應(yīng)用迭代后，也迎來了全面的升級，正式開放賦能。顧維灝介紹，MANA 計算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項優(yōu)化，并集成到 OASIS 中；其次，MANA 感知和認知相關(guān)大模型能力統(tǒng)一整合到 DriveGPT 雪湖·海若中；第三，增加了使用 NeRF 技術(shù)的數(shù)據(jù)合成服務(wù)，降低 Corner Case 數(shù)據(jù)的獲取成本；同時針對多種芯片和多種車型的快速交付難題優(yōu)化了異構(gòu)部署工具和車型適配工具。

審核編輯 ：李倩