NADP+Triton搭建穩(wěn)定高效的推理平臺(tái)

業(yè)務(wù)背景

蔚來(lái)自動(dòng)駕駛研發(fā)平臺(tái)（NADP）是著力服務(wù)于自動(dòng)駕駛核心業(yè)務(wù)方向的研發(fā)平臺(tái)。平臺(tái)化的推理能力作為常規(guī)機(jī)器學(xué)習(xí)平臺(tái)的重要組成部分，也是 NADP 所重點(diǎn)建設(shè)和支持的能力之一。NADP 所支持的推理業(yè)務(wù)，整體上有以下幾個(gè)特性：

10% 的業(yè)務(wù)產(chǎn)生 90% 的流量（優(yōu)化重點(diǎn)業(yè)務(wù)收益大）；

追求引擎層的高性能；

要求在算法框架，量化加速維度盡可能強(qiáng)的擴(kuò)展性，為算法業(yè)務(wù)的框架選型， 與后續(xù)可能的加速方案都提供盡可能的兼容；

多個(gè)模型有業(yè)務(wù)關(guān)聯(lián)，希望能夠滿足多個(gè)模型之間串行/或者并行的調(diào)度。

經(jīng)過(guò)對(duì)眾多方案的對(duì)比和篩選，NVIDIA Triton 在上述每一個(gè)方面都能滿足蔚來(lái)的需求。比如，Triton 支持多個(gè)模型或模塊進(jìn)行 DAG 式的編排。其云原生友好的部署方式，能夠很輕松的做到多 GPU、多節(jié)點(diǎn)的擴(kuò)展。從生產(chǎn)級(jí)別實(shí)踐的穩(wěn)定性角度來(lái)看，即便是一個(gè)優(yōu)秀的開(kāi)源方案，作為平臺(tái)級(jí)的核心組件，也是需要長(zhǎng)時(shí)間、高強(qiáng)度的驗(yàn)證，才能放心的推廣到最核心業(yè)務(wù)上。經(jīng)過(guò)半年的使用，Triton 證明了自己，在保證強(qiáng)大功能的前提下，也提供了很好的穩(wěn)定性。另外，NVIDIA 有著優(yōu)秀的生態(tài)建設(shè)與社區(qū)支持，提供了優(yōu)質(zhì)的 Triton 社區(qū)內(nèi)容和文檔共享，保障了 NADP 的核心推理業(yè)務(wù)遷移到 Triton 方案上，并平穩(wěn)運(yùn)行至今。

引入 Triton 之后的推理平臺(tái)架構(gòu)

Triton 在設(shè)計(jì)之初，就融入了云原生的設(shè)計(jì)思路，為后面逐步圍繞 Triton 搭建完整的云原生平臺(tái)性推理解決方案提供了相當(dāng)大的便利。作為 NADP 推理平臺(tái)的核心組件，Triton 與 NADP 的各個(gè)組件形成了一套完整的推理一站式解決方案。接下來(lái)，將集中在以下 4 個(gè)方面具體敘述 Triton 如何在 NADP 推理平臺(tái)中提供助力：

集成效率

高性能

易用性

高可用

01

集成效率

Triton + 模型倉(cāng)庫(kù) + Argo

Triton 與自建模型倉(cāng)庫(kù)深度結(jié)合，配合 workflow 方案 Argo，完成全自動(dòng)化的生產(chǎn)、量化、準(zhǔn)入、云端部署、壓測(cè)和上線的 CICD 流程。

具體來(lái)講：

模型上傳，模型倉(cāng)庫(kù)自動(dòng)觸發(fā)配置好的 workflow；

創(chuàng)建與部署環(huán)境硬件環(huán)境一致容器，自動(dòng)量化加速；

得益于 Triton 生態(tài)中提供的 perf analyzer，可以像使用 jMeter 一樣方便的按照模型的 Input Tensor Shape 自動(dòng)生成請(qǐng)求與指定的負(fù)載。其壓測(cè)出的服務(wù)化之后模型的最大吞吐，很接近真實(shí)部署場(chǎng)景。

Triton + Jupyter

在 Triton 鏡像中集成了 Jupyter 組件之后，提供開(kāi)箱即用的開(kāi)發(fā)調(diào)試環(huán)境，在遇到復(fù)雜問(wèn)題需要進(jìn)行線上 debug 或者再線下復(fù)現(xiàn)問(wèn)題時(shí)，Jupyter 能夠提供一個(gè)方便的開(kāi)發(fā)環(huán)境供用戶進(jìn)行調(diào)試。

02

高性能

Triton + Istio

當(dāng)前 NADP 服務(wù)的業(yè)務(wù)場(chǎng)景，服務(wù)流量大，主要傳輸 cv 場(chǎng)景視頻文件+高分辨率圖片，必須使用高性能 rpc 協(xié)議進(jìn)行加速，而且推理服務(wù)引擎必須對(duì)現(xiàn)有的 L4 Load Balancer 和服務(wù)發(fā)現(xiàn)方案有比較好的支持性。

而 Triton 原生支持 gRPC 的方案進(jìn)行訪問(wèn)，并且能夠很方便的部署為 k8s 容器。但因?yàn)?k8s 原生 service 不能夠很好的對(duì) gRPC 進(jìn)行請(qǐng)求級(jí)別的負(fù)載均衡（僅支持長(zhǎng)連接的負(fù)載均衡），故在引入了 isito 之后，Triton 就能夠在傳輸協(xié)議上滿足我們的需求。

具體來(lái)講：

集群內(nèi)容器直接訪問(wèn)只需要一次跨物理機(jī)網(wǎng)絡(luò)轉(zhuǎn)發(fā)；

完美復(fù)用 k8s 的 readiness 狀態(tài)，通過(guò)和 Triton 節(jié)點(diǎn)的 liveness/readniess 探針進(jìn)行服務(wù)的健康監(jiān)控；

后續(xù)結(jié)合模型倉(cāng)庫(kù)/配置中心提供用戶更友好的服務(wù)發(fā)現(xiàn)方式：基于域名的服務(wù)發(fā)現(xiàn)方案切換為基于模型的服務(wù)發(fā)現(xiàn)方案。

03

易用性

Triton + Apollo 配置中心

使用 Apollo 配置中心，可以極大程度提供更多的便利性。將基于域名的服務(wù)發(fā)現(xiàn)提升為基于模型名的服務(wù)發(fā)現(xiàn)。用戶將不需要了解模型所部署的具體的域名即可訪問(wèn)模型。結(jié)合模型倉(cāng)庫(kù)，用戶可以直接觸發(fā)模型的部署。

具體來(lái)講：

用戶在模型倉(cāng)庫(kù)操作上線之后，將會(huì)將模型的真實(shí)域名寫(xiě)入配置中心；

用戶使用 NADP 提供的客戶端可以從配置中心獲取到服務(wù)的真實(shí)域名，并直接訪問(wèn)服務(wù)；

作為下一步規(guī)劃，當(dāng)前的方案正在逐步遷移到基于開(kāi)源的 model mesh 方案的版本上。

04

高可用

Triton + k8s CRD

圍繞 Triton 蔚來(lái)搭建了服務(wù) NIO 推理場(chǎng)景的 K8s CRD。它是以下幾個(gè) K8s 原生 CRD 或其他自研 CRD 的組合。而這每一個(gè)組件都在一定程度上保障了服務(wù)的高可用。

自動(dòng)擴(kuò)縮容規(guī)則（HPA Rule）：進(jìn)行基于流量的自動(dòng)擴(kuò)縮容，在服務(wù)流量上升時(shí)自動(dòng)擴(kuò)容；

Istio service：可靠的 side car 機(jī)制，保障 gRPC 流量的服務(wù)發(fā)現(xiàn)和負(fù)載均衡；

Ingress：多實(shí)例部署，動(dòng)態(tài)擴(kuò)容的 Ingress 節(jié)點(diǎn)，保障跨集群流量的訪問(wèn)；

k8s deploy：在一個(gè)推理實(shí)例內(nèi)管理至少 3 個(gè) Triton Pod，消除了服務(wù)的單點(diǎn)問(wèn)題，并且通過(guò) Triton server 加載多個(gè)模型的功能，實(shí)現(xiàn)多模型混布共享 GPU 算力，而且消除單點(diǎn)的同時(shí)不引入額外的 GPU 資源浪費(fèi)；

Service Monitor：用于 prometheus 指標(biāo)的收集，隨時(shí)監(jiān)控服務(wù)狀態(tài)，上報(bào)異常信息；

Service Heartbeat Probe：集成了 Triton Perf Analyzer 的 Pod。Triton 生態(tài)中的 Perf Analyzer 工具能夠根據(jù)部署的模型 meta 信息生成真實(shí)請(qǐng)求并部署為主動(dòng)請(qǐng)求探針，在沒(méi)有流量的時(shí)候監(jiān)控服務(wù)的健康狀態(tài)并主動(dòng)重啟異常實(shí)例，同時(shí)上報(bào)異常信息。

Triton + Promethus/Grafana

Triton 提供了一套完整的，基于模型維度的模型服務(wù)指標(biāo)。打點(diǎn)幾乎包括了整個(gè)服務(wù)端推理鏈路的每個(gè)關(guān)鍵節(jié)點(diǎn)，甚至能夠區(qū)分執(zhí)行推理的排隊(duì)時(shí)間和計(jì)算時(shí)間，使得能夠在不需要進(jìn)入 debug 模式的情況下進(jìn)行細(xì)致的線上模型服務(wù)性能診斷和分析。另外，因?yàn)橹笜?biāo)的格式支持了云原生主流的 Promethus/Grafana， 用戶能夠非常方便的配置看板和各維度的報(bào)警， 為服務(wù)的高可用提供指標(biāo)支持。

模型的級(jí)別時(shí)延監(jiān)控

模型的級(jí)別的 qps 監(jiān)控

服務(wù)業(yè)務(wù)場(chǎng)景：數(shù)據(jù)挖掘

目前，NADP 數(shù)據(jù)挖掘業(yè)務(wù)下的相關(guān)模型預(yù)測(cè)服務(wù)已經(jīng)全部遷移至 Triton Inference Server，為上百個(gè)模型提供了高吞吐預(yù)測(cè)能力。同時(shí)在某些任務(wù)基礎(chǔ)上，通過(guò)自實(shí)現(xiàn)前處理算子、前后處理服務(wù)化、BLS 串聯(lián)模型等手段，將一些模型任務(wù)合并起來(lái)，極大的提升了處理效率。

服務(wù)端模型前處理

通過(guò)將服務(wù)的前后處理從客戶端移動(dòng)到服務(wù)端，不僅能夠在網(wǎng)絡(luò)傳輸上節(jié)省大量的時(shí)間，而且 GPU 服務(wù)端（Triton）可以用 Nvjpeg 進(jìn)行 GPU 解碼，并在 GPU 上做 resize、transpose 等處理。能夠大幅加速前處理，明顯減輕 client 端 CPU 計(jì)算壓力。

01

業(yè)務(wù)流程

02

收益

傳壓縮圖片，而非 input tensor，只需要幾百 KB 就能將一張 2K 原圖 bytes 傳輸過(guò)去，以當(dāng)前 onemodel 2k 輸入圖片為例，模型輸入必須為 1920*1080*3*8 byte 大小，而且必須走網(wǎng)絡(luò)，而在加入服務(wù)端后處理之后，在精度損失允許的范圍內(nèi)，可以將原圖改為傳壓縮過(guò)的三通道 720P jpg 圖片（1280*720*3），在服務(wù)端在 resize 成 1920*1080*3*8 byte，節(jié)約大量帶寬；

服務(wù)端前處理完成后將 GPU 顯存指針直接送入模型預(yù)測(cè)，還能省去 Host2Device 的拷貝；

服務(wù)端可以封裝模型的后處理，使得每次模型升級(jí)的時(shí)候，client 端不用感知到服務(wù)后處理的變化，從而不需要修改處理邏輯代碼；

使用 nvJpeg，DALI 等使用 GPU 算力的組件來(lái)進(jìn)行前后處理，加速整體的數(shù)據(jù)處理速度。

多模型 DAG 式編排

一個(gè)統(tǒng)一的前處理模型，一份輸入復(fù)制多份到多個(gè)后端識(shí)別模型，該流程在服務(wù)端單 GPU 節(jié)點(diǎn)內(nèi)完成，不需要走網(wǎng)絡(luò)，在 Triton + bls/ensemble 的支持下，甚至可以節(jié)約 H2D、D2H 拷貝。

01

業(yè)務(wù)流程

02

收益

當(dāng)業(yè)務(wù)邏輯強(qiáng)制使用多模型 DAG 式編排多個(gè)模型之后，每次產(chǎn)生模型的輸入/輸出都可以疊加服務(wù)端前后處理改造的收益，當(dāng)前部署的 triton 服務(wù)最多使用 BLS 串聯(lián)了 9 個(gè)模型；

對(duì)于 2k 分辨率的輸入來(lái)講，每幀圖片的大小為 1920 * 1080 * 3 * 8 = 47Mb, 假設(shè)全幀率為 60fps，則每秒輸入數(shù)據(jù)量為 1920 * 1080 * 3 * 8 * 60 = 2847 Mb。如果使用 bls 串聯(lián)了 9 個(gè)模型，則每秒需要產(chǎn)生的數(shù)據(jù)傳輸量為 1920 * 1080 * 3 * 8 * 60 * 9 = 25 Gb = 3GB；

如果使用 PCIe 傳輸，假設(shè) PCIe 帶寬為 160Gb = 20GB 每秒， 則理論上每秒產(chǎn)生的數(shù)據(jù)可以節(jié)約 150ms 在數(shù)據(jù)傳輸上；

如果使用網(wǎng)絡(luò)傳輸，假設(shè)可用帶寬為 16Gb=2Gb 每秒，則理論上每秒產(chǎn)生的數(shù)據(jù)可以節(jié)約 1500ms 在數(shù)據(jù)傳輸上。

總結(jié)和展望

NIO 基于 NVIDIA Triton 搭建的推理服務(wù)平臺(tái)，在數(shù)據(jù)挖掘業(yè)務(wù)場(chǎng)景下，通過(guò)上文詳細(xì)介紹的“服務(wù)器端模型前處理”和“多模型 DAG 式編排”，GPU 資源平均節(jié)省 24%；在部分核心 pipeline 上，吞吐能力提升為原來(lái)的 5 倍，整體時(shí)延降低為原來(lái)的 1/6。

另外，NIO 當(dāng)前已經(jīng)實(shí)現(xiàn)了輸入為原始視頻而非抽幀后圖片的預(yù)研版本工作流上線，但只承載了小部分流量。而主要流量還是使用 jpg 壓縮圖片作為輸入的版本。當(dāng)前只是使用本地腳本完成了數(shù)據(jù)加載和模型推理，后續(xù)會(huì)逐步地將當(dāng)前流程遷移到 Triton 的模型編排能力上。

關(guān)于作者 ——郭城

郭城是 NIO 自動(dòng)駕駛研發(fā)平臺(tái)（NADP）的高級(jí)工程師，負(fù)責(zé)為 NIO 自動(dòng)駕駛搭建可靠高效的推理平臺(tái)和深度學(xué)習(xí)模型 CICD 工具鏈。在加入 NIO 之前，他在小米技術(shù)委員會(huì)參與了小米集團(tuán)機(jī)器學(xué)習(xí)平臺(tái)的搭建。他個(gè)人對(duì) ML-ops、以及所有其他深度學(xué)習(xí)工程相關(guān)的主題感興趣。