基于NVIDIA Triton的AI模型高效部署實踐

在每周的預(yù)告中，你可以：

了解一周的在線研討會時間及詳細內(nèi)容，選擇感興趣的研討會并提前安排收聽時間;

找到每場研討會的參會方式，保存并轉(zhuǎn)發(fā)到朋友圈及微信群，與朋友分享精彩內(nèi)容。

基于 NVIDIA Triton 的 AI 模型高效部署實踐

內(nèi)容

NVIDIA Triton 推理服務(wù)器(以前稱為 TensorRT 推理服務(wù)器)是一款開源軟件，可簡化深度學習模型在生產(chǎn)環(huán)境中的部署。借助 Triton 推理服務(wù)器，Devops 和 MLops 團隊可以將各類框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定義框架后端)訓練的 AI 模型，在基于 GPU 或 CPU 的本地、數(shù)據(jù)中心、云、邊緣云等平臺，快速可靠地部署在諸如 Kubernetes、KFServing、Prometheus、Grafana 等大規(guī)模生產(chǎn)環(huán)境中，并輕松擴展。

借助 NVIDIA Ampere 架構(gòu) Tensor Core 和多實例并行運行多個工作負載( MIG )，Triton 推理服務(wù)器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不僅可在單個 NVIDIA GPU 上同時運行多個模型，以更大限度地提高利用率，與 Kubernetes 集成以用于編排、指標和自動擴展，還可以讓多個用戶共享一個 GPU ，通過將單個 GPU 劃分為多個 GPU 實例，讓每個實例都有專用的內(nèi)存和計算資源，在確保執(zhí)行工作負載的同時，保證服務(wù)質(zhì)量和故障隔離。

本次研討會 NVIDIA 解決方案架構(gòu)師張萌將參與主講環(huán)節(jié)， NVIDIA 解決方案架構(gòu)師申意則將主要參與問答環(huán)節(jié)。

通過本次在線研討會您將了解以下內(nèi)容：

應(yīng)用 Triton 的收益

基于 Ampere 架構(gòu)多實例 GPU 特性和 K8s 實現(xiàn) Triton 大規(guī)模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行業(yè)內(nèi)的一些應(yīng)用案例

日程

6 月 28 日，周二，19:00 – 20:00

演講嘉賓

張萌

NVIDIA 解決方案架構(gòu)師

申意

NVIDIA 解決方案架構(gòu)師

內(nèi)容

隨著人工智能、數(shù)據(jù)科學、虛擬仿真等數(shù)據(jù)流量負載呈現(xiàn)指數(shù)增長，企業(yè)需要在任何位置都有足夠的處理能力，這對傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施帶來全新挑戰(zhàn)與巨大沖擊，需要構(gòu)建現(xiàn)代數(shù)據(jù)中心來支撐企業(yè)業(yè)務(wù)應(yīng)用。

NVIDIA BlueField DPU 是一款非常強大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施，可用于卸載、加速和隔離在主機 CPU 上運行的各種軟件定義基礎(chǔ)設(shè)施服務(wù)，將數(shù)據(jù)中心基礎(chǔ)設(shè)施與業(yè)務(wù)應(yīng)用解耦，提升在云計算、數(shù)據(jù)中心或邊緣計算的性能、安全性和效率，突破性能和可擴展性的瓶頸，并消除現(xiàn)代數(shù)據(jù)中心的安全威脅，簡化運營并降低總擁有成本( TCO)。

為了充分發(fā)揮 BlueField DPU 這一強大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施硬件能力，簡單、高效的 NVIDIA DOCA 軟件框架應(yīng)運而生，為開發(fā)者打造一個全面、開放的開發(fā)平臺，支持廣大的開發(fā)者在 BlueField DPU 上進行簡單、靈活的軟件開發(fā)，讓開發(fā)者可以快速創(chuàng)建 BlueField DPU 加速的、高性能應(yīng)用程序和服務(wù)。

本次課程將幫助開發(fā)者深入了解如下內(nèi)容：

什么是 DPU?

NVIDIA BlueField DPU 簡介

NVIDA DOCA 軟件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日，星期四，20:00 – 21:00

演講嘉賓

崔巖

NVIDIA 網(wǎng)絡(luò)技術(shù)專家

負責以技術(shù)角度推進 DPU 和 DOCA 產(chǎn)品及聯(lián)合解決方案在中國的市場營銷，驅(qū)動 DOCA 開發(fā)者社區(qū)在中國的增長與發(fā)展，促進客戶與合作伙伴在未來數(shù)據(jù)中心基礎(chǔ)設(shè)施上取得成功。

原文標題：一周預(yù)告丨本周 NVIDIA 在線研討會精彩亮點搶先看

文章出處：【微信公眾號：NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅