基于NVIDIA Triton的AI模型高效部署實(shí)踐

在每周的預(yù)告中，你可以：

了解一周的在線研討會(huì)時(shí)間及詳細(xì)內(nèi)容，選擇感興趣的研討會(huì)并提前安排收聽時(shí)間;

找到每場(chǎng)研討會(huì)的參會(huì)方式，保存并轉(zhuǎn)發(fā)到朋友圈及微信群，與朋友分享精彩內(nèi)容。

基于 NVIDIA Triton 的 AI 模型高效部署實(shí)踐

內(nèi)容

NVIDIA Triton 推理服務(wù)器(以前稱為 TensorRT 推理服務(wù)器)是一款開源軟件，可簡(jiǎn)化深度學(xué)習(xí)模型在生產(chǎn)環(huán)境中的部署。借助 Triton 推理服務(wù)器，Devops 和 MLops 團(tuán)隊(duì)可以將各類框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定義框架后端)訓(xùn)練的 AI 模型，在基于 GPU 或 CPU 的本地、數(shù)據(jù)中心、云、邊緣云等平臺(tái)，快速可靠地部署在諸如 Kubernetes、KFServing、Prometheus、Grafana 等大規(guī)模生產(chǎn)環(huán)境中，并輕松擴(kuò)展。

借助 NVIDIA Ampere 架構(gòu) Tensor Core 和多實(shí)例并行運(yùn)行多個(gè)工作負(fù)載( MIG )，Triton 推理服務(wù)器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不僅可在單個(gè) NVIDIA GPU 上同時(shí)運(yùn)行多個(gè)模型，以更大限度地提高利用率，與 Kubernetes 集成以用于編排、指標(biāo)和自動(dòng)擴(kuò)展，還可以讓多個(gè)用戶共享一個(gè) GPU ，通過將單個(gè) GPU 劃分為多個(gè) GPU 實(shí)例，讓每個(gè)實(shí)例都有專用的內(nèi)存和計(jì)算資源，在確保執(zhí)行工作負(fù)載的同時(shí)，保證服務(wù)質(zhì)量和故障隔離。

本次研討會(huì) NVIDIA 解決方案架構(gòu)師張萌將參與主講環(huán)節(jié)， NVIDIA 解決方案架構(gòu)師申意則將主要參與問答環(huán)節(jié)。

通過本次在線研討會(huì)您將了解以下內(nèi)容：

應(yīng)用 Triton 的收益

基于 Ampere 架構(gòu)多實(shí)例 GPU 特性和 K8s 實(shí)現(xiàn) Triton 大規(guī)模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行業(yè)內(nèi)的一些應(yīng)用案例

日程

6 月 28 日，周二，19:00 – 20:00

演講嘉賓

張萌

NVIDIA 解決方案架構(gòu)師

申意

NVIDIA 解決方案架構(gòu)師

內(nèi)容

隨著人工智能、數(shù)據(jù)科學(xué)、虛擬仿真等數(shù)據(jù)流量負(fù)載呈現(xiàn)指數(shù)增長(zhǎng)，企業(yè)需要在任何位置都有足夠的處理能力，這對(duì)傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施帶來全新挑戰(zhàn)與巨大沖擊，需要構(gòu)建現(xiàn)代數(shù)據(jù)中心來支撐企業(yè)業(yè)務(wù)應(yīng)用。

NVIDIA BlueField DPU 是一款非常強(qiáng)大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施，可用于卸載、加速和隔離在主機(jī) CPU 上運(yùn)行的各種軟件定義基礎(chǔ)設(shè)施服務(wù)，將數(shù)據(jù)中心基礎(chǔ)設(shè)施與業(yè)務(wù)應(yīng)用解耦，提升在云計(jì)算、數(shù)據(jù)中心或邊緣計(jì)算的性能、安全性和效率，突破性能和可擴(kuò)展性的瓶頸，并消除現(xiàn)代數(shù)據(jù)中心的安全威脅，簡(jiǎn)化運(yùn)營(yíng)并降低總擁有成本( TCO)。

為了充分發(fā)揮 BlueField DPU 這一強(qiáng)大的片上數(shù)據(jù)中心基礎(chǔ)設(shè)施硬件能力，簡(jiǎn)單、高效的 NVIDIA DOCA 軟件框架應(yīng)運(yùn)而生，為開發(fā)者打造一個(gè)全面、開放的開發(fā)平臺(tái)，支持廣大的開發(fā)者在 BlueField DPU 上進(jìn)行簡(jiǎn)單、靈活的軟件開發(fā)，讓開發(fā)者可以快速創(chuàng)建 BlueField DPU 加速的、高性能應(yīng)用程序和服務(wù)。

本次課程將幫助開發(fā)者深入了解如下內(nèi)容：

什么是 DPU?

NVIDIA BlueField DPU 簡(jiǎn)介

NVIDA DOCA 軟件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日，星期四，20:00 – 21:00

演講嘉賓

崔巖

NVIDIA 網(wǎng)絡(luò)技術(shù)專家

負(fù)責(zé)以技術(shù)角度推進(jìn) DPU 和 DOCA 產(chǎn)品及聯(lián)合解決方案在中國(guó)的市場(chǎng)營(yíng)銷，驅(qū)動(dòng) DOCA 開發(fā)者社區(qū)在中國(guó)的增長(zhǎng)與發(fā)展，促進(jìn)客戶與合作伙伴在未來數(shù)據(jù)中心基礎(chǔ)設(shè)施上取得成功。

原文標(biāo)題：一周預(yù)告丨本周 NVIDIA 在線研討會(huì)精彩亮點(diǎn)搶先看

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅