如何最大化推理性能？Triton 社區(qū)技術(shù)交流活動(dòng)與您暢聊

由螞蟻集團(tuán)和 NVIDIA 攜手舉辦的“Triton Meetup 2023”將于 2 月 25 日在北京舉行。該活動(dòng)是 Triton 社區(qū)首次正式舉辦的線下技術(shù)交流活動(dòng)。來自美團(tuán)、京東、螞蟻、NVIDIA 的技術(shù)專家將帶來 AI Infra、推理引擎相關(guān)的專題分享，包括目前各企業(yè)面臨的模型推理挑戰(zhàn)、Triton 的應(yīng)用及落地的具體方案等，現(xiàn)身說法，干貨十足。此外，還有來自蔚來的特邀嘉賓，帶來“AI 推理服務(wù)的當(dāng)下與未來”圓桌主題討論，歡迎到現(xiàn)場的小伙伴積極參與！

活動(dòng)地點(diǎn)：

北京 BCos 共享辦公--多功能廳

（北京 WFC 環(huán)球金融中心辦公店）

活動(dòng)時(shí)間：

2023 年 2 月 25 日

14:00 - 18:00

活動(dòng)報(bào)名：

長按掃描下方二維碼

或點(diǎn)擊文末“閱讀原文”

即可預(yù)約報(bào)名！

Triton Meetup 2023 活動(dòng)流程

★

14:00 - 14:05

開場

14:05 - 14:45

NVIDIA Triton Inference Server的現(xiàn)在和未來

14:45 - 15:25

Triton 在螞蟻全場景落地的優(yōu)化

15:25 - 15:40

NVIDIA & 螞蟻開源社區(qū)共建啟動(dòng)儀式

15:40 -16:20

Triton 在美團(tuán)數(shù)據(jù)中心的應(yīng)用

16:20 - 17:00

Triton 在京東零售的應(yīng)用與實(shí)踐

17:00 - 17:20

圓桌討論：AI 推理服務(wù)的當(dāng)下與未來

下面一起來看看嘉賓陣容吧！

議題一：NVIDIA Triton
Inference Server 的現(xiàn)在和未來

申意

NVIDIA 解決方案架構(gòu)師

負(fù)責(zé)為消費(fèi)互聯(lián)網(wǎng)行業(yè)提供 GPU 計(jì)算解決方案。包括編解碼，數(shù)據(jù)前后處理，模型推理及服務(wù)化等。

議題簡介:

• Triton 簡介

• Triton 重要 Feature 簡介和 Roadmap 更新

• Triton 的成功案例

議題二：Triton 在螞蟻全場景落地的優(yōu)化

饒星

螞蟻集團(tuán)高級(jí)技術(shù)專家

螞蟻集團(tuán)推理團(tuán)隊(duì)技術(shù)負(fù)責(zé)人，負(fù)責(zé)螞蟻集團(tuán)全部業(yè)務(wù)場景的推理服務(wù)，長期專注在推理相關(guān)的架構(gòu)和性能優(yōu)化。

議題簡介:

• Triton 在搜索、推薦、廣告業(yè)務(wù)場景的解決方案

• Triton 在認(rèn)知業(yè)務(wù)的解決方案

• 結(jié)合業(yè)務(wù)場景，螞蟻進(jìn)一步的優(yōu)化方案

議題三：Triton 在美團(tuán)數(shù)據(jù)中心的應(yīng)用

王新

美團(tuán)機(jī)器學(xué)習(xí)平臺(tái)預(yù)測引擎團(tuán)隊(duì)

技術(shù)負(fù)責(zé)人

美團(tuán)機(jī)器學(xué)習(xí)平臺(tái)預(yù)測引擎團(tuán)隊(duì)技術(shù)負(fù)責(zé)人，長期專注于機(jī)器學(xué)習(xí)預(yù)測引擎相關(guān)的開發(fā)工作。

議題簡介:

• 機(jī)器學(xué)習(xí)模型在美團(tuán)落地的痛點(diǎn)

• Triton 落地的具體方案

• 使用 Triton 的業(yè)務(wù)收益與效果

議題四：Triton 在京東零售的應(yīng)用與實(shí)踐

楊培軍

京東零售算法中臺(tái)技術(shù)架構(gòu)師

長期從事機(jī)器學(xué)習(xí)平臺(tái)/深度學(xué)習(xí)推理加速和框架的研發(fā)，曾負(fù)責(zé)阿里媽媽搜索廣告預(yù)估平臺(tái)、Bigo 機(jī)器學(xué)習(xí)平臺(tái)的建設(shè)。

議題簡介:

• 京東零售的多元化算法需求給模型推理帶來的挑戰(zhàn)

• 介紹京東算法中臺(tái)在面向 CV/NLP 場景基于 Triton 二次開發(fā)的高性能推理框架

• 闡述推理框架的架構(gòu)演進(jìn)和性能優(yōu)化工作

圓桌討論：AI 推理服務(wù)的當(dāng)下與未來

特邀嘉賓：郭城

蔚來自動(dòng)駕駛研發(fā)平臺(tái) (NADP)資深工程師

負(fù)責(zé)搭建 NADP 云上推理系統(tǒng)，模型 CICD。

交通指引 & 防疫政策：

1. 自駕到場：

開車行進(jìn)至“環(huán)球金融中心”，在大樓南側(cè)地下停車場進(jìn)入。

2. 地鐵前往：

地鐵 10 號(hào)線至“金臺(tái)夕照”站，從 A 口出，步行 3-5 分鐘，從環(huán)球金融中心南門進(jìn)入。