模型部署是打通AI應(yīng)用的最后一公里

在深度學(xué)習(xí)產(chǎn)業(yè)落地過(guò)程中，我們經(jīng)常能聽(tīng)到一種說(shuō)法——模型部署是打通AI應(yīng)用的最后一公里！想要走通這一公里，看似簡(jiǎn)單，但是真正實(shí)踐起來(lái)卻困難重重：顯卡利用率低、內(nèi)存溢出、多線程調(diào)度奔潰、TensorRT加速算子不支持等等問(wèn)題一直是深度學(xué)習(xí)模型最后部署的老大難問(wèn)題。

在工業(yè)制造環(huán)境中，Windows系統(tǒng)有著廣泛的應(yīng)用。為了更好的幫助工業(yè)用戶解決落地最后的一公里問(wèn)題，飛槳聯(lián)合產(chǎn)業(yè)用戶，基于Windows系統(tǒng)，提供了工業(yè)級(jí)的部署Demo，支持圖像分類、目標(biāo)檢測(cè)、實(shí)例分割和語(yǔ)義分割模型的部署，并提供了一鍵的TensorRT加速方式，極大的提升了部署的效率，同時(shí)支持多線程推理的方式，滿足了用戶多視頻輸入預(yù)測(cè)的需求！

圖1部署開(kāi)發(fā)示例說(shuō)明

支持多種類別模型部署

滿足多種場(chǎng)景需求

為了更好的滿足用戶多種視覺(jué)任務(wù)場(chǎng)景，部署Demo基于PaddleX的Deployment模塊進(jìn)行二次開(kāi)發(fā)，不僅僅支持對(duì)PaddleX自身訓(xùn)練的模型進(jìn)行推理，同時(shí)支持PaddleClas、PaddleDetection、PaddleSeg視覺(jué)開(kāi)發(fā)套件的模型，滿足多種場(chǎng)景需求。

圖2 部署Demo支持模型說(shuō)明

一鍵TensorRT加速

部署效率顯著提升

NVIDIA TensorRT 是一個(gè)高性能的深度學(xué)習(xí)預(yù)測(cè)庫(kù)，可為深度學(xué)習(xí)推理應(yīng)用程序提供低延遲和高吞吐量。在部署Demo中集成了TensorRT預(yù)測(cè)庫(kù)，用戶只需一鍵啟動(dòng)，即可進(jìn)行高性能的部署。

圖3 部署Demo性能對(duì)比說(shuō)明

為了更好的幫助用戶了解在工業(yè)制造場(chǎng)景部署的問(wèn)題，飛槳邀請(qǐng)產(chǎn)業(yè)用戶現(xiàn)場(chǎng)coding，一步步帶著大家現(xiàn)場(chǎng)演示如何搭建部署開(kāi)發(fā)示例，如何更高性能的應(yīng)用在自己的產(chǎn)業(yè)落地中。

審核編輯 ：李倩