NVIDIA TensorRT助力打造AI計(jì)算機(jī)視覺算法推理平臺(tái)

案例簡介

? 本案例中通過 NVIDIA TensorRT 以及 NVIDIA T4 GPU， 極視角科技研發(fā)的人工智能計(jì)算機(jī)視覺算法推理平臺(tái)“極星，進(jìn)一步提升了計(jì)算機(jī)視覺算法的準(zhǔn)確度和推理效率，滿足了對(duì)算法實(shí)時(shí)性要求較高的行業(yè)需求，讓算法模型推理效率提升了20-40倍。

? 本案例主要應(yīng)用到 NVIDIA TensorRT 以及 NVIDIA T4 GPU。

應(yīng)用背景

極視角科技（ EXTREME VISION）是專業(yè)的人工智能計(jì)算機(jī)視覺算法提供商，開創(chuàng)了全球首家視覺算法商城，已上架 1000 余種算法，覆蓋 100 多個(gè)行業(yè)領(lǐng)域的應(yīng)用場(chǎng)景，匯聚超過 200，000 位開發(fā)者。

“極星”是基于極視角強(qiáng)大技術(shù)能力打造的AI應(yīng)用開發(fā)及服務(wù)平臺(tái)，。平臺(tái)支持快速接入各類算法、數(shù)據(jù)及智能設(shè)備，實(shí)現(xiàn)AI自閉環(huán)能力，并通過應(yīng)用服務(wù)和標(biāo)準(zhǔn)化接口，幫助終端客戶低成本實(shí)現(xiàn)AI與業(yè)務(wù)的結(jié)合，快速構(gòu)建智能應(yīng)用。

客戶挑戰(zhàn)

在未來的人工智能計(jì)算機(jī)視覺算法領(lǐng)域，碎片化和長尾化需求將成為市場(chǎng)的主流與核心。在數(shù)字化轉(zhuǎn)型的過程中，某幾個(gè)特定算法將再無法滿足客戶的綜合性需求。反之，由多種不同算法組成的算法包將成為解決人工智能算法應(yīng)用落地問題的發(fā)展方向。因此，對(duì)算法準(zhǔn)確度和推理效率的高要求將成為AI算法發(fā)展的新挑戰(zhàn)，尤其是在那些對(duì)算法及時(shí)性和實(shí)時(shí)反饋性要求較高的行業(yè)中，這種挑戰(zhàn)將尤為明顯?！睒O星“平臺(tái)作為極視角科技計(jì)算機(jī)視覺算法的推理部署平臺(tái)，為了能夠快速接入各類算法、數(shù)據(jù)及智能設(shè)備，將客戶業(yè)務(wù)與AI高效結(jié)合，同樣面臨著在算法模型推理效率上的考驗(yàn)與挑戰(zhàn)。

應(yīng)用方案

基于上述挑戰(zhàn)，極視角科技選擇采用 NVIDIA TensorRT和NVIDIA T4 GPU來提供支持。使用后，TensorRT高效賦能了極星推理平臺(tái)，使算法整體推理效率得到了極大的提升，給極視角業(yè)務(wù)帶來了巨大的支持。主要體現(xiàn)在以下方面：

極視角科技采用了NVIDIA TensorRT和NVIDIA T4 GPU賦能”極星“平臺(tái)，算法模型推理速度和推理效率較原來提升了近30倍，從而能夠進(jìn)一步提升了算法的及時(shí)性，滿足了客戶對(duì)于算法實(shí)時(shí)效用的高要求。

由于NVIDIA TensorRT和NVIDIA T4 GPU本身的技術(shù)優(yōu)勢(shì)，在應(yīng)用過程中，不但可以與原生推理框架間實(shí)現(xiàn)兼容，而且可以與原始算法高效整合，因此，在整體的技術(shù)結(jié)合和應(yīng)用的過程中，算法兼容、整合和應(yīng)用效率較原來提升了10倍。

使用效果

通過 NVIDIA TensorRT和NVIDIA T4 GPU， 極視角科技研發(fā)的人工智能計(jì)算機(jī)視覺算法推理平臺(tái)，”極星“，進(jìn)一步提升了計(jì)算機(jī)視覺算法的準(zhǔn)確度和推理效率，滿足了對(duì)算法實(shí)時(shí)性要求較高的行業(yè)需求，讓算法模型推理效率提升了20-40倍，其在技術(shù)兼容和整合過程中，整體效率也提升了近10倍。

“在使用 NVIDIA TensorRT和NVIDIA T4 GPU對(duì)平臺(tái)賦能后，“極星”推理平臺(tái)的算法推理效率得到了進(jìn)一步的提升，更好地支持速接入各類算法、數(shù)據(jù)及智能設(shè)備，實(shí)現(xiàn)AI自閉環(huán)能力，并通過應(yīng)用服務(wù)和標(biāo)準(zhǔn)化接口，幫助終端客戶低成本實(shí)現(xiàn)AI與業(yè)務(wù)的結(jié)合，快速構(gòu)建智能應(yīng)用。從業(yè)務(wù)拓展的角度上，憑借著高效的算法推理效率，使得算法的及時(shí)分析能力得到了提升，幫助”極星“平臺(tái)更加順利的進(jìn)入了許多對(duì)算法實(shí)時(shí)性要求較高的行業(yè)，同時(shí)，也更有利于極視角對(duì)外提供算法+平臺(tái)+應(yīng)用+服務(wù)的一站式AI解決方案，實(shí)現(xiàn)多行業(yè)數(shù)字化轉(zhuǎn)型的目標(biāo)?！皹O視角科技研發(fā)高級(jí)副總裁，技術(shù)委員會(huì)負(fù)責(zé)人成望表示。

審核編輯：郭婷