NVIDIA TensorRT 8.2將推理速度提高6倍

NVIDIA 發(fā)布了 TensorRT 8.2 ，對十億參數(shù) NLU 模型進行了優(yōu)化。其中包括 T5 和 GPT-2 ，用于翻譯和文本生成，使實時運行 NLU 應(yīng)用程序成為可能。

TensorRT 是一款高性能的深度學(xué)習(xí)推理優(yōu)化器和運行時，為人工智能應(yīng)用程序提供低延遲、高吞吐量推理。 TensorRT 用于醫(yī)療、汽車、制造、互聯(lián)網(wǎng)/電信服務(wù)、金融服務(wù)和能源等多個行業(yè)。

PyTorch 和 TensorFlow 是擁有數(shù)百萬用戶的最流行的深度學(xué)習(xí)框架。新的 TensorRT 框架集成現(xiàn)在在 PyTorch 和 TensorFlow 中提供了一個簡單的 API ，并提供了強大的 FP16 和 INT8 優(yōu)化，從而將推理速度提高了 6 倍。

亮點包括

TensorRT 8.2:T5 和 GPT-2 的優(yōu)化運行實時翻譯和摘要，與 CPU 相比，性能提高了 21 倍。

TensorRT 8.2 ：適用于使用 Windows 的開發(fā)人員的簡單 Python API 。

Torch TensorRT:PyTorch 的集成與 GPU 上的框架內(nèi)推理相比，僅需一行代碼即可提供高達 6 倍的性能。

TensorFlow TensorRT:TensorFlow 與 TensorRT 的集成提供了比使用一行代碼在 GPU 上進行框架內(nèi)推理快 6 倍的性能。

資源

Torch- TensorRT 在 NGC catalog 的 PyTorch 容器中提供。

TensorFlow- TensorRT 目前可從 NGC catalog 的 TensorFlow 容器中獲得。

TensorRT 免費提供給 NVIDIA 開發(fā)程序 的成員。

在 TensorRT 產(chǎn)品頁面了解更多信息。

關(guān)于作者

About Jay Rodge

Jay Rodge 是 NVIDIA 的產(chǎn)品營銷經(jīng)理，負責(zé)深入學(xué)習(xí)和推理產(chǎn)品，推動產(chǎn)品發(fā)布和產(chǎn)品營銷計劃。杰伊在芝加哥伊利諾伊理工學(xué)院獲得計算機科學(xué)碩士學(xué)位，主攻計算機視覺和自然語言處理。在 NVIDIA 之前，杰伊是寶馬集團的人工智能研究實習(xí)生，為寶馬最大的制造廠使用計算機視覺解決問題。

審核編輯：郭婷