NVIDIA CUDA深度神經(jīng)網(wǎng)絡(luò)庫(kù)實(shí)現(xiàn)高性能GPU加速

NVIDIA CUDA 深度神經(jīng)網(wǎng)絡(luò)庫(kù)（cuDNN）是一個(gè) GPU 加速的深度神經(jīng)網(wǎng)絡(luò)基元庫(kù)，能夠以高度優(yōu)化的方式實(shí)現(xiàn)標(biāo)準(zhǔn)例程（如前向和反向卷積、池化層、歸一化和激活層）。

全球的深度學(xué)習(xí)研究人員和框架開(kāi)發(fā)者都依賴(lài) cuDNN 來(lái)實(shí)現(xiàn)高性能 GPU 加速。借助 cuDNN，研究人員和開(kāi)發(fā)者可以專(zhuān)注于訓(xùn)練神經(jīng)網(wǎng)絡(luò)及開(kāi)發(fā)軟件應(yīng)用，而不必花時(shí)間進(jìn)行低層級(jí)的 GPU 性能調(diào)整。cuDNN 可加速?gòu)V泛應(yīng)用的深度學(xué)習(xí)框架，包括 Caffe2、Chainer、Keras、MATLAB、MXNet、PaddlePaddle、PyTorch 和 TensorFlow。

在 21.02 NGC 容器上比較使用 cuDNN 7.6.5 的單個(gè) DGX-1V 服務(wù)器與使用 cuDNN 8.1.1 的 DGX-A100 的吞吐量。端到端性能趨于收斂。

cuDNN 8.3?的新變化

cuDNN 8.3 針對(duì) A100GPU 進(jìn)行了優(yōu)化，可提供高達(dá) V100 GPU 5 倍的開(kāi)箱即用性能，并且包含適用于對(duì)話式 AI 和計(jì)算機(jī)視覺(jué)等應(yīng)用的新優(yōu)化和 API。它已經(jīng)過(guò)重新設(shè)計(jì)，可實(shí)現(xiàn)易用性和應(yīng)用集成，同時(shí)還能為開(kāi)發(fā)者提供更高的靈活性。

cuDNN 8.3 的亮點(diǎn)包括：

為基于轉(zhuǎn)換器的模型提供優(yōu)化加速；

運(yùn)行時(shí)融合，通過(guò)新的運(yùn)算符、啟發(fā)式算法和融合迅速編譯內(nèi)核；

將下載包大小縮減 30%。

cuDNN 8.3 現(xiàn)以六個(gè)較小的庫(kù)的形式提供，能夠更精細(xì)地集成到應(yīng)用中。開(kāi)發(fā)者可以下載 cuDNN，也可從 NGC 上的框架容器中將其提取出來(lái)。

注冊(cè)成為 NVIDIA 開(kāi)發(fā)者計(jì)劃會(huì)員，下載 cnDNN：https://developer.nvidia.cn/rdp/form/cudnn-download-survey

NGC 框架容器提?。篽ttps://catalog.ngc.nvidia.com/

cuDNN?的主要特性

為各種常用卷積實(shí)現(xiàn)了 Tensor Core 加速，包括 2D 卷積、3D 卷積、分組卷積、深度可分離卷積以及包含 NHWC 和 NCHW 輸入及輸出的擴(kuò)張卷積；

為諸多計(jì)算機(jī)視覺(jué)和語(yǔ)音模型優(yōu)化了內(nèi)核，包括 ResNet、ResNext、EfficientNet、EfficientDet、SSD、MaskRCNN、Unet、VNet、BERT、GPT-2、Tacotron2 和 WaveGlow；

支持 FP32、FP16、BF16 和 TF32 浮點(diǎn)格式以及 INT8 和 UINT8 整數(shù)格式；

4D 張量的任意維排序、跨步和子區(qū)域意味著可輕松集成到任意神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中；

能為各種 CNN 體系架構(gòu)上的融合運(yùn)算提速。

在數(shù)據(jù)中心和移動(dòng) GPU 中采用 Ampere、Turing、Volta、Pascal、Maxwell 和 Kepler GPU 體系架構(gòu)的 Windows 和 Linux 系統(tǒng)均支持 cuDNN。

審核編輯：劉清

?