一文詳解GPU加速器的知識點(diǎn)

2020 年了，什么樣的GPU才是人工智能訓(xùn)練的最佳選擇？工欲善其事必先利其器，今天我們就來了解一下，GPU加速器的各路神仙吧！

NVIDIA最新一代 GPU

NVIDIA A100 Tensor Core GPU 可針對 AI、數(shù)據(jù)分析和高性能計(jì)算 (HPC)，在各種規(guī)模上實(shí)現(xiàn)出色的加速。作為 NVIDIA 數(shù)據(jù)中心平臺的引擎，A100 可以高效擴(kuò)展，系統(tǒng)中可以集成數(shù)千個(gè) A100 GPU，也可以利用 NVIDIA 多實(shí)例 GPU (MIG) 技術(shù)將每個(gè) A100 劃分割為七個(gè)獨(dú)立的 GPU 實(shí)例，以加速各種規(guī)模的工作負(fù)載。

深度學(xué)習(xí)訓(xùn)練NVIDIA A100 的第三代 Tensor Core 借助 Tensor 浮點(diǎn)運(yùn)算 (TF32) 精度，可提供比上一代高 10 倍之多的性能，并且無需更改代碼，更能通過自動混合精度將性能進(jìn)一步提升兩倍。大型 AI 模型只需在 A100 構(gòu)成的集群上進(jìn)行訓(xùn)練幾十分鐘。

深度學(xué)習(xí)推理通過全系列精度（從 FP32、FP16、INT8 一直到 INT4）加速，實(shí)現(xiàn)了強(qiáng)大的多元化用途。MIG 技術(shù)支持多個(gè)網(wǎng)絡(luò)同時(shí)在單個(gè) A100 GPU 運(yùn)行，從而優(yōu)化計(jì)算資源的利用率。在 A100 其他推理性能提升的基礎(chǔ)上，結(jié)構(gòu)化稀疏支持將性能再提升兩倍。

高性能計(jì)算A100 引入了雙精度 Tensor Cores, 原本在 NVIDIA V100 Tensor Core GPU 上需要 10 小時(shí)的雙精度模擬作業(yè)如今只要 4 小時(shí)就能完成。HPC 應(yīng)用還可以利用 A100 的 Tensor Core，將單精度矩陣乘法運(yùn)算的吞吐量提高 10 倍之多。

數(shù)據(jù)分析搭載 A100 的加速服務(wù)器可以提供必要的計(jì)算能力，并利用第三代 NVLink 和 NVSwitch 1.6TB/s 的顯存帶寬和可擴(kuò)展性，妥善應(yīng)對這些龐大的工作負(fù)載。

企業(yè)級利用率A100 的 多實(shí)例 GPU (MIG) 功能使 GPU 加速的基礎(chǔ)架構(gòu)利用率大幅提升，達(dá)到前所未有的水平。

技術(shù)參數(shù)

* 采用稀疏技術(shù)

構(gòu)建數(shù)據(jù)中心必備的GPU

從語音識別到訓(xùn)練虛擬個(gè)人助理和教會自動駕駛汽車自動駕駛，從天氣預(yù)報(bào)到發(fā)現(xiàn)藥物和發(fā)現(xiàn)新能源，數(shù)據(jù)科學(xué)家們正利用人工智能解決日益復(fù)雜的挑戰(zhàn)，使用大型計(jì)算系統(tǒng)來模擬和預(yù)測我們的世界。 NVIDIA V100 Tensor Core 是有史以來極其先進(jìn)的數(shù)據(jù)中心 GPU，能加快 AI、高性能計(jì)算 (HPC) 和圖形技術(shù)的發(fā)展。其采用 NVIDIA Volta 架構(gòu)，并帶有 16 GB 和 32GB 兩種配置，在單個(gè) GPU 中即可提供高達(dá) 100 個(gè) CPU 的性能。

人工智能訓(xùn)練Tesla V100 擁有 640 個(gè) Tensor 內(nèi)核，是世界上第一個(gè)突破 100 萬億次 (TFLOPS) 深度學(xué)習(xí)性能障礙的 GPU。新一代 NVIDIA NVLink 以高達(dá) 300 GB/s 的速度連接多個(gè) V100 GPU。

人工智能推理NVIDIA V100 GPU 可提供比 CPU 服務(wù)器高 30 倍的推理性能。

高性能計(jì)算 (HPC)通過在一個(gè)統(tǒng)一架構(gòu)內(nèi)搭配使用 NVIDIA CUDA 內(nèi)核和 Tensor 內(nèi)核，配備 NVIDIA V100 GPU 的單臺服務(wù)器可以取代數(shù)百臺僅配備通用 CPU 的服務(wù)器來處理傳統(tǒng)的高性能計(jì)算和人工智能工作負(fù)載。

技術(shù)參數(shù)

推理加速的神器

NVIDIA Tesla T4 Tensor Core GPU是世界上極其先進(jìn)的推理加速器。搭載 NVIDIA Turing Tensor 核心的 T4 提供革命性的多精度推理性能，以加速現(xiàn)代人工智能的各種應(yīng)用。T4 封裝在節(jié)能的小型 70 瓦 PCIe 中，可針對橫向擴(kuò)展服務(wù)器進(jìn)行優(yōu)化，并且旨在實(shí)時(shí)提供極其先進(jìn)的推理。

極具突破性的推理性能NVIDIA T4 引入革命性的 Turing Tensor 核心技術(shù)，具備人工智能推理的多精度計(jì)算性能。從 FP32 到 FP16 再到 INT8，以及 INT4 精度，T4 的性能比 CPU 高出 40 倍。

先進(jìn)的實(shí)時(shí)推理NVIDIA T4 可提供優(yōu)于 40 倍的低延時(shí)高吞吐量，進(jìn)而可以實(shí)時(shí)滿足更多的請求。

視頻轉(zhuǎn)碼性能NVIDIA T4 專用的硬件轉(zhuǎn)碼引擎將解碼性能提升至上一代 GPU 的兩倍。T4 可以解碼多達(dá) 38 個(gè)全高清視頻流。

技術(shù)參數(shù)

適用于桌面的個(gè)人工作站

一臺DGX工作站就可以提供相當(dāng)于 400 個(gè) CPU 的計(jì)算能力，以低功耗、水冷靜音而著稱。 過去，硬件及軟件的購置、集成和測試可能就要花一個(gè)月或更長時(shí)間。此外， 優(yōu)化框架、庫及驅(qū)動程序還需掌握更多專業(yè)知識， 付出更多努力。這些用在系統(tǒng)集成和軟件 工程上的寶貴時(shí)間和金錢，現(xiàn)在可以用于訓(xùn)練和實(shí)驗(yàn)。

專為您辦公室設(shè)計(jì)的超級計(jì)算機(jī)為辦公室及安靜場所設(shè)計(jì)，噪音僅為其他工作站的十分之一 。

更快開始使用深度學(xué)習(xí)只需插入和接通電源，這種部署簡單直觀。這個(gè)集成軟硬件的解決方案可讓您將更多時(shí)間專注探索發(fā)現(xiàn)而不是組裝組件上。

從桌面到數(shù)據(jù)中心，顯著提升工作效率DGX工作站可以節(jié)省價(jià)值幾十萬元的工程時(shí)間，避免因等待開源框架的穩(wěn)定版本而導(dǎo)致工作效率降低。

相較目前最快的 GPU 工作站提速2倍基于 4 個(gè) NVIDIA V100 加速器構(gòu)建的工作站， 同時(shí)采用了下一代 NVLink 以及全新 Tensor 核心架構(gòu)等創(chuàng)新技術(shù) 。DGX 工作站相較現(xiàn)今最快的 GPU 工作站，深度學(xué)習(xí)訓(xùn)練性能提升了 2 倍 ，具備 480 TFLOPS 的水冷性能和 FP16 精度。

技術(shù)參數(shù)

開箱即可用的解決方案

NVIDIA DGX-1 通過開箱即用的解決方案。借助 DGX-1，再加上集成式 NVIDIA 深度學(xué)習(xí)軟件堆棧，您只需開啟電源，即可開始工作。

輕松取得工作成果借助 NVIDIA DGX-1提高研究效率，簡化工作流程并與團(tuán)隊(duì)開展協(xié)作。

革命性的 AI 性能DGX-1 憑借 NVIDIA GPU Cloud 深度學(xué)習(xí)軟件堆棧和當(dāng)今流行的技術(shù)框架，將訓(xùn)練速度提升高達(dá)三倍。

投資保護(hù)NVIDIA 的企業(yè)級支持讓您無需耗費(fèi)時(shí)間對硬件和開源軟件進(jìn)行問題排查，節(jié)省調(diào)試和優(yōu)化時(shí)間。

技術(shù)參數(shù)

AI企業(yè)的必要基礎(chǔ)設(shè)施

NVIDIA DGX-2 是世界上第一個(gè) 2-petaFLOPS 系統(tǒng)，配備 16 塊極為先進(jìn)的 GPU，可以在單個(gè)節(jié)點(diǎn)訓(xùn)練 4 倍 規(guī)模的模型。與傳統(tǒng)的 x86 架構(gòu)相比，DGX-2 訓(xùn)練 ResNet-50 的性能相當(dāng)于 300 臺配備雙路英特爾至強(qiáng) Gold CPU 服務(wù)器的性能。

非同一般的計(jì)算能力造就出眾的訓(xùn)練性能可在單一節(jié)點(diǎn)上訓(xùn)練規(guī)模擴(kuò)大 4 倍的模型，而且其性能達(dá)到 8 GPU 系統(tǒng)的 10 倍。

革命性的人工智能網(wǎng)絡(luò)架構(gòu)NVIDIA 首款 2 petaFLOPS GPU 加速器采用的正是這種創(chuàng)新技術(shù)，其 GPU 間帶寬高達(dá) 2.4 TB/s，性能比前代系統(tǒng)提升了 24 倍，并且問題解決速度提高了 5 倍。

將人工智能規(guī)模提升至全新水平的最快途徑憑借用于構(gòu)建大型深度學(xué)習(xí)計(jì)算集群的靈活網(wǎng)絡(luò)選項(xiàng)，再結(jié)合可在共享基礎(chǔ)設(shè)施環(huán)境中改進(jìn)用戶和工作負(fù)載隔離的安全多租戶功能。

始終運(yùn)行的企業(yè)級人工智能基礎(chǔ)設(shè)施DGX-2 專為 RAS 而打造，可以減少計(jì)劃外停機(jī)時(shí)間，簡化可維護(hù)性，并保持運(yùn)行連續(xù)性。

技術(shù)參數(shù)

目前全球最先進(jìn)的 GPU 系統(tǒng)

NVIDIA DGX A100 為全球首款 5 petaFLOPS AI 系統(tǒng)提供超高的計(jì)算密度、性能和靈活性。采用全球超強(qiáng)大的加速器 NVIDIA A100 Tensor Core GPU，可讓企業(yè)將深度學(xué)習(xí)訓(xùn)練、推理和分析整合至一個(gè)易于部署的統(tǒng)一 AI 基礎(chǔ)架構(gòu)中，該基礎(chǔ)架構(gòu)具備直接聯(lián)系 NVIDIA AI 專家的功能。

各種 AI 工作負(fù)載的通用系統(tǒng) NVIDIA DGX A100 是適用于所有 AI 基礎(chǔ)架構(gòu)（包括分析、訓(xùn)練、推理基礎(chǔ)架構(gòu)）的通用系統(tǒng)。

DGXperts：集中獲取 AI 專業(yè)知識 NVIDIA DGXperts 是一個(gè)擁有 14000 多位 AI 專業(yè)人士的全球團(tuán)隊(duì)，能夠幫助您更大限度地提升 DGX 投資價(jià)值。

更快的加速體驗(yàn) 集成八塊 A100 GPU，可針對 NVIDIA CUDA-X 軟件和整套端到端 NVIDIA 數(shù)據(jù)中心解決方案進(jìn)行全面優(yōu)化。

卓越的數(shù)據(jù)中心可擴(kuò)展性 NVIDIA DGX A100 內(nèi)置 Mellanox ConnectX-6 VPI HDR InfiniBand 和以太網(wǎng)適配器，其雙向帶寬峰值為 450Gb/s。

技術(shù)參數(shù)

眾所周知，如果將英偉達(dá)GPU比喻成通往人工智能路上的交通工具的話，選對了方式你坐的可能就是火箭，只需要花費(fèi)一小時(shí)即可完成幾百個(gè)T的數(shù)據(jù)研究，選錯(cuò)了，那可能就是“11”路公交車。
責(zé)任編輯人：CC