英偉達(dá) A100 GPU 全面上市，推理性能比 CPU 快 237 倍

根據(jù)英偉達(dá)官方的消息，在 AWS 運(yùn)行 NVIDIA GPU 十周年之際，AWS 發(fā)布了采用全新 A100 的 Amazon EC2 P4d 實例。

IT之家了解到，現(xiàn)在已全面上市的全新 AWS P4d 實例采用最新 NVIDIA A100 Tensor Core GPU。A100 計算卡采用了 7nm 工藝的 GA100 GPU，這款 GPU 擁有 6912 CUDA 核心和 432 張量核心。GPU 封裝尺寸為 826mm2，集成了 540 億個晶體管。

英偉達(dá)表示，全新的 P4d 實例，為機(jī)器學(xué)習(xí)訓(xùn)練和高性能計算應(yīng)用提供 AWS 上性能與成本效益最高的 GPU 平臺。與默認(rèn)的 FP32 精度相比，全新實例將 FP16 機(jī)器學(xué)習(xí)模型的訓(xùn)練時間減少多達(dá) 3 倍，將 TF32 機(jī)器學(xué)習(xí)模型的訓(xùn)練的時間減少多達(dá) 6 倍。

這些實例還提供出色的推理性能。NVIDIA A100 GPU 在最近的 MLPerf Inference 基準(zhǔn)測試中一騎絕塵，實現(xiàn)了比 CPU 快 237 倍的性能。

每個 P4d 實例均內(nèi)置八個 NVIDIA A100 GPU，通過 AWS UltraClusters，客戶可以利用 AWS 的 Elastic Fabric Adapter（EFA）和 Amazon FSx 提供的可擴(kuò)展高性能存儲，按需、可擴(kuò)展地同時訪問多達(dá) 4，000 多個 GPU。P4d 提供 400Gbps 網(wǎng)絡(luò)，通過使用 NVLink、NVSwitch、NCCL 和 GPUDirect RDMA 等 NVIDIA 技術(shù)，進(jìn)一步加速深度學(xué)習(xí)訓(xùn)練的工作負(fù)載。EFA 上的 NVIDIA GPUDirect RDMA 在服務(wù)器之間可通過 GPU 傳輸數(shù)據(jù)，無需通過 CPU 和系統(tǒng)內(nèi)存，從而確保網(wǎng)絡(luò)的低延遲。

責(zé)任編輯：PSY