NVIDIA BlueField DPU提高 HPC 應用程序性能和可擴展性

超級計算機用于建模和模擬科學計算中最復雜的過程，通常是為了洞察新發(fā)現(xiàn)，否則這些新發(fā)現(xiàn)在物理上是不切實際的或不可能演示的。

NVIDIA BlueField DPU（數(shù)據(jù)處理器）正在將高性能計算（HPC）資源轉(zhuǎn)化為更高效的系統(tǒng)，同時在從數(shù)學建模和分子動力學到天氣預報、氣候研究，甚至可再生能源的廣泛科學研究中加速解決問題。

BlueField 已經(jīng)在云網(wǎng)絡(luò)、網(wǎng)絡(luò)安全、通信和邊緣計算領(lǐng)域產(chǎn)生了顯著影響。此外，在高性能計算的多個領(lǐng)域引發(fā)了應用程序性能和系統(tǒng)效率方面的創(chuàng)新。

NVIDIA BlueField-3 提供了強大的計算能力，其基于多個 Arm AArch64 內(nèi)核、多線程數(shù)據(jù)路徑加速器、集成的 NVIDIA ConnectX-7 400Gb/s 網(wǎng)絡(luò) ，以及 I/O 路徑中的各種可編程加速引擎。它配備了雙 DDR 6500MT / s DRAM 控制器，并配有高達 32 GB 的板載內(nèi)存。BlueField-3 是第三代片上數(shù)據(jù)中心基礎(chǔ)設(shè)施，可實現(xiàn)從云到核心數(shù)據(jù)中心再到邊緣的、高效且強大的軟件定義、硬件加速基礎(chǔ)設(shè)施。

那么，這一切對高性能計算意味著什么呢？

提高 HPC 應用程序性能和可擴展性

HPC 就是為了提高性能和可擴展性。近二十年來，InfiniBand 網(wǎng)絡(luò)在性能和應用程序可擴展性方面一直處于領(lǐng)先地位，這有幾個原因。

從高層次來看，InfiniBand 只是最有效的數(shù)據(jù)移動方式：直接數(shù)據(jù)放置。在數(shù)據(jù)從網(wǎng)絡(luò)接口通過系統(tǒng)到達需要它的實際應用程序時，無需涉及 CPU 或操作系統(tǒng)，也無需制作數(shù)據(jù)的多個副本。

如果 InfiniBand 已經(jīng)如此高效，BlueField 會帶來什么好處？

InfiniBand 多年來一直在解決的關(guān)鍵挑戰(zhàn)之一是將網(wǎng)絡(luò)通信開銷從 CPU 移開，使其能夠?qū)r間集中在最擅長的事情上：應用程序計算和分支代碼。

當今主流服務(wù)器中的 CPU 過于通用，在數(shù)百或數(shù)千個與實際計算幾乎無關(guān)的進程中共享其計算周期、時間和資源。

BlueField 通過卸載、加速和隔離廣泛的高級網(wǎng)絡(luò)、存儲和安全服務(wù)，為超級計算帶來了前所未有的創(chuàng)新和效率。

為什么人工智能時代帶來了

對 BlueField DPU 的需求

人工智能研究領(lǐng)域作為一門學科于 1956 年成立。甚至在那之前的十年，科學家們就開始討論創(chuàng)造人工大腦的可能性。隨著現(xiàn)代計算機硬件和軟件的發(fā)展，這些概念很晚才成為現(xiàn)實。

2006 年，NVIDIA 推出了業(yè)界首個針對 GPU 的 C 編譯器開發(fā)環(huán)境 CUDA ，解決復雜計算問題的速度比傳統(tǒng)方法快 100 倍。今天，人工智能成果豐碩，幾乎推動了科學研究的每個領(lǐng)域，改變了我們的生活，塑造了工業(yè)格局。

同樣， 2006 年年中推出了用于非阻塞集合操作的首個提案。為消息傳遞接口（MPI）的集合組通信功能而提出的非阻塞接口在理論上肯定是成效斐然的。然而，它并沒有在許多應用程序中實現(xiàn)。也許這是因為，在引入 DPU 之前，無法實現(xiàn)全部好處。

今天，隨著 BlueField-3 的問世，這項技術(shù)已經(jīng)提供了創(chuàng)新、性能和效率所需的基本要素。為了提高應用程序性能和可伸縮性，并消除操作系統(tǒng)抖動的影響，非阻塞集合操作重新引起了人們的興趣。

科學計算還有幾個領(lǐng)域，包括早期的例子，BlueField 正在展示其如何將 HPC 轉(zhuǎn)化為高效和可持續(xù)的計算。

通過網(wǎng)絡(luò)計算節(jié)省 CPU 周期

NVIDIA 的 Scalable Hierarchical Aggregation and Reduction Protocol（SHARP）技術(shù)通過將許多阻塞集體操作從 CPU 卸載到交換網(wǎng)絡(luò)，且無需在端點之間多次發(fā)送數(shù)據(jù)，從而提高了 MPI 操作的性能。這種創(chuàng)新的方法減少了到達聚合節(jié)點時穿越網(wǎng)絡(luò)的數(shù)據(jù)量，并大大減少了 MPI 操作時間。

BlueField 通過利用其 Arm 內(nèi)核實現(xiàn)非阻塞操作，擴展了額外的網(wǎng)絡(luò)計算能力。這使系統(tǒng)主機 CPU 能夠執(zhí)行峰值重疊計算。

圖 2 顯示了一個使用 MVAPICH2- DPU 庫的示例，該庫正在進行優(yōu)化，以充分利用 BlueField 的全部潛力。它顯示了提取主機上發(fā)生的計算與 MPI_Ialltoall 通信之間的峰值重疊的能力。

適用于 HPC 工作負載的計算存儲

計算存儲（或稱為存儲計算）為傳統(tǒng)存儲設(shè)備帶來了 HPC 功能。在計算存儲中，您可以在存儲設(shè)備內(nèi)或旁邊執(zhí)行選定的計算任務(wù)，從而減輕主機處理負擔并減少數(shù)據(jù)移動。BlueField 提供在單卡上結(jié)合存儲和網(wǎng)絡(luò)計算的能力。

BlueField 使存儲軟件堆棧能夠從計算節(jié)點卸載，同時還可作為網(wǎng)絡(luò)架構(gòu)附加 NVMe 控制器，能夠加速關(guān)鍵存儲功能，如壓縮、校驗和計算以及奇偶校驗生成。此類服務(wù)在并行文件系統(tǒng)中提供。

整個存儲系統(tǒng)堆棧在 Linux 內(nèi)核中透明卸載，同時在 NVMe 目標端由 NVIDIA DOCA 簡單實現(xiàn)標準存儲功能。

新一代開放存儲架構(gòu)為加速、隔離和保護高性能存儲系統(tǒng)提供了一種新的范例。該系統(tǒng)采用硬件和軟件協(xié)同設(shè)計，使 DPU 對用戶來說非常高效和透明。

文件系統(tǒng)的加速意味著提高存儲系統(tǒng)中關(guān)鍵功能的性能，而存儲系統(tǒng)性能是基于深入學習的科學探究的關(guān)鍵促成因素。

將存儲客戶端和服務(wù)器完全卸載到 DPU 的能力帶來以前無法實現(xiàn)的安全和性能隔離級別。關(guān)鍵數(shù)據(jù)平面和控制平面功能移動到 DPU 上的單獨域。這樣可以免除服務(wù)器 CPU 的工作負擔，并在 CPU 或其軟件受損的情況下保護功能。

NVIDIA DOCA 軟件框架

NVIDIA DOCA SDK 是釋放 BlueField 潛力的關(guān)鍵。NVIDIA DOCA 和 BlueField DPU 通過一個全面、開放的開發(fā)平臺，共同實現(xiàn)了應用程序的開發(fā)，這些應用程序可以提供突破性的網(wǎng)絡(luò)、安全、存儲和應用程序性能。

NVIDIA DOCA 支持一系列操作系統(tǒng)和發(fā)行版，包括驅(qū)動程序、庫、工具、文檔和示例應用程序。即將發(fā)布的 NVIDIA DOCA 1.5 和 2.0 版本引入了廣泛的網(wǎng)絡(luò)、存儲、安全功能和增強功能，為 HPC 開發(fā)人員提供突破性的性能和高級編程能力：

全新的通信通道庫

快速訪問主機內(nèi)存以實現(xiàn) UCX 加速

存儲仿真（SNAP），包括存儲加密

全新的 NVIDIA DOCA 服務(wù)，包括 UCC 卸載服務(wù)和遙測服務(wù)

NVIDIA DOCA 安全 SDK

改變 HPC 領(lǐng)域的今天和明天

許多創(chuàng)新領(lǐng)域已經(jīng)初露端倪，BlueField DPU 、NVIDIA DOCA 以及社區(qū)將繼續(xù)為 HPC 領(lǐng)域帶來改變。

有些想法已經(jīng)實現(xiàn)了，例如在數(shù)據(jù)中心范圍內(nèi)增強性能隔離，或增強作業(yè)調(diào)度程序以實現(xiàn)更智能的作業(yè)安排。

由于科學應用程序通常是高度同步的，因此系統(tǒng)噪聲對大型 HPC 系統(tǒng)的負面影響可能會對性能產(chǎn)生更大的影響。減少存儲等其他過程引起的系統(tǒng)噪音至關(guān)重要。

遙測信息功能強大。它不僅僅是收集有關(guān)路由器、交換機和網(wǎng)絡(luò)流量的信息。相反，可以通過工作負載和 I/O 特性收集和共享信息。

AI 框架精確地調(diào)整了 NVIDIA Quantum-2 InfiniBand 平臺中的性能隔離算法。共享公共數(shù)據(jù)中心資源（如網(wǎng)絡(luò)和存儲）的多應用程序環(huán)境可以確保能實現(xiàn)的最佳性能，就像應用程序作為單個實例在裸機上運行一樣。

BlueField DPU 完全有能力應對大規(guī)模計算帶來的挑戰(zhàn)。