使用 NVIDIA DOCA 2.2 加速數(shù)據(jù)中心工作負(fù)載和 AI 應(yīng)用程序

NVIDIA DOCA SDK 和加速框架為開發(fā)者提供了豐富的庫、驅(qū)動(dòng)程序和 API，以便為 NVIDIA BlueField DPU 和 ConnectX 智能網(wǎng)卡創(chuàng)建高性能應(yīng)用程序和服務(wù)。它推動(dòng)了數(shù)據(jù)中心的創(chuàng)新，實(shí)現(xiàn)了應(yīng)用程序的快速部署。

憑借全面的功能，NVIDIA DOCA 可為基于 BlueField DPU 進(jìn)行開發(fā)的開發(fā)人員提供大規(guī)模加速數(shù)據(jù)中心工作負(fù)載和人工智能應(yīng)用程序的一站式服務(wù)。

NVIDIA DOCA 現(xiàn)已普遍可用，已使超過 10,000 名開發(fā)者從中受益，并使更廣泛的開發(fā)者社區(qū)利用 BlueField DPU 平臺(tái)實(shí)現(xiàn)創(chuàng)新的人工智能和云服務(wù)。

NVIDIA DOCA 2.2 的新增和增強(qiáng)功能

NVIDIA DOCA 2.2 引入了新增功能和增強(qiáng)功能，用于卸載、加速和隔離數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)、存儲(chǔ)、安全和基礎(chǔ)設(shè)施管理。

視頻 1：觀看 NVIDIA DOCA 軟件框架簡(jiǎn)介

可編程性

NVIDIA BlueField-3 DPU 與其板載專用數(shù)據(jù)路徑加速器（DPA）和 DOCA SDK 框架相結(jié)合，提供了一個(gè)無與倫比的平臺(tái)。現(xiàn)在，開發(fā)者可以創(chuàng)建需要高吞吐量和低延遲的高性能且可擴(kuò)展的網(wǎng)絡(luò)應(yīng)用程序。

數(shù)據(jù)路徑加速器

為利用 BlueField-3 DPA 編程子系統(tǒng)，NVIDIA DOCA 2.2 提供了幾項(xiàng)增強(qiáng)功能。DOCA DPA 是 DOCA SDK 開發(fā)包的一個(gè)新計(jì)算子系統(tǒng)部分，它提供了一個(gè)編程模型，用于卸載在 DPA 處理器上運(yùn)行的以通信為中心的用戶代碼。DOCA DPA 有助于卸載 CPU 流量，并通過 DPU 加速提高性能。

圖 1：NVIDIA BlueField-3 DPU 流入和流出流量

DOCA DPA 還提供了顯著的開發(fā)優(yōu)勢(shì)，包括在創(chuàng)建自定義模擬和擁塞控制時(shí)具有更高的靈活性。定制的擁塞控制對(duì)于人工智能工作流至關(guān)重要，可以實(shí)現(xiàn)性能隔離、提高公平性，并防止在有損網(wǎng)絡(luò)上的丟包。

DOCA 2.2 版本引入了以下 SDK：

• DOCA-FlexIO：這是一個(gè)用于 DPA 編程的低級(jí)別 SDK。具體來說，DOCA FlexIO 驅(qū)動(dòng)程序提供了用于通過 DPA 管理和運(yùn)行代碼的 API。

• DOCA-PCC：這是一個(gè)用于擁塞控制開發(fā)的 SDK，它使 CSP 和企業(yè)客戶能夠創(chuàng)建自己的擁塞控制算法，從而通過更高的帶寬和更低的延遲來提高網(wǎng)絡(luò)運(yùn)營(yíng)的穩(wěn)定性和效率。

NVIDIA 還提供必要的工具鏈、示例和輔助資料，以加快和支持開發(fā)工作。請(qǐng)注意，NVIDIA DOCA DPA 可在 DPU 模式和 NIC 模式下使用。

圖 2：DOCA-PCC 提供更高的帶寬和更低的延遲

網(wǎng)絡(luò)

NVIDIA DOCA 和 BlueField-3 DPU 通過一個(gè)全面、開放的開發(fā)平臺(tái)，共同開發(fā)出具有突破性網(wǎng)絡(luò)性能的應(yīng)用程序。NVIDIA DOCA 包括一系列驅(qū)動(dòng)程序、庫、工具和示例應(yīng)用程序，并在不斷發(fā)展。此版本提供了以下其他功能，以支持網(wǎng)絡(luò)應(yīng)用程序的開發(fā)。

NVIDIA DOCA Flow

借助 NVIDIA DOCA Flow，用戶可以定義和控制網(wǎng)絡(luò)流量，實(shí)現(xiàn)網(wǎng)絡(luò)策略，并以編程方式管理網(wǎng)絡(luò)資源。它提供網(wǎng)絡(luò)虛擬化、遙測(cè)、負(fù)載平衡、安全強(qiáng)制和流量監(jiān)控等功能。這些功能有助于以低延遲處理高數(shù)據(jù)包工作負(fù)載，節(jié)省 CPU 資源并降低功耗。

此版本包括以下新功能，可為云部署帶來即時(shí)優(yōu)勢(shì)：

• 支持隧道卸載 - GENEVE 和 GRE：提供增強(qiáng)的安全性、可見性、可擴(kuò)展性、靈活性和可擴(kuò)展性，是站點(diǎn)通信、網(wǎng)絡(luò)隔離和多租戶的構(gòu)建塊。具體而言，GRE 隧道用于連接單獨(dú)的網(wǎng)絡(luò)并建立安全的 VPN 通信，支持 Overlay 網(wǎng)絡(luò)，提供協(xié)議靈活性，并實(shí)現(xiàn)流量工程。

• 支持具有 bps / pps 選項(xiàng)的每個(gè)流計(jì)量：在云環(huán)境中，監(jiān)控 / 分析流量（即測(cè)量帶寬或數(shù)據(jù)包速率）、管理 QoS（即執(zhí)行限制）或增強(qiáng)安全性（即阻止拒絕服務(wù)攻擊）都至關(guān)重要。

• 增強(qiáng)的鏡像功能（FDB / 交換機(jī)域）：這項(xiàng)新增功能不僅用于監(jiān)控、故障排除、安全分析和性能優(yōu)化，還能為鏡像工作負(fù)載提供更高的 CPU 利用率。

OVS-DOCA （Beta 版）

OVS-DOCA 是適用于 NVIDIA 網(wǎng)絡(luò)服務(wù)的高度優(yōu)化虛擬交換機(jī)。其極其高效的設(shè)計(jì)通過 NVIDIA 網(wǎng)卡或 DPU 提升了下一代性能和規(guī)模?，F(xiàn)在，OVS-DOCA 可以在 DOCA 中用于 DPU，也可以在 DOCA 中用于主機(jī)（二進(jìn)制文件和源代碼）。

圖 3：OVS- DOCA 針對(duì) NVIDIA 網(wǎng)絡(luò)服務(wù)進(jìn)行了優(yōu)化

基于 Open vSwitch，OVS-DOCA 提供了相同的北向 API、OpenFlow、CLI 和數(shù)據(jù)接口，為 OVS 提供了一種替代方案。使用 OVS-DOCA 可以更快地實(shí)現(xiàn)未來 NVIDIA 創(chuàng)新的網(wǎng)絡(luò)功能。

BlueField-3（增強(qiáng)的）NIC 模式（Beta 版）

此版本受益于增強(qiáng)的 BlueField-3 NIC 模式，目前處于 Beta 版。與卸載、加速和隔離都可用的 BlueField-3 DPU 模式不同，BlueField-3 NIC 模式僅提供加速功能。

圖 4：BlueField-3（增強(qiáng)的）NIC 模式

在繼續(xù)利用 BlueField 低功耗和低計(jì)算密集型 SKU 的同時(shí)，增強(qiáng)的 BlueField-3 NIC 模式比當(dāng)前的 ConnectX BlueField-2 NIC 模式具有許多優(yōu)勢(shì)，包括：

• 使用本地 DPU 內(nèi)存大規(guī)模實(shí)現(xiàn)更高的性能和更低的延遲

• 采用可編程擁塞控制（PCC）的高性能 RDMA

• 利用 DPA 和其他 BlueField 加速器實(shí)現(xiàn)可編程性

• 通過設(shè)備認(rèn)證和卡載 BMC 實(shí)現(xiàn)強(qiáng)大平臺(tái)安全性

請(qǐng)注意，BlueField-3 NIC 模式將作為一種軟件模式進(jìn)行產(chǎn)品化，而非單獨(dú)的 SKU，以實(shí)現(xiàn)未來使用 DPU 模式。因此，BlueField-3 NIC 模式是所有 BlueField-3 SKU 上都可以使用的且完全支持的軟件功能。對(duì)于在 NIC 模式下運(yùn)行的任何 BlueField-3 DPU，DPA 可編程性要求在主機(jī)上安裝 DOCA 和活躍的基于主機(jī)服務(wù)。

服務(wù)

NVIDIA DOCA 服務(wù)是一種基于容器化 DOCA 程序，為特定用例提供端到端解決方案。這些服務(wù)可以通過 NVIDIA NGC 獲得，從而可以輕松地將它們直接部署到 DPU。DOCA 2.2 提供了更好的控制能力，現(xiàn)在可以離線安裝 DOCA 服務(wù)。

NGC 離線服務(wù)安裝

從 NGC 安裝 DOCA 服務(wù)需要互聯(lián)網(wǎng)連接。然而，許多客戶在沒有互聯(lián)網(wǎng)接入的安全生產(chǎn)環(huán)境中運(yùn)營(yíng)。因此，我們提供了“非連接”部署選項(xiàng)，可以在完全安全的生產(chǎn)環(huán)境中安裝服務(wù)，從而簡(jiǎn)化流程，并避免了每臺(tái)服務(wù)器都需要連接才能完成安裝過程的情況。

例如，考慮在生產(chǎn)環(huán)境中安裝 DOCA 遙測(cè)服務(wù)（DTS）以支持計(jì)量收集。整個(gè)安裝過程只需兩個(gè)步驟即可完成：

• 步驟 1：在已連接的服務(wù)器上下載 NGC

• 步驟 2：使用內(nèi)部安全交付進(jìn)行離線安裝

總結(jié)

NVIDIA DOCA 2.2 在推動(dòng)數(shù)據(jù)中心創(chuàng)新以及為人工智能應(yīng)用而改造云和企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)方面發(fā)揮著關(guān)鍵和不可或缺的作用。通過為 BlueField DPU 提供全面的 SDK 和加速框架，DOCA 為開發(fā)者提供了強(qiáng)大的庫、驅(qū)動(dòng)程序和 API，從而能夠創(chuàng)建高性能的應(yīng)用程序和服務(wù)。

DOCA 2.2 有了一些新增功能和增強(qiáng)功能，可以立即獲得許多優(yōu)勢(shì)。除了通過 DPU 加速實(shí)現(xiàn)的性能提升外，DOCA-FlexIO 和 DOCA-PCC SDK 的加入為開發(fā)者提供了以人工智能為中心的加速計(jì)算優(yōu)勢(shì)。這些 SDK 能夠創(chuàng)建自定義模擬和算法，縮短上市時(shí)間，并顯著改善整體開發(fā)體驗(yàn)。

此外，NVIDIA DOCA FLOW 和 OVS-DOCA 的網(wǎng)絡(luò)特定更新為軟件定義的網(wǎng)絡(luò)和安全解決方案提供了簡(jiǎn)化的交付途徑。這些功能提高了效率，增強(qiáng)了可見性、可擴(kuò)展性和靈活性，對(duì)于構(gòu)建復(fù)雜而安全的基礎(chǔ)架構(gòu)至關(guān)重要。

DOCA 為數(shù)據(jù)中心創(chuàng)新、人工智能應(yīng)用加速和強(qiáng)大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施做出了廣泛貢獻(xiàn)，是 NVIDIA 人工智能云服務(wù)的重要組成部分。隨著行業(yè)朝著更復(fù)雜、更苛刻的計(jì)算需求發(fā)展，DOCA 的不斷發(fā)展以及與尖端技術(shù)的集成將進(jìn)一步鞏固其作為開創(chuàng)性平臺(tái)的地位，為數(shù)據(jù)中心和人工智能驅(qū)動(dòng)的解決方案的未來賦能。

掃描下方二維碼，立即訪問 DOCA。

?

更多精彩內(nèi)容 利用 NVIDIA DOCA Flow 實(shí)現(xiàn) DPU 加速數(shù)據(jù)包轉(zhuǎn)向邏輯
使用 NVIDIA DOCA GPUNetIO 實(shí)現(xiàn)實(shí)時(shí)網(wǎng)絡(luò)處理功能
利用 NVIDIA DOCA 2.0 改變 IPsec 的部署