數(shù)據(jù)中心中的FPGA硬件加速器

再來看一篇FPGA的綜述，我們都知道微軟包括國(guó)內(nèi)的云廠商其實(shí)都在數(shù)據(jù)中心的服務(wù)器中部署了FPGA，所以這篇論文就以數(shù)據(jù)中心的視角，來看下FPGA這個(gè)硬件加速器。

還是一樣，想要論文原文的可以私信我。

由于論文不長(zhǎng)，我們就直接把原始論文翻譯出來，而不是跟之前一樣只總結(jié)部分內(nèi)容。

摘要

數(shù)據(jù)流特征的日益動(dòng)態(tài)化，給研究帶來了更多挑戰(zhàn)。數(shù)據(jù)中心的計(jì)算復(fù)雜度、存儲(chǔ)、能源和安全等方面的資源消耗正處于 intense 的研究焦點(diǎn)之下。本文旨在回顧通過部署現(xiàn)場(chǎng)可編程門陣列（FPGA 設(shè)備）來提高數(shù)據(jù)中心 operational 效率的方法。由于數(shù)據(jù)中心對(duì)高性能計(jì)算的需求巨大，本文解決了在處理數(shù)據(jù)方面的問題，盡管傳統(tǒng)方案仍然存在挑戰(zhàn)。本文還回顧了支持 FPGA 在數(shù)據(jù)中心中取得積極進(jìn)展的關(guān)鍵使能技術(shù)，如大數(shù)據(jù)和云計(jì)算，以及它們所面臨的挑戰(zhàn)。本文匯編并介紹了研究人員提出的 novel 架構(gòu)，并對(duì)基于 FPGA 的數(shù)據(jù)中心數(shù)據(jù)管理進(jìn)行了詳細(xì)分析，為研究人員提供了更多有前景的研究方向。

1. 引言

數(shù)據(jù)中心是一種物理計(jì)算設(shè)施，用于存儲(chǔ)關(guān)鍵應(yīng)用程序和數(shù)據(jù)，并用于共享計(jì)算應(yīng)用程序。數(shù)據(jù)中心的主要組件是交換機(jī)、路由器、防火墻、服務(wù)器和存儲(chǔ)介質(zhì)。在現(xiàn)代，多個(gè)數(shù)據(jù)中心通過邊緣、私有和公共云連接。在當(dāng)今的情況下，數(shù)據(jù)中心在企業(yè)資源規(guī)劃、客戶關(guān)系管理、大數(shù)據(jù)、機(jī)器學(xué)習(xí)和人工智能方面發(fā)揮著重要作用。數(shù)據(jù)中心的infrastructure經(jīng)歷了三個(gè)主要的時(shí)代：第一個(gè)時(shí)代是從大型機(jī)到 X-86 服務(wù)器，第二個(gè)時(shí)代是infrastructure的虛擬化，而現(xiàn)在是云、混合云和云原生。在過去十年中，計(jì)算負(fù)載從 10 萬增加到數(shù)百萬；所需的存儲(chǔ)容量從 PB 級(jí)增加到 EB 級(jí)，網(wǎng)絡(luò)容量所需的速度也朝著 Pbps 級(jí)方向增加。因此，技術(shù)擴(kuò)展對(duì)功率/熱密度、中央處理器 (CPU) 性能、異構(gòu)計(jì)算（即低功耗下的高性能）的需求非常迫切?，F(xiàn)在是時(shí)候從應(yīng)用程序加速、處理器卸載、性能/功耗和軟件定義開發(fā)的角度重新定義數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，以實(shí)現(xiàn)規(guī)模擴(kuò)展。

A. 數(shù)據(jù)中心中的 FPGA

為了填補(bǔ)數(shù)據(jù)中心的計(jì)算空白，人們認(rèn)為現(xiàn)場(chǎng)可編程門陣列 (FPGA) 將發(fā)揮主導(dǎo)作用，其市場(chǎng)價(jià)值預(yù)計(jì)將大幅上升?，F(xiàn)在的 FPGA 具有高速連接、存儲(chǔ)塊和信號(hào)處理塊。除此之外，還提供 USB 3.0、SATA 3.0、DDR4 控制器，以實(shí)現(xiàn)高速數(shù)據(jù)處理。此外，借助內(nèi)置的 ARM 處理器，可以實(shí)現(xiàn)實(shí)時(shí)處理，該處理器具有浮點(diǎn)和內(nèi)存管理功能。顯然，最新的 FPGA 部署了應(yīng)用處理器單元、實(shí)時(shí)處理單元和多媒體處理單元。此外，它們還具有復(fù)雜的加密算法、高速外設(shè)和收發(fā)器。上面討論的功能都集成在 FPGA 中。Xilinx 開發(fā)了專用的自適應(yīng)加速器卡硬件模塊 ALVEO，用于數(shù)據(jù)中心相關(guān)應(yīng)用。同樣，英特爾開發(fā)了 Agilex 和 Stratix 10 FPGA 系列，用于支持四核 ARM Cortex-A53 處理器的高性能加速應(yīng)用。強(qiáng)烈建議對(duì)下一代計(jì)算的芯片制造工藝進(jìn)行必要的更改，尤其是在數(shù)據(jù)中心應(yīng)用中。全球大多數(shù)著名的數(shù)據(jù)中心都使用可再生能源和超環(huán)路網(wǎng)絡(luò)設(shè)施來運(yùn)營(yíng)，以提供高效的電信數(shù)據(jù)和基于云的服務(wù)。

II. 數(shù)據(jù)中心大數(shù)據(jù)處理方案的演進(jìn)

使用無源光網(wǎng)絡(luò)，可以通過協(xié)同流調(diào)度來管理大數(shù)據(jù)，并進(jìn)行資源優(yōu)化。作者還考慮了改變大數(shù)據(jù)的流量模式，并使用 MapReduce 在以交換機(jī)為中心的設(shè)計(jì)中路由數(shù)據(jù)包。無源光網(wǎng)絡(luò)還用于以服務(wù)器為中心的應(yīng)用，為數(shù)據(jù)中心網(wǎng)絡(luò)提供可靠的高速骨干架構(gòu)。為了使用戶能夠在異構(gòu)數(shù)據(jù)中心中完美地利用 FPGA 加速器，Kchris 等人開發(fā)了一種集成的多功能加速器。圖 1 顯示了在數(shù)據(jù)中心應(yīng)用中發(fā)揮重要作用的節(jié)能大數(shù)據(jù)處理方案的詳細(xì)分類。

B. 案例研究：用于數(shù)據(jù)處理的可重構(gòu)設(shè)備

硬件加速器

谷歌、微軟和亞馬遜已經(jīng)更新了部署 FPGA 的數(shù)據(jù)中心，以增強(qiáng)后端的機(jī)器學(xué)習(xí)。FPGA 為節(jié)能可編程硬件架構(gòu)提供了一種很有前景的替代方案。FPGA 的可重構(gòu)能力允許在數(shù)據(jù)中心的不同環(huán)境下實(shí)現(xiàn)高性能、低功耗和高吞吐量。表 1 列出了 CNN 在 FPGA 中的性能?；谌轿?、基于加速器的異構(gòu)集成數(shù)據(jù)中心的 VINEYARD .

如圖 2 所示，它為具有粗粒度和細(xì)粒度可編程加速器的低能耗數(shù)據(jù)中心提供了一個(gè)單一平臺(tái)?；?FPGA 的加速與超片概念是為 CNN 設(shè)計(jì)的，用于在數(shù)據(jù)中心中執(zhí)行各種不同的視頻和圖像相關(guān)推理任務(wù)。圖 3 顯示了超片單元上的卷積計(jì)算。在此設(shè)計(jì)中，對(duì)基本增強(qiáng)處理單元 (EPE) 進(jìn)行了放大和修改，使其成為超片單元，以提高不同種類卷積過程的交錯(cuò)類型任務(wù)調(diào)度的性能。ConvNet、DNN Weaver、Caffeine 和 Snow Flake CNN 在 Zynq 和 Kintex FPGA 設(shè)備中實(shí)現(xiàn)。這些結(jié)果表明，所實(shí)現(xiàn)的 CNN 的工作頻率高達(dá) 250 MHz，延遲為 8.22 毫秒，并且能夠在 FPGA 中執(zhí)行 197.4 GOPS（每秒千兆次運(yùn)算），如表 1 所示。

微軟自 2015 年起就將 FPGA 集成到 Bing 中，以加速數(shù)據(jù)搜索。它由 PCI Express 交換機(jī)中的 6 個(gè) Virtex 6 組成。該 FPGA 加速器卡安裝在 Supermicro-Super-Server 中，用于 48（根據(jù)需要）節(jié)點(diǎn)服務(wù)器 pod，連接到 10 Gb 每秒以太網(wǎng)通信端口的 4 個(gè)節(jié)點(diǎn)。它已擴(kuò)展到 1632 個(gè)節(jié)點(diǎn)集群。圖 2 顯示了 FPGA 查詢延遲行為。FPGA 的采用將搜索性能提高了 2 倍。吞吐量增加，延遲減少了 29%，與 X86 iron 相比，降低了成本（高達(dá) 30%）和功耗?？梢詫⒂?jì)算密集型任務(wù)轉(zhuǎn)發(fā)到附近的邊緣節(jié)點(diǎn)。具有 FPGA 的硬件可定制邊緣計(jì)算提高了性能并節(jié)省了能源。使用此方法通過卸載實(shí)現(xiàn)了基于計(jì)算機(jī)視覺的移動(dòng)應(yīng)用程序，這分別為邊緣設(shè)備和移動(dòng)設(shè)備提供了 16.2% 和 29.5% 的能效。如表 4 和表 5 所示，響應(yīng)時(shí)間也大大減少了。

最近，CESNET（捷克 NREN）演示了基于 Virtex Ultra Scale+ FPGA 的 NFB-200G2QL 加速器可在單個(gè) NIC 卡中實(shí)現(xiàn) 200 Gbps 吞吐量的網(wǎng)絡(luò)數(shù)據(jù)傳輸。在此環(huán)境上進(jìn)行的現(xiàn)代基準(zhǔn)測(cè)試模擬提供的性能是完整軟件模擬的兩倍。

C. 高性能計(jì)算

本節(jié)主要強(qiáng)調(diào)了將基于云的服務(wù)與基于 FPGA 的數(shù)據(jù)中心架構(gòu)相集成的重要性，以及基于云網(wǎng)絡(luò)的數(shù)據(jù)處理任務(wù)的動(dòng)機(jī)。表 7 突出顯示了 FPGA 支持的云計(jì)算在數(shù)據(jù)中心中的各種作用。

在 FPGA 上移植應(yīng)用程序并不是適用于數(shù)據(jù)中心或云應(yīng)用程序中使用的所有類型和配置的 FPGA 的即插即用任務(wù)。為數(shù)據(jù)中心開發(fā)的 FPGA 虛擬化可用于與領(lǐng)域無關(guān)的用戶設(shè)計(jì)進(jìn)行交互。顯然，虛擬化 FPGA 是為數(shù)據(jù)中心中的流式云應(yīng)用程序開發(fā)的，并將結(jié)果與使用 FPGA 設(shè)計(jì)的傳統(tǒng)虛擬機(jī)進(jìn)行了比較。即使 FPGA 中軟錯(cuò)誤的物理發(fā)生頻率不高，也需要測(cè)試 FPGA 的魯棒性。尤其是在采用了超過 100,000 個(gè) FPGA 節(jié)點(diǎn)的大規(guī)模數(shù)據(jù)中心中，需要確?？煽啃砸员苊鈹?shù)據(jù)損壞。對(duì)基于 FPGA 的云計(jì)算節(jié)點(diǎn)進(jìn)行故障分析，以估計(jì) FPGA 在云計(jì)算中對(duì)軟錯(cuò)誤的敏感性。對(duì) FPGA 結(jié)構(gòu)代理和多 FPGA 結(jié)構(gòu)的設(shè)計(jì)進(jìn)行了動(dòng)態(tài)策略分析，并對(duì) FPGA 的擴(kuò)展進(jìn)行了分析，觀察到吞吐量、性能和延遲方面的改進(jìn)。

D. 高性能計(jì)算

隨著智能設(shè)備、自動(dòng)駕駛汽車和互聯(lián)工廠的發(fā)展，它們將生成大量需要處理的數(shù)據(jù)。高性能計(jì)算用于利用分布式計(jì)算資源來解決復(fù)雜問題，其中包含大約 TB 甚至 ZB 的大型數(shù)據(jù)集，這些數(shù)據(jù)集需要實(shí)時(shí)處理。此類高性能計(jì)算通常由 CPU 和 GPU 執(zhí)行。表 8 突出顯示了 FPGA 在 HPC 中最重要的作用。

與 CPU 和 GPU 相比，F(xiàn)PGA 在某些應(yīng)用中的性能優(yōu)于 CPU 和 GPU：

線性代數(shù)方程的求解速度比 CPU 快 19 倍。地球物理的 3D 卷積比 CPU 快 70 倍，比 CPU 快 14 倍。分子動(dòng)力學(xué)的求解速度比 NAMD CPU 快 80 倍。用于生物信息學(xué)的基本局部比對(duì)搜索工具 (BLAST) 的求解速度比并行優(yōu)化的 CPU 快 5 倍。用于氣候建模的全球大氣方程比 CPU 快 19 倍，比 GPU 快 7 倍。FPGA 可配置用于具有高速計(jì)算的數(shù)據(jù)壓縮應(yīng)用程序，并將其集成到虛擬化環(huán)境中。

此外，在沒有任何通信開銷的情況下，F(xiàn)PGA 可以配置為提供具有更好硬件加速的微服務(wù)。使用帶有 OpenCL 編譯器的 Nallatech FPGA 實(shí)現(xiàn)了兩個(gè) HPC 應(yīng)用程序，例如最近鄰和 Lava MD（分子動(dòng)力學(xué)）以及文檔分類。與 Xeon 類型的處理器相比，此硬件架構(gòu)產(chǎn)生的結(jié)果快 4.3 倍、5.3 倍和 1.3 倍。FPGA 實(shí)現(xiàn)的功耗也降低了。表 9 顯示了上述應(yīng)用程序的實(shí)現(xiàn)時(shí)間。在 FPGA、CPU 和 GPU 上演示了 AES256。基于 FPGA 的密碼分析在成本、功耗和吞吐量方面的性能優(yōu)于 GPU 和 CPU，如表 9 和表 10 所示。

基于 ZU102 FPGA 的配置與純軟件數(shù)據(jù)傳輸相比，延遲降低了 25%。此外，在相同配置上進(jìn)行 HPC 矩陣乘法的吞吐量提高了 10%。FPGA 可以配置為協(xié)處理器，因此與英特爾 i5 處理器相比，它可以使同態(tài)加密算法的速度提高 13 倍。表 11 列出了 FFT 實(shí)現(xiàn)的結(jié)果。它證實(shí)了基于 FPGA 的實(shí)現(xiàn)具有更高的吞吐量，并且由于模塊之間通過互連進(jìn)行高速數(shù)據(jù)傳輸而降低了延遲。

因此，可以將 FPGA 集成到特定應(yīng)用任務(wù)、計(jì)算密集型任務(wù)、內(nèi)存訪問結(jié)構(gòu)等中，以改善延遲、吞吐量和執(zhí)行速度。

III. 未來研究趨勢(shì)、挑戰(zhàn)和機(jī)遇

隨著數(shù)據(jù)量的增加，數(shù)據(jù)中心必須移動(dòng)更多的數(shù)據(jù)，它們面臨著來自不同方向的重大挑戰(zhàn)。盡管列出的問題并不代表所有基于 FPGA 的數(shù)據(jù)中心中尚未解決的研究趨勢(shì)，但它們對(duì)通過高速計(jì)算執(zhí)行以數(shù)據(jù)為中心的功能（如持久性、數(shù)據(jù)縮減、數(shù)據(jù)安全、數(shù)據(jù)過濾、數(shù)據(jù)分析等）具有長(zhǎng)期影響。因此，F(xiàn)PGA 數(shù)據(jù)中心預(yù)計(jì)將與 CPU 進(jìn)行協(xié)同調(diào)度，包括異構(gòu)云數(shù)據(jù)中心管理、深度神經(jīng)網(wǎng)絡(luò)加速、通道攻擊管理、FPGA 調(diào)度、虛擬化和漏洞分析。

IV. 結(jié)論和未來范圍

芯片制造技術(shù)和 FPGA 的進(jìn)步至關(guān)重要，它們?cè)谠鰪?qiáng)數(shù)據(jù)中心數(shù)據(jù)管理性能方面發(fā)揮著至關(guān)重要的作用。CPU 和傳統(tǒng)計(jì)算資源面臨著許多與數(shù)據(jù)流的動(dòng)態(tài)特性相關(guān)的問題，這些問題涉及在數(shù)據(jù)中心云網(wǎng)絡(luò)中處理數(shù)據(jù)流。FPGA 集群架構(gòu)、云計(jì)算、硬件加速方面的創(chuàng)新可用于實(shí)現(xiàn)數(shù)據(jù)的快速處理并適應(yīng)其動(dòng)態(tài)流特性。