微軟推出基于FPGA的深度學(xué)習加速平臺

微軟團隊推出了一個新的深度學(xué)習加速平臺，其代號為腦波計劃（Project Brainwave），機器之心將簡要介紹該計劃。腦波計劃在深度學(xué)習模型云服務(wù)方面實現(xiàn)了性能與靈活性的巨大提升。微軟專為實時人工智能設(shè)計了該系統(tǒng)，它可以超低延遲地處理接收到的請求。云基礎(chǔ)架構(gòu)也可以處理實時數(shù)據(jù)流，如搜索查詢、視頻、傳感器流，或者與用戶的交互，因此實時 AI 變的越發(fā)重要。

近來，FPGA 對深度學(xué)習的訓(xùn)練和應(yīng)用變得越來越重要，因為 FPGA：低批量大小上的優(yōu)秀推理性能、在現(xiàn)代 DNN 上服務(wù)的超低延遲、>10X 且比 CPU 和 GPU 更低、在單一 DNN 服務(wù)中擴展到很多 FPGA。FPGA 十分適合適應(yīng)快速發(fā)展的 ML、CNN、LSTM、MLP、強化學(xué)習、特征提取、決策樹等、推理優(yōu)化的數(shù)值精度、利用稀疏性、更大更快模型的深度壓縮。

微軟在 FPGA 上擁有全球最大的云計算投資、AI 總體能力的多實例操作、腦波計劃運行在微軟的規(guī)模基礎(chǔ)設(shè)施上。所以我們發(fā)布了腦波計劃（Project BrainWave），一個可擴展的、支持 FPGA 的 DNN 服務(wù)平臺，它有三個特性：小批量 DNN 模型有超低延遲、高吞吐量服務(wù)，適應(yīng)性數(shù)值精度與自定義運算符，CNTK/Caffe/TF/等的交鑰匙（turnkey）部署。

腦波計劃系統(tǒng)的主要內(nèi)容包括以下三個層面：一個高性能的分布式系統(tǒng)架構(gòu)；一個集成在 FPGA 的硬件 DNN 引擎；一個用于已訓(xùn)練模型的低摩擦（low-friction）部署的編譯器和運行時間。

首先，腦波計劃利用了微軟這些年一直部署的大量 FPGA 基礎(chǔ)架構(gòu)。通過把高性能 FPGA 直接連接到我們的數(shù)據(jù)中心網(wǎng)絡(luò)，我們可以把 DNN 作為硬件微服務(wù)，其中 DNN 可以映射到一個遠程 FPGA 池，并被循環(huán)中沒有軟件的服務(wù)器調(diào)用。這個系統(tǒng)架構(gòu)不僅可以降低延遲（因為 CPU 并不需要處理傳入的請求），還可以允許非常高的吞吐量，并且 FPGA 處理請求可以如網(wǎng)絡(luò)的流式傳輸一樣快。

第二，腦波計劃使用了一個強大的在商業(yè)化可用的 FPGA 上合成的「軟」DNN 處理單元（DPU）。大量的公司，包括大型公司和一大批初創(chuàng)公司，正在構(gòu)造硬化的 DPU。盡管其中一些芯片具有高峰值性能，但它們必須在設(shè)計時選擇運算符和數(shù)據(jù)類型，這限制了其靈活性。腦波計劃采取了另一種方法，提供了一個可在一系列數(shù)據(jù)類型上縮放的設(shè)計。

這個設(shè)計結(jié)合了 FPGA 上的 ASIC 數(shù)字信號處理模塊和可合成的邏輯，以提供一個更大更優(yōu)化數(shù)量的功能單元。這一方法以兩種方式利用了 FPGA 的靈活性。首先，我們已經(jīng)定義了高度自定義、窄精度（narrow-precision）的數(shù)據(jù)類型，無需損失模型精度即可提升性能。第二，我們可以把研究創(chuàng)新快速整合進硬件平臺（通常是數(shù)周時間），這在快速移動的空間中至關(guān)重要。因此，我們?nèi)〉昧丝涉敲烙谏踔脸^很多硬編碼（hard-coded）DPU 芯片的性能，并在今天兌現(xiàn)了性能方面的承諾。

單線程 C 編程模型（沒有 RTL），具有專門指令的 ISA：密集矩陣乘法、卷積、非線性激勵值、向量操作、嵌入，獨有的可參數(shù)化的窄精度格式，包含在 float16 接口中，可參數(shù)化的微架構(gòu)，并且擴展到大型 FPGA（~1M ALMs），硬件微服務(wù)完全整合（附設(shè)網(wǎng)絡(luò)），用于 CPU 主機和 FPGA 的 P2P 協(xié)議，易于擴展帶有自定義運算符的 ISA。

優(yōu)化以適用于批量為 1 的矩陣向量乘法，矩陣逐行分布在 BRAM 的 1K-10K 個內(nèi)存塊上，最高 20 TB/s，可擴展以使用芯片上所有可用的 BRAM、DSP 和軟邏輯（soft logic），將 float 16 權(quán)重和激活值原位轉(zhuǎn)換成內(nèi)部格式，將密集的點積單元高效映射到軟邏輯和 DSP。

第三，腦波計劃納入了一款支持多個流行深度學(xué)習框架的軟件棧（software stack）。我們已經(jīng)支持微軟 Cognitive Toolkit 和谷歌的 Tensorflow，并且計劃支持其他框架。我們已經(jīng)定義了一個基于圖的中間表示（intermediate representation），我們將在流行框架中訓(xùn)練的模型轉(zhuǎn)換成中間表示，然后再將其編譯成我們的高性能基礎(chǔ)架構(gòu)。