英特爾推出了Stratix 10 NX FPGA著眼于AI模型訓(xùn)練和推理

FPGA越來(lái)越多地用于加速數(shù)據(jù)中心中的AI工作負(fù)載，以完成諸如機(jī)器學(xué)習(xí)推理之類(lèi)的任務(wù)。越來(lái)越多的FPGA加速器正在挑戰(zhàn)數(shù)據(jù)中心GPU的部署，從而有望減輕數(shù)據(jù)中心服務(wù)器中已經(jīng)工作過(guò)度的CPU的負(fù)擔(dān)。

本月初，英特爾（NASDAQ：INTC）推出了Stratix 10 NX FPGA，著眼于AI模型訓(xùn)練和推理。賽靈思公司（納斯達(dá)克股票代碼：XLNX）已經(jīng)對(duì)其在VMware vSphere云計(jì)算虛擬化平臺(tái)上運(yùn)行的Alveo FPGA進(jìn)行了驗(yàn)證。

VMware使用Xilinx Alveo U250加速卡進(jìn)行測(cè)試，通過(guò)Docker容器提供了機(jī)器學(xué)習(xí)模型，該容器與FPGA制造商的新Vitis AI開(kāi)發(fā)堆棧集成在一起，用于機(jī)器學(xué)習(xí)推理。開(kāi)源堆棧支持Caffe和TensorFlow框架。

合作伙伴本周報(bào)告說(shuō)，虛擬部署和裸機(jī)部署之間機(jī)器學(xué)習(xí)推理的低延遲性能“幾乎相同”。

使用直接路徑I / O配置，虛擬機(jī)內(nèi)部運(yùn)行的應(yīng)用程序可以訪(fǎng)問(wèn)FPGA。該設(shè)置繞過(guò)了管理程序?qū)?，以提高性能并減少延遲

Xilinx在描述vSphere測(cè)試結(jié)果的博客文章中指出：“測(cè)試證明，虛擬機(jī)和裸機(jī)之間的性能差距在吞吐量和延遲方面均保持在2%以?xún)?nèi)?！?/p>

“這表明在虛擬環(huán)境中用于［機(jī)器學(xué)習(xí)］推理的vSphere上Alveo U250的性能幾乎與裸機(jī)基準(zhǔn)相同?！?/p>

賽靈思和FPGA競(jìng)爭(zhēng)對(duì)手英特爾正在推廣其最新的數(shù)據(jù)中心加速器卡，以滿(mǎn)足客戶(hù)對(duì)異構(gòu)架構(gòu)不斷增長(zhǎng)的需求，并隨著客戶(hù)運(yùn)行更多的AI工作負(fù)載而提高性能。隨著延遲的減少，F(xiàn)PGA的發(fā)展也得到了推廣，以降低與通用CPU中未充分利用的硅片容量相關(guān)的成本。

隨著新工具的出現(xiàn)，F(xiàn)PGA逐漸進(jìn)入主流，以挑戰(zhàn)GPU加速器，以簡(jiǎn)化FPGA編程和開(kāi)發(fā)。

例如，Xilinx 的Vitis AI工具被定位為一個(gè)開(kāi)發(fā)平臺(tái)，用于推斷從Alveo卡到邊緣設(shè)備的各種硬件。Vitis包括旨在加快AI推理速度的芯片IP，工具，庫(kù)和模型。

該工具包與“ AI模型動(dòng)物園”一起包含“ AI優(yōu)化器”之類(lèi)的功能，這些功能旨在將模型壓縮多達(dá)50倍，以提高AI推理性能。同時(shí)，探查器跟蹤推理實(shí)現(xiàn)的效率和利用率，而AI庫(kù)運(yùn)行時(shí)包括用于應(yīng)用程序開(kāi)發(fā)的C ++和Python API。

Xilinx AI推理開(kāi)發(fā)堆棧可在GitHub上獲得。

同時(shí)，競(jìng)爭(zhēng)對(duì)手Stratix 10 NX的推出也使英特爾向異構(gòu)計(jì)算邁進(jìn)了相似的道路。芯片制造商的戰(zhàn)略還包括硬件和軟件集成，以及應(yīng)用程序開(kāi)發(fā)中使用的標(biāo)準(zhǔn)庫(kù)和框架的集成。