三張圖解析FPGA/ACAP在AI推理中的優(yōu)勢(shì)

三張圖

在Xilinx官網(wǎng)找資料無(wú)意中在應(yīng)用—>AI推斷加速中看到了下面三張圖，頓覺(jué)“眾里尋他千百度,驀然回首,那人卻在燈火闌珊處”的意思了。三張圖非常通俗易懂的介紹了FPGA/ACAP這樣的體系結(jié)構(gòu)在AI推理中的優(yōu)勢(shì)。

1. CPU/GPU實(shí)現(xiàn)中為了達(dá)到高吞吐量高性能，必須（要一次輸入足夠多的數(shù)據(jù)，但這會(huì)因?yàn)閿?shù)據(jù)的準(zhǔn)備和同步而增加延時(shí)）從而導(dǎo)致只能在高吞吐量或低延時(shí)中選擇其一。

2. FPGA/ACAP 覆蓋的應(yīng)用極其廣泛在IT,CT,OT中都深耕多年，積累的IP和應(yīng)用也非常豐富。在目前AI滲透到各個(gè)行業(yè)的時(shí)代，通過(guò)FPGA的自定義AI加速器可以快速，緊密耦合到已有的應(yīng)用。同時(shí)不僅僅是在AI部分加速，還可以在網(wǎng)絡(luò)，存儲(chǔ)等等對(duì)應(yīng)用整體進(jìn)行加速提高效能。

3. 人工智能/深度學(xué)習(xí)的模型在快速變化，利用新的Domain Specific Architecture的平臺(tái)，可以快速完成新的模型設(shè)計(jì)，快速完成迭代。

遺珠

無(wú)獨(dú)有偶，在Apple的開(kāi)發(fā)者大會(huì)相關(guān)的報(bào)道中，當(dāng)大家在討論iPad OS，驚嘆Mac 價(jià)格和配置時(shí)，往往漏掉了一則重要的信息，在Mac Pro中，除了CPU, GPU用戶(hù)還可以選裝FPGA加速卡，幫助Mac Pro視頻編輯的用戶(hù)同時(shí)處理3路8K視頻流或者12路4K視頻流。開(kāi)個(gè)小腦洞，也許在未來(lái)的某一年，突然發(fā)現(xiàn)每個(gè)工作站都會(huì)配備的FPGA 加速卡，利用FPGA加速特定的應(yīng)用服務(wù)。將來(lái)的APP Store中會(huì)不會(huì)順便賣(mài)賣(mài)加速的Overlay呢？

編輯：hfy