匠人精神是怎么用在FPGA存儲器

曾經(jīng)看到過一部紅極一時的紀錄片《壽司之神》。

小野二郎是世界上年紀最大的米其林三星主廚，老爺子一輩子就鉆研了一件事：壽司。

在垂直的領(lǐng)域做到世界頂級，靠的就是匠人精神。

如果我們拋開那些外在的包裝和炒作，沉淀下來去觀察他做的事情，就不難發(fā)現(xiàn)匠人精神的本質(zhì)，其實就是專業(yè)和堅持。

捏壽司是這樣，各行各業(yè)也是這樣，芯片行業(yè)也不例外。

推動行業(yè)發(fā)展的，或許并不是圖靈那樣可遇不可求的天才，而是更多『匠人』對極致的追求，特別是他們在某個小領(lǐng)域不斷地深耕、優(yōu)化、提升。

打個最簡單的比方，天才創(chuàng)造了開天辟地的理論，就像是1，但需要無數(shù)匠人在后面補上0，才能讓這個數(shù)變的越來越大。

芯片行業(yè)也不例外。

當(dāng)FPGA在1984年誕生的時候，就像是一個不起眼的1，沒有人會想到這將成為一個價值幾十億美元的產(chǎn)業(yè)。不到四十年的時間，后面加了十個0。

這就是指數(shù)級的爆發(fā)。

摩爾定律描述的就是指數(shù)級的規(guī)律，而FPGA一直都是體現(xiàn)摩爾定律的最好例子。接下來我們就從FPGA存儲器這個小領(lǐng)域，看看匠人精神是怎么用在這里的。

1、新型存儲架構(gòu)

英特爾總結(jié)過，F(xiàn)PGA現(xiàn)在和未來的發(fā)展趨勢只有三個：

傳輸更快，存儲更多，計算更廣。

Move fast, Store more, Process everything.

所以，就像不要覺得壽司只是酸米飯配芥末一樣，再也不要覺得FPGA只是用來做芯片原型驗證的了。FPGA早就被用作高能效的硬件加速單元，去加速你能想到的所有應(yīng)用了。

FPGA之所以有這樣的能力，是由它本身的結(jié)構(gòu)決定的。比如FPGA有著很強的硬件并行性，能像GPU那樣進行并行運算，但功耗卻低很多；它還能靈活地調(diào)整數(shù)據(jù)的精度，讓神經(jīng)網(wǎng)絡(luò)的壓縮和優(yōu)化成為現(xiàn)實。

同樣重要的是，FPGA能提供極高的內(nèi)存帶寬、同時兼顧計算的效率，從而解決很多應(yīng)用都存在的內(nèi)存瓶頸問題。

而存儲，就是FPGA上最體現(xiàn)「匠人」功力的地方。

傳統(tǒng)的FPGA存儲單元并不是只有一種結(jié)構(gòu)，而是分成下面兩類：

片上內(nèi)存：如M20K、MLAB等

片外內(nèi)存：如DDR5、LPDDR5等

片上內(nèi)存速度最快、容量最小、造價最高；片外內(nèi)存速度慢、容量大、造價低。

這樣的結(jié)構(gòu)，并不是某個天才一拍腦門想出來的。最早的FPGA只支持片上內(nèi)存。但是隨著需要處理的數(shù)據(jù)越來越多，就慢慢加入了對片外內(nèi)存的支持，并且逐漸成為了主流FPGA的標(biāo)配。

匠人精神的本質(zhì)，就是不斷發(fā)現(xiàn)問題、解決問題、并且極致優(yōu)化的過程。

在這個過程中人們逐漸發(fā)現(xiàn)，片上和片外這兩種內(nèi)存之間，仍然存在著一個巨大而關(guān)鍵的缺口：對于很多數(shù)據(jù)密集型的應(yīng)用，它們的數(shù)據(jù)量比片上內(nèi)存的容量大得多，但對于帶寬的需求又比片外內(nèi)存能提供的大得多。

這時出現(xiàn)了第三種內(nèi)存類型：封裝內(nèi)存。這種內(nèi)存的最典型代表，就是HBM。

典型的存儲層次結(jié)構(gòu)

它之所以叫「封裝內(nèi)存」，是因為內(nèi)存顆粒與FPGA被集成在同一個芯片封裝里了。比如在英特爾最新的Agilex M系列FPGA里，就在芯片的上下兩側(cè)通過EMIB技術(shù)集成了兩個HBM2e，這也是業(yè)界第一個集成了HBM2e高帶寬存儲器的FPGA。這樣不僅減小了芯片的尺寸，還能進一步降低功耗和數(shù)據(jù)傳輸?shù)臅r延。

英特爾Agilex-M FPGA平面圖

一個有趣的小知識，Agilex M的“M”，就是Memory存儲器的意思。也就是說，Agilex M就是專門為高性能存儲而優(yōu)化的FPGA芯片。

和傳統(tǒng)的芯片結(jié)構(gòu)不同，HBM2e是一種三維結(jié)構(gòu)。如果說傳統(tǒng)芯片是平房，那么HBM2e就是大樓。所以在容量這個維度，HBM2e秒殺片上內(nèi)存。比如它可以包含4層或8層，每層提供2GB內(nèi)存，再考慮到一個Agilex M里包含兩個HBM2e，這樣FPGA就能提供高達32GB的內(nèi)存容量，比片上內(nèi)存多兩個數(shù)量級。

從內(nèi)存帶寬這個維度來看，每個HBM2e能提供410Gbps的內(nèi)存帶寬，比業(yè)界前沿的DDR5和GDDR6分別高18倍、和高7倍，比更加“主流”的DDR4等等更不知道要高到哪里去了。

有了HBM，看起來存儲的問題已經(jīng)解決了？還遠遠沒有：HBM只是第一步。

2、新型非易失性存儲

對于片外內(nèi)存，新的問題又出現(xiàn)了。對于很多應(yīng)用來說，DDR最大的問題并不是慢，而是斷電后數(shù)據(jù)會消失。這時人們就不得不采用閃存這樣的“非易失性”存儲，來保存那些關(guān)鍵數(shù)據(jù)。但硬幣的另一面，是閃存的性能比DDR還要低。

為了解決這個問題，英特爾提供了一種名叫“傲騰”的新型存儲介質(zhì)，這種存儲級內(nèi)存其存儲密度比普通內(nèi)存高，但存取速度又比閃存快。更重要的是，傲騰技術(shù)作為一種持久內(nèi)存的形態(tài)存在時，它獨有的非易失性，使得它里面存的數(shù)據(jù)在斷電后并不會消失。

與 DRAM 內(nèi)存相比，持久內(nèi)存具有更經(jīng)濟的價格和更大的容量，和固態(tài)盤相比則擁有更優(yōu)的數(shù)據(jù)響應(yīng)速度和傳輸速度（接近 DRAM 內(nèi)存）。正因于此，傲騰也逐漸成為了很多高性能應(yīng)用里的關(guān)鍵存儲單元，多用來做內(nèi)存的大補充或者為內(nèi)存密集型應(yīng)用和延時敏感型應(yīng)用服務(wù)。

3、片上網(wǎng)絡(luò)，終于來了

同樣還在進化的，是FPGA的芯片架構(gòu)。之前的文章里介紹過，Agilex FPGA對芯片布局進行了大修，把各種I/O接口和存儲單元都移到了芯片的上下兩端，把各種高速收發(fā)器放在了芯片的左右兩端，這樣芯片中間就成了一個像足球場一樣的特別平整的結(jié)構(gòu)。之前開一個大腳會踢到各種模塊單元，數(shù)據(jù)跑起來自然就慢?，F(xiàn)在一馬平川，沒有擋路的東西了，數(shù)據(jù)跑起來就快多了。

可以說，這已經(jīng)是近幾年來FPGA架構(gòu)上最有創(chuàng)意的嘗試了。但你以為這樣就完了嗎？

Agilex M最大的架構(gòu)變化，就是引入了片上網(wǎng)絡(luò)Network-on-Chip。這就像在城市規(guī)劃里，不僅有道路交通，還有軌道交通。在軌道上運行的地鐵或城鐵，不僅速度可以更快，還能運更多的人。更重要的是，軌道可以建在地上或者地下，不影響在路上跑的汽車自行車摩托車。

Agilex-M的片上網(wǎng)絡(luò)NoC結(jié)構(gòu)示意圖

Agilex M的片上網(wǎng)絡(luò)專門為存儲設(shè)計，也就是說，這是一趟專列。

有了片上網(wǎng)絡(luò)，F(xiàn)PGA和各種內(nèi)存之間的數(shù)據(jù)傳輸就不用經(jīng)過FPGA的路由資源了。HBM2e通過UIB接口連接片上網(wǎng)絡(luò)、DDR和傲騰這些片外內(nèi)存則通過IO96子系統(tǒng)連接片上網(wǎng)絡(luò)，并且可以實現(xiàn)7.52Tbps的總帶寬。

4、其他架構(gòu)優(yōu)化

除了片上網(wǎng)絡(luò)，Agilex M還有很多其他的架構(gòu)優(yōu)化。I/O方面，它的收發(fā)器帶寬可以達到116Gbps，可以支持CXL、PCIe Gen5、400G以太網(wǎng)等等這些數(shù)據(jù)中心和網(wǎng)絡(luò)通信的最新協(xié)議和接口。

計算性能方面，Agilex M集成了高達12300個可變精度DSP模塊，可以支持高達18.5TFLOPS的單精度浮點運算、37TFLOPS的半精度浮點運算、以及88.6TOPS的INT8運算。

結(jié)語

作為專門針對存儲性能進行優(yōu)化的FPGA，英特爾 Agilex M已經(jīng)把優(yōu)化做到了極致。這樣的優(yōu)化方式和思路其實有著很強的普適意義：它并不是由某個天才創(chuàng)造出來的突破性成果，而是在各種問題的驅(qū)動下，一步一步發(fā)展起來的，然后靠一個個擁有「匠人精神」工程師的專注與積累，達到最后的結(jié)果。

在大多數(shù)情況下，這種方式更加現(xiàn)實，也更加有效。

審核編輯 ：李倩