被供應(yīng)鏈問題拖慢的超算部署

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）作為在TOP500、GREEN500（單機(jī)柜）和HPL-AI三榜排名第一的超算系統(tǒng)，F(xiàn)rontier被列為第一完全不是浪得虛名。作為首個(gè)公開突破E級(jí)的超算，F(xiàn)rontier的通用算力已經(jīng)達(dá)到了1.1 exaflops，能效比為52.23 gigaflops/watt，AI算力更是達(dá)到了可怕的6.88 exaflops。但就是這樣一臺(tái)冠絕群雄的超算，也在部署上遇到了供應(yīng)問題。

實(shí)現(xiàn)Frontier強(qiáng)大性能靠的并非只是單個(gè)強(qiáng)勁的硬件，還有龐大的系統(tǒng)規(guī)模。整個(gè)Frontier超算系統(tǒng)用到了74個(gè)慧與科技的Cray EX全液冷超算機(jī)柜和9408塊AMD EYPC Trento CPU，Trento 是AMD Milan CPU的優(yōu)化版，同樣是64核128線程的處理器，但在時(shí)鐘速度和能效上有所加強(qiáng)。至于為何沒用上引入3D垂直緩存技術(shù)的Milanx-X芯片，那是因?yàn)檫@塊處理器今年3月份才正式出貨，如果拿它來打造Frontier的話，這搶發(fā)首臺(tái)E級(jí)超算的機(jī)會(huì)很可能就失之交臂了。

除了CPU以外，F(xiàn)rontier還集成了37632塊AMD MI250X GPU，37632塊慧與的Cassini NIC，9.2PB的內(nèi)存（4.6 PB HBM2e+4.6PB DDR4），32PB節(jié)點(diǎn)本地存儲(chǔ)和716PB的中心存儲(chǔ)。整個(gè)系統(tǒng)共由9408個(gè)節(jié)點(diǎn)組成，每臺(tái)機(jī)柜包含128個(gè)節(jié)點(diǎn)，重量接近400公斤，龐大的系統(tǒng)也將功耗推至恐怖的29MW。除了MW級(jí)的液冷引擎外，F(xiàn)rontier還在外部部署了EVAPCO的冷卻塔，確保Frontier能夠保證峰值性能。

供應(yīng)鏈噩夢(mèng)

Frontier的部署計(jì)劃正式始于2018年，為了給Frontier騰出空間，原本屬于Titan超算的數(shù)據(jù)中心被拆除，改建為Frontier的數(shù)據(jù)中心，泰坦也于2019年正式退役。同年，慧與的Cray系統(tǒng)成功拿下了美國(guó)能源部的訂單，成了Frontier的基礎(chǔ)構(gòu)成部分。

但事實(shí)上，原本Frontier應(yīng)該在2021年就部署完畢的，然而由于供應(yīng)鏈上各個(gè)方面的影響，直到2021年秋季，才只完成了系統(tǒng)的交付，直到今年五月才完成最終的安裝、優(yōu)化和一次成功的E級(jí)HPL測(cè)試。當(dāng)然了，F(xiàn)rontier最后能夠爭(zhēng)下首發(fā)E級(jí)超算，還是因?yàn)?a href="http://www.wenjunhu.com/tags/英特爾/" target="_blank">英特爾的7nm工藝也就是如今的Intel 4遇到了問題，被反復(fù)推遲，這樣才讓原本打算首發(fā)E級(jí)的Aurora超算，錯(cuò)失了這個(gè)殊榮。

但對(duì)于Frontier超級(jí)計(jì)算機(jī)這種大型集成系統(tǒng)來說，全球供應(yīng)鏈各個(gè)環(huán)節(jié)上的問題基本也都撞上了。首先遇上問題的就是Frontier的兩大直接供應(yīng)商，慧與和AMD。2020年末，F(xiàn)rontier的零部件短缺到了最嚴(yán)重的地步。整個(gè)Frontier系統(tǒng)要用到685個(gè)不同料號(hào)的零部件，其中167個(gè)因?yàn)槿必泦栴}而受到影響，總數(shù)達(dá)到了200萬個(gè)。

慧與表示，當(dāng)它們開始下單用于機(jī)柜和Slingshot互聯(lián)系統(tǒng)的部件時(shí)，不少供應(yīng)商都將訂單的交期加上了6個(gè)月甚至是一年，這時(shí)連離打造好第一個(gè)機(jī)柜都還缺12種零部件。AMD就更加不用說了，2020年到2021年是全球GPU缺貨最嚴(yán)重的一段時(shí)間，雖然大部分都認(rèn)為受影響的只有被挖礦潮波及的消費(fèi)級(jí)GPU，但對(duì)于AMD來說，他們?cè)贕PU加速卡零部件上的供應(yīng)也遇到了問題，就拿MI250這張卡來說，且不說GPU芯片的產(chǎn)能供應(yīng)是否充足，當(dāng)時(shí)打造這一張GPU加速卡就有15種零部件需要補(bǔ)全。

波及的不只是CPU和GPU

要知道這些短缺問題影響的不只是CPU和GPU芯片，還有不少零部件當(dāng)時(shí)都處于全球缺貨最糟糕的狀態(tài)，比如穩(wěn)壓器、晶振和功率模塊。為了確保能在2021年交付，慧與不得不每周甚至每天打給次級(jí)供應(yīng)商，詢問交期的問題?；叟c和AMD還組了個(gè)15人的小團(tuán)隊(duì)，他們唯一的工作就是尋找哪有Frontier所需的零部件，或是可以替代的部件，比如去和經(jīng)銷商協(xié)調(diào)，詢問分銷商的庫(kù)存，或是找其他同樣由于芯片短缺而無法出貨的公司，詢問他們是否愿意出手現(xiàn)在已有的零部件。

正是因?yàn)樵谶@樣的努力下，F(xiàn)rontier終于在去年7月將缺失的167種零部件減少至了1種，而這依然缺失的一種，就是用于打造慧與Slingshot 11互聯(lián)交換機(jī)刀片的晶振，它們已有的晶振只能滿足63臺(tái)機(jī)柜的需求，還差8000多個(gè)晶振才能完成剩下11臺(tái)機(jī)柜的交付。而這時(shí)候恰好又是東南亞地區(qū)疫情肆虐，愛普生等廠商的晶振工廠停工的時(shí)期，而這類智能NIC又需要超低噪聲的高性能晶振。接著他們又花了3周時(shí)間才找齊這些晶振，這才在10月完成了最后一個(gè)機(jī)柜的交付。

但即便完成了交付，相關(guān)的工作并沒有結(jié)束，超算并不像大家平日里動(dòng)手組裝的電腦一樣，一旦安裝完畢就能跑出應(yīng)有的性能。恰恰相反，超算系統(tǒng)所有部件到位后，還要經(jīng)歷密集的測(cè)試、優(yōu)化和維護(hù)工作，于是Frontier的研究人員白天就在更新軟件優(yōu)化系統(tǒng)，晚上就讓Frontier跑HPL之類的性能測(cè)試，最終趕在TOP500 6月榜單結(jié)束測(cè)試結(jié)果收集前，提交了一次成功的E級(jí)跑分。

結(jié)語(yǔ)

其實(shí)完成這么緊湊的部署安排對(duì)Frontier并不容易，固然慧與和AMD有應(yīng)對(duì)供應(yīng)鏈管理方面的經(jīng)驗(yàn)，但與此同時(shí)，和Frontier幾乎同樣配置只是規(guī)模不同的歐洲超算LUMI也面臨著缺貨的困境，所以這兩家公司幾乎是承擔(dān)著雙線交付任務(wù)。但好在去年下半年供應(yīng)開始緩解之后，兩臺(tái)超算的任務(wù)也都最終完成了。

此外，這兩年經(jīng)歷的供應(yīng)鏈噩夢(mèng)想必也影響到了其他的超算部署，就拿國(guó)內(nèi)的兩臺(tái)E級(jí)超算來說，目前都只是單機(jī)柜的測(cè)試系統(tǒng)的消息時(shí)有傳出，并沒有正式公開完整系統(tǒng)的性能參數(shù)，或多或少也是被供應(yīng)問題拖慢了進(jìn)度，否則這個(gè)風(fēng)頭不可能不出來?yè)尩摹．吘乖谟布绱搜杆俚谋尘跋?，像天河二?hào)過去那樣連續(xù)穩(wěn)坐榜首數(shù)年的情況已經(jīng)很難復(fù)現(xiàn)了，但首個(gè)E級(jí)超算的稱號(hào)可是無論多少年后都搶不走的。