Exaflop簡(jiǎn)史

Exaflop 是衡量超級(jí)計(jì)算機(jī)性能的單位，表示該計(jì)算機(jī)每秒可至少進(jìn)行百億億次浮點(diǎn)運(yùn)算。

為了解決這個(gè)時(shí)代最復(fù)雜的問(wèn)題，比如如何治療像新冠肺炎和癌癥這樣的疾病、以及如何緩解氣候變化等。計(jì)算機(jī)的計(jì)算量正在不斷增加。

所有這些重大挑戰(zhàn)將計(jì)算帶入了現(xiàn)今的百億億次級(jí)時(shí)代，頂級(jí)性能通常以 exaflops 來(lái)衡量。

什么是 Exaflop？

Exaflop 是衡量超級(jí)計(jì)算機(jī)性能的單位，表示該計(jì)算機(jī)每秒可以至少進(jìn)行 10^18 或百億億次浮點(diǎn)運(yùn)算。

Exaflop 中的 exa-前綴表示“百億億”，即 10 億乘以 10 億或1的后面有 18 個(gè)零。同樣，單個(gè) exabyte 的內(nèi)存子系統(tǒng)可以儲(chǔ)存百億億字節(jié)的數(shù)據(jù)。

exaflop 中的“flop”是浮點(diǎn)運(yùn)算的縮寫(xiě)。exaflop/s 是表示系統(tǒng)每秒浮點(diǎn)運(yùn)算次數(shù)的單位。

浮點(diǎn)是指所有數(shù)字都用小數(shù)點(diǎn)表示的計(jì)算方法。

1000 Petaflop = 1 Exaflop

前綴 peta- 表示 10^15，即 1 的后面有 15 個(gè)零。因此 1 exaflop 等于 1000 petaflop。

1 exaflop 的計(jì)算量到底有多大？相當(dāng)于十億人中的每個(gè)人都拿著十億個(gè)計(jì)算器。

如果他們同時(shí)按下等號(hào)，就是進(jìn)行了 1 個(gè) exaflop。

擁有 Big Red 200 和其他幾臺(tái)超級(jí)計(jì)算機(jī)的印第安納大學(xué)表示，exaflop 計(jì)算機(jī)的速度相當(dāng)于一個(gè)人每秒鐘進(jìn)行一次計(jì)算，并一直計(jì)算 31,688,765,000 年。

Exaflop 簡(jiǎn)史

在超級(jí)計(jì)算發(fā)展史的大部分時(shí)間里，一次浮點(diǎn)運(yùn)算就是一次，但隨著工作負(fù)載引入 AI ，這種情況也發(fā)生了變化。

人們開(kāi)始使用最高的精度格式來(lái)表示數(shù)字，這種格式被稱為雙精度，由 IEEE 浮點(diǎn)運(yùn)算標(biāo)準(zhǔn)定義。它之所以被稱為雙精度或 FP64，是因?yàn)橛?jì)算中的每個(gè)數(shù)字都需要以 64 位用 0 或 1 表示的數(shù)據(jù)塊表示，而單精度為 32 位。

雙精度使用 64 位確保每個(gè)數(shù)字都精確到很細(xì)微的部分，比如 1.0001 + 1.0001 = 2.0002，而不是 1 + 1 = 2。

這種格式非常適合當(dāng)時(shí)的大部分工作負(fù)載，比如從原子到飛機(jī)等全部需要確保模擬結(jié)果接近于真實(shí)的模擬。

因此，當(dāng) 1993 年全球最強(qiáng)大的超級(jí)計(jì)算機(jī)榜單 TOP500 首次發(fā)布時(shí)，衡量 FP64 數(shù)學(xué)性能的 LINPACK 基準(zhǔn)（又稱HPL）自然成為了默認(rèn)的衡量標(biāo)準(zhǔn)。

AI 大爆炸

十年前，計(jì)算行業(yè)發(fā)生了 NVIDIA 首席執(zhí)行官黃仁勛所說(shuō)的 AI 大爆炸。

這種強(qiáng)大的新計(jì)算形式開(kāi)始在科學(xué)和商業(yè)應(yīng)用上展現(xiàn)出重大成果，而且它運(yùn)用了一些非常不同的數(shù)學(xué)方法。

深度學(xué)習(xí)并不是模擬真實(shí)世界中的物體，而是在堆積如山的數(shù)據(jù)中篩選，以找到能夠帶來(lái)新洞察的模式。

這種數(shù)學(xué)方法需要很高的吞吐量，所以用經(jīng)過(guò)簡(jiǎn)化的數(shù)字（比如使用 1.01 而不是 1.0001）進(jìn)行大量計(jì)算要比用更復(fù)雜的數(shù)字進(jìn)行少量計(jì)算好得多。

因此 AI 使用 FP32、FP16 和 FP8 等低精度格式，通過(guò) 32 位、16 位和 8 位數(shù)讓用戶更快地進(jìn)行更多計(jì)算。

混合精度不斷發(fā)展

AI 使用 64 位數(shù)就如同在周末外出時(shí)帶著整個(gè)衣柜。

研究人員一直在積極地為 AI 尋找理想的低精度技術(shù)。

例如首個(gè) NVIDIA Tensor Core GPU——Volta，它使用了混合精度，并以 FP16 格式執(zhí)行矩陣乘法，然后用 FP32 累積結(jié)果以獲得更高的精度。

Hopper 通過(guò) FP8 加速

最近，NVIDIA Hopper 架構(gòu)首次發(fā)布了速度更快的低精度 AI 訓(xùn)練方法。Hopper Transformer Engine 能夠自動(dòng)分析工作負(fù)載，盡可能采用 FP8 并以 FP32 累積結(jié)果。

在進(jìn)行計(jì)算密集度較低的推理工作，比如在生產(chǎn)中運(yùn)行 AI 模型時(shí)，TensorFlow 和 PyTorch 等主要框架通過(guò)支持 8 位整數(shù)實(shí)現(xiàn)快速性能，因?yàn)檫@樣就不需要使用小數(shù)點(diǎn)來(lái)完成工作。

好消息是，NVIDIA GPU 支持上述所有精度格式，因此用戶可以實(shí)現(xiàn)每個(gè)工作負(fù)載的最優(yōu)加速。

去年，IEEE P3109 委員會(huì)開(kāi)始為機(jī)器學(xué)習(xí)中使用的精度格式制定行業(yè)標(biāo)準(zhǔn)。這項(xiàng)工作可能還需要一到兩年的時(shí)間才能完成。

一些模擬軟件在低精度工作中大放異彩

雖然 FP64 在模擬工作中仍然很受歡迎，但當(dāng)?shù)途葦?shù)學(xué)能夠更快提供可用結(jié)果時(shí)，許多人會(huì)使用后者。

影響 HPC 應(yīng)用程序性能的因素各不相同

例如，研究人員用 FP32 運(yùn)行廣受歡迎的汽車碰撞模擬器——Ansys LS-Dyna。基因組學(xué)也傾向于使用低精度數(shù)學(xué)。

此外，許多傳統(tǒng)的模擬開(kāi)始在部分工作流程中采用 AI。隨著越來(lái)越多的工作負(fù)載使用 AI，超級(jí)計(jì)算機(jī)需要支持較低的精度才能有效運(yùn)行這些新興應(yīng)用。

基準(zhǔn)與工作負(fù)載同步發(fā)展

在認(rèn)識(shí)到這些變化后，包括 Jack Dongarra（2021 年圖靈獎(jiǎng)得主和 HPL 的貢獻(xiàn)者）在內(nèi)的研究人員在 2019 年首次發(fā)布了 HPL-AI，這項(xiàng)新基準(zhǔn)更適合測(cè)量新的工作負(fù)載。

Dongarra 在 2019 年的博客中表示：“無(wú)論是技術(shù)不斷優(yōu)化的傳統(tǒng)模擬，還是 AI 應(yīng)用，混合精度技術(shù)對(duì)于提高超級(jí)計(jì)算機(jī)的計(jì)算效率越來(lái)越重要。正如 HPL 實(shí)現(xiàn)了對(duì)雙精度能力的基準(zhǔn)測(cè)試一樣，這種基于 HPL 的新方法可以對(duì)超級(jí)計(jì)算機(jī)的混合精度能力進(jìn)行大規(guī)?；鶞?zhǔn)測(cè)試。”

尤利希超級(jí)計(jì)算中心主任 Thomas Lippert 同意了這一觀點(diǎn)。

他在去年發(fā)表的一篇博客中表示：“我們使用 HPL-AI 基準(zhǔn)是因?yàn)樗饶軌驕?zhǔn)確地衡量日益增加的 AI 和科學(xué)工作負(fù)載中的混合精度工作，也能反映準(zhǔn)確的 64 位浮點(diǎn)計(jì)算結(jié)果?！?/p>

現(xiàn)今的 Exaflop 系統(tǒng)

在 6 月的一份報(bào)告中，全球 20 個(gè)超級(jí)計(jì)算機(jī)中心提交了 HPL-AI 結(jié)果，其中有三個(gè)中心提供了超過(guò) 1 exaflop 的性能。

在這些系統(tǒng)中，橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室的超級(jí)計(jì)算機(jī)在 HPL 上的 FP64 性能也超過(guò)了 1 exaflop。

2022 年 6 月 HPL-AI 結(jié)果的采樣器

兩年前，一非傳統(tǒng)系統(tǒng)首次達(dá)到 1 exaflop。這臺(tái)由 Folding@home 聯(lián)盟組裝的眾源超級(jí)計(jì)算機(jī)在呼吁幫助抵御新冠疫情后，達(dá)到了這一里程碑，到現(xiàn)在已有超過(guò) 100 萬(wàn)臺(tái)計(jì)算機(jī)加入其中。

理論和實(shí)踐中的Exaflop

許多組織從那時(shí)起就已開(kāi)始安裝理論峰值性能超過(guò) 1 exaflop 的超級(jí)計(jì)算機(jī)。需要注意的是，TOP500 榜單同時(shí)發(fā)布 Rmax（實(shí)際）和 Rpeak（理論）分?jǐn)?shù)。

Rmax 指計(jì)算機(jī)實(shí)際表現(xiàn)出的最佳性能。

Rpeak 是一切系統(tǒng)都處于高水平運(yùn)行時(shí)的最高理論性能，而這幾乎從未發(fā)生過(guò)。該數(shù)值的計(jì)算方法通常是將系統(tǒng)中的處理器數(shù)量乘以其時(shí)鐘速度，然后再將結(jié)果乘以處理器在一秒鐘內(nèi)可執(zhí)行的浮點(diǎn)運(yùn)算數(shù)。

因此，如果有人說(shuō)他們的系統(tǒng)達(dá)到 1 exaflop，請(qǐng)?jiān)儐?wèn)他說(shuō)的是 Rmax（實(shí)際）還是Rpeak（理論）。

Exaflop 時(shí)代的眾多指標(biāo)

這也是新百億億次時(shí)代的眾多細(xì)微變化之一。

值得注意的是，HPL 和 HPL-AI 屬于合成基準(zhǔn)，即它們衡量的是數(shù)學(xué)程序的性能，而不是真實(shí)世界的應(yīng)用。MLPerf 等其他基準(zhǔn)則基于真實(shí)世界中的工作負(fù)載。

最后，衡量系統(tǒng)性能的最佳標(biāo)準(zhǔn)當(dāng)然是它運(yùn)行用戶應(yīng)用程序的情況。該衡量標(biāo)準(zhǔn)不是基于 exaflop，而是基于投資回報(bào)率。

審核編輯：湯梓紅