超級計算與 HPC 之間的界限日趨模糊

本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自semiengineering

由于人工智能和分解而加速的性能改進(jìn)正在推動計算前沿的重大變革。

由于人工智能的普及，超級計算機和高性能計算機變得越來越難以區(qū)分，這推動了商業(yè)和科學(xué)應(yīng)用性能的巨大提升，也給兩者帶來了類似的挑戰(zhàn)。雖然超級計算和高性能計算 (HPC) 的目標(biāo)一直很相似（超快處理速度），但它們所服務(wù)的市場卻截然不同。超級計算機（例如Top 500 榜單上的超級計算機）通常是科學(xué)和學(xué)術(shù)計算的展示，其性能通常以百億億次浮點運算來衡量。另一方面，HPC 的目標(biāo)是更傳統(tǒng)的應(yīng)用，使用高帶寬內(nèi)存、快速處理器間通信和每秒大量浮點運算 (FLOPS)。但隨著對 AI 訓(xùn)練和推理的關(guān)注，這些計算架構(gòu)之間的相似性正在增加?！皬母旧现v，HPC 基于高帶寬內(nèi)存訪問、快速且低延遲的處理器間通信以及大量單精度和雙精度 FLOPS，”Eliyan 首席架構(gòu)師 Paul Hylander 解釋道?！霸谶^去 20 年中，HPC 一直依靠基于服務(wù)器的計算，因為 HPC 的容量不足以證明其本身需要專用網(wǎng)絡(luò)、處理和內(nèi)存開發(fā)?，F(xiàn)在，隨著大量資金投入 AI 計算，人們重新重視更高帶寬的內(nèi)存、更高帶寬的網(wǎng)絡(luò)和更好的散熱解決方案——以及更重要的，芯片解決方案，以便能夠擴展每個節(jié)點的計算量?！?/p>

如今，超級計算機可以分為兩大類。Arteris 產(chǎn)品管理總監(jiān) Ashley Stevens 表示：“有些超級計算機純粹基于處理器，包括配備加速器的超級計算機，通常是 GPU 等。有些問題的代碼可以追溯到幾年前。有些甚至可以追溯到 20 世紀(jì) 60 年代的科學(xué)領(lǐng)域，如核建模等，而且只能在通用計算機上運行。但還有一類問題比較新，可以重新編碼以在加速器系統(tǒng)上運行。因此，目前，性能最高的系統(tǒng)和最節(jié)能的系統(tǒng)將配備加速器，通常是 GPU?！本唧w來說，超級計算機之所以成為超級計算機，是因為它包含一個具有一致互連的節(jié)點，以及一個節(jié)點到節(jié)點互連，因此它們可以相互通信?！巴ǔＪ褂孟鬟f接口 (MPI)，”史蒂文斯說?！耙虼?，有辦法將問題拆分為多個節(jié)點，在兩個節(jié)點之間使用 MPI，或者有時使用遠(yuǎn)程 DMA (rDMA)，其中一臺計算機可以將數(shù)據(jù) DMA 傳輸?shù)搅硪慌_計算機。這就是超級計算機的定義。它們具有系統(tǒng)間通信?！?/p>

混合策略

AI 對超級計算和 HPC 都產(chǎn)生了深遠(yuǎn)的影響。過去五年來，異構(gòu)環(huán)境中 CPU 和 GPU 的集成發(fā)生了重大變化。GPU 曾經(jīng)主要用于游戲和比特幣挖礦，現(xiàn)在已成為加速 AI 計算任務(wù)的必備工具。GPU 如此受歡迎的原因在于其可擴展性。

Alphawave Semi ASIC IP 解決方案總監(jiān) Shivi Arora 表示：“一切都?xì)w結(jié)于系統(tǒng)所包含的內(nèi)核數(shù)量。這取決于您是面向 HPC 數(shù)據(jù)中心，還是關(guān)注 DPU/CPU 類型的市場。HPC 和超級計算機都朝著同一個方向發(fā)展。系統(tǒng)上可以安裝的 CPU 數(shù)量決定了您要支持的市場?！边@種混合搭配的粒度為混合系統(tǒng)打開了大門，結(jié)合了經(jīng)典計算、超級計算甚至量子計算，以滿足各種應(yīng)用程序的性能、可靠性和安全性需求。是德科技流程和數(shù)據(jù)管理總經(jīng)理兼業(yè)務(wù)部負(fù)責(zé)人 Simon Rance 表示：“總體而言，超級計算正在不斷發(fā)展。但量子計算也正在真正獲得發(fā)展勢頭。

在高數(shù)學(xué)類型的計算應(yīng)用中（需要以非?？臁⒓みM(jìn)的速度進(jìn)行計算），我們看到越來越多的超級計算進(jìn)入量子計算。這是量子計算現(xiàn)在真正強大的領(lǐng)域。當(dāng)它處理來自各種來源的信息時，例如對于人工智能來說，試圖理解它試圖實時處理的內(nèi)容，這就是我們看到的超級計算的自然演變。”然而，這加劇了一些常見的挑戰(zhàn)。IBM 高性能計算全球負(fù)責(zé)人 CT Rusert 表示：“當(dāng)我們對比 5 年前和現(xiàn)在的超級計算機時，會發(fā)現(xiàn)它們?nèi)〉昧梭@人的進(jìn)步。我們的超級計算機能夠以前所未有的速度進(jìn)行百億億次級的建模計算，而 5 年前我們還做不到這一點。這也帶來了挑戰(zhàn)。隨著我們成為一個更加注重能源和效率的社會，有了這些超級計算機，我們?nèi)绾巫屗鼈兏?jié)能呢？”

如今，這些挑戰(zhàn)已經(jīng)跨越到兩個計算領(lǐng)域，人工智能對更多馬力提出了無盡的需求，以訓(xùn)練多模型并解決龐大而復(fù)雜的計算問題。Cadence 戰(zhàn)略與新業(yè)務(wù)集團(tuán)總監(jiān) Rob Knoth 表示：“人工智能工廠的概念，即消費和生產(chǎn)代幣，是一項計算密集型的研究。它正像野火一樣蔓延，推動整個生態(tài)系統(tǒng)發(fā)生變化，包括人們對超級計算機的看法、消費設(shè)備中可接受的計算量、汽車中的計算規(guī)模、人形機器人或無人機的計算規(guī)模。需要大量的計算，而每種計算對功率計算、熱范圍、電網(wǎng)連接的要求都不同。它能在無需充電的情況下走動或飛行多長時間？“超級計算機”這個詞因人工智能而改變，以及它如何改變?nèi)斯ぶ悄?，這真是令人著迷、美麗、可怕和鼓舞。超級計算機的規(guī)模使我們能夠制作這些新前沿模型，制作這些多模式模型，能夠開始談?wù)撐锢砣斯ぶ悄?，談?wù)撝圃煲粋€可維修的人形機器人所需的后果，以及它與汽車中的芯片或新數(shù)據(jù)中心中的芯片有何不同。”

關(guān)鍵推動因素

這種融合的核心是技術(shù)進(jìn)步，例如高帶寬內(nèi)存、不同芯片內(nèi)部和之間的高帶寬通信以及可大規(guī)模擴展的基于小芯片的解決方案。所有這些都是滿足人工智能需求的關(guān)鍵，因為人工智能需要強大的計算能力來訓(xùn)練多模態(tài)模型和執(zhí)行推理任務(wù)。“在年度超級計算大會上，過去五到七年來一直在討論融合這個話題，” Rambus研究員、杰出發(fā)明家 Steven Woo 表示?！皬淖罡邔哟蝸砜?，如果你看看 500 強榜單中的頂級超級計算機，你會發(fā)現(xiàn)它們不僅配備了傳統(tǒng) CPU（例如英特爾或 AMD 的 CPU），還配備了大量來自英偉達(dá)或 AMD 的顯卡或 AI 引擎。如果你從高層次看這些專門的 AI 集群，你會發(fā)現(xiàn)它們并沒有什么不同。至于 AI 引擎與傳統(tǒng) CPU 的比例，這將根據(jù)超級計算機或 AI 集群的構(gòu)成而變化。

但如果從 30,000 英尺的高度來看，它們非常相似。然后你會開始意識到人們在超級計算領(lǐng)域運行的許多基準(zhǔn)測試在這些 AI 超級集群上也能很好地運行，反之亦然，因此這引發(fā)了更多關(guān)于融合的討論?！笆欠裥枰幸活悊为毜臋C器專門服務(wù)于超級計算市場？同時，人工智能是否變得如此基礎(chǔ)以至于這兩者正在融合在一起？”這種融合也帶來了挑戰(zhàn)。由于超級計算機消耗大量電力，因此能源效率和可持續(xù)性是主要問題。冷卻系統(tǒng)和先進(jìn)的封裝技術(shù)對于管理熱封套和確保高效電力輸送必不可少。此外，數(shù)據(jù)移動的成本已經(jīng)高于計算成本，因此需要采用新方法來最大限度地減少數(shù)據(jù)傳輸并提高整體系統(tǒng)效率。人工智能中的許多技術(shù)驅(qū)動因素都進(jìn)入了超級計算機，反之亦然?！叭绻憧纯闯売嬎銠C項目，你會發(fā)現(xiàn)它們大多是由國家推動的，”Woo 說?！懊绹捻椖看蠹s每 10 年運行一次。大約每五年左右，就會有一臺新的超級計算機問世。因此，五年的時間用于研究和思考原型和其他東西，五年的時間用于執(zhí)行以構(gòu)建機器。三個最大的超級計算機項目包括一個由美國贊助的項目，日本一直贊助一個非常大的項目，然后中國有自己的項目。美國上一次做的超級計算機項目被稱為 Exascale 項目。美國傳統(tǒng)上表示下一個標(biāo)準(zhǔn)將比之前的機器性能高 1,000 倍，它被稱為 Exascale。此外，美國政府與工業(yè)界合作，為學(xué)術(shù)界和工業(yè)界提供大量投資資金來開發(fā)新技術(shù)，然后這些技術(shù)進(jìn)入超級計算機。它們也進(jìn)入了商業(yè)產(chǎn)品?！?/p>

人工智能也有助于縮小超級計算機和 HPC 之間的性能差距?！癗VIDIA 的 Grace Blackwell 去年問世，Rubin 將于今年問世，因此您可以看到這一年的性能進(jìn)步令人驚嘆。兩者都是極其重要的技術(shù)驅(qū)動因素，但人工智能目前似乎處于更快的發(fā)展周期。機器之間的目標(biāo)不一定像超級計算機程序那樣崇高，超級計算機程序的目標(biāo)是性能提高 1,000 倍。在人工智能中，很難逐年做到這一點，但它們確實每一代都取得了巨大的進(jìn)步。”

數(shù)據(jù)移動的挑戰(zhàn)

超級計算發(fā)展面臨的另一個壓力是數(shù)據(jù)移動?！笆嗄陙恚藗円呀?jīng)充分認(rèn)識到數(shù)據(jù)移動是一個大問題。Exascale 計劃進(jìn)行了大量研究，并且有一些很棒的演示，如果你只是遵循技術(shù)發(fā)展曲線，你會發(fā)現(xiàn)數(shù)據(jù)移動的成本比計算成本更高，”Woo 說?！爱?dāng)時有一些預(yù)測，以及經(jīng)過深思熟慮和非常清晰的研究，它們得出結(jié)論，這將是一個問題。有幾種方法可以解決這個問題。要么把組件放得更近，要么想辦法制造現(xiàn)在人們所說的超級芯片?！?/p>

過去，問題在于光罩?！靶酒叽缰荒苓@么大。但現(xiàn)在他們正在尋找方法來超越這個尺寸，將多個光罩大小的芯片拼接在一起，現(xiàn)在它們彼此緊挨著，所以如果你從五英尺外看，它看起來就像一個大芯片，它們連接在一個基板上，”Woo 解釋道?！八羞@些都是由先進(jìn)封裝和業(yè)界一直在研究的基于 HBM 等技術(shù)實現(xiàn)的。人工智能、高性能計算和超級計算之間存在著良性互動，其中物理原理沒有改變，問題很大，它們之間有細(xì)微的差別，但數(shù)據(jù)移動已被證明是最大的問題之一。你可以從邏輯上說，‘我們不要把數(shù)據(jù)移動太遠(yuǎn)’，但這又帶來了行業(yè)必須解決的其他挑戰(zhàn)，比如熱問題。你如何處理熱問題？我們知道液體冷卻注定會在未來幾年成為主流。另一個挑戰(zhàn)是電力輸送。我如何將所有的功率、電流和電壓集中到這個相對較小的區(qū)域？我們以前不常這樣做。這并不是說我們做不到。這更像是尋找經(jīng)濟(jì)的方法。你如何以一種非常易于制造的方式來做到這一點？”

所有這些也帶來了一些復(fù)雜的分區(qū)挑戰(zhàn)，因為距離會影響獲得結(jié)果的時間。“我們現(xiàn)在擁有如此強大的處理計算能力，但我們現(xiàn)在面臨著處理器之間的延遲問題，以及處理和顯示或?qū)崟r返回結(jié)果的問題，”Keysight 的 Rance 說。“這是我們從超級計算發(fā)展而來的一部分。這不僅僅是一臺超級計算機在計算一些東西。它是信息共享，并將其帶回，然后在一毫秒內(nèi)做出決定?！?/p>

準(zhǔn)確性現(xiàn)在是個問題

而人工智能又帶來了另一個問題。與傳統(tǒng)計算不同，人工智能是概率性的。結(jié)果基于分布，而分布并不總是完全準(zhǔn)確的。這在超級計算中是不可接受的。

“它需要不同的精度，”Arteris 的 Stevens 說?！霸诳茖W(xué)計算中，通常使用雙精度 64 位，偶爾使用 32 位。但這些 AI 東西可能只使用 8 位或 16 位。OpenAI 顯然是 AI，而不是傳統(tǒng)的超級計算機類型的應(yīng)用程序，但運行多年前的代碼是有要求的。最近很多都是 AI 訓(xùn)練。我過去參與的事情更多是嘗試以良好的性能運行 60 年代的舊 Fortran 代碼。今天，最高效的機器是帶有加速器的機器，因為一般來說，硬件越專業(yè)，效率就越高。它越通用，效率就越低。GPU 只適合某些東西。如果某些代碼是用 Fortran 編寫的，那么完成它并不容易。即使它們支持，雖然它們支持 IEEE 浮點，但它們不一定支持普通計算機支持的所有不同模式和極端情況。因此，它們適用于某些類型的問題，但不一定適用于所有類型的問題。我們現(xiàn)在看到的可能是越來越多的專業(yè)化，尤其是在人工智能領(lǐng)域。你已經(jīng)看到了這一點，人們更專注于一個特定的問題，而不是更通用的計算。這使得它更有效率?！?/p>

不僅僅是技術(shù)除了技術(shù)層面，“超級計算機”一詞還具有重要的文化和啟發(fā)價值。它代表著技術(shù)的最前沿，是下一代工程師和科學(xué)家的燈塔。

“超級計算機不僅僅與工程有關(guān)，”Cadence 的 Knoth 說道?！霸诔売嬎愦髸希芏嗳藭嬖V你‘超級計算機’的確切科學(xué)定義，但我認(rèn)為這并不重要。‘超級計算機’這個詞對于科學(xué)交流比對于科學(xué)更重要。它具有力量，因為它隨著時間而變化。房間里有 ENIAC 的照片，然后人們從口袋里掏出手機說，‘我這里有它?！裕瑢ξ襾碚f，超級計算機這個詞在文化和激勵背景下比在技術(shù)背景下更重要。超級計算機有助于激勵下一代工程師。它們是一個有助于使我們的工作民主化以幫助其他人了解工程領(lǐng)域正在發(fā)生的事情的術(shù)語。超級計算機揭示了最前沿的事物。我們要去哪里？我們?yōu)槭裁匆ィ课覀冋诮鉀Q哪些真正酷的問題？與許多擺在你面前的東西相比，他們是開拓者?！?/p>

能源效率和可持續(xù)性的作用

隨著超級計算和 HPC 系統(tǒng)的不斷發(fā)展，能源效率和可持續(xù)性已成為關(guān)鍵考慮因素。這些系統(tǒng)的巨大計算能力需要大量的能源。

為了解決這些問題，研究人員和工程師正在開發(fā)新技術(shù)和新方法，以提高超級計算和 HPC 系統(tǒng)的能源效率。這包括使用先進(jìn)的冷卻系統(tǒng)來管理熱包絡(luò)并降低能耗。此外，他們還在努力優(yōu)化這些系統(tǒng)的設(shè)計和架構(gòu)，以最大限度地降低功耗并提高整體效率。

很多人認(rèn)為 HPC 和超級計算面臨的最大挑戰(zhàn)是能耗和功耗。“舉個最壞的例子，微軟、OpenAI 和軟銀宣布的星際之門系統(tǒng)將需要 5 千兆瓦的電力，”Arteris 的史蒂文斯說?！斑@比英國或美國的任何核電站都要大，盡管世界上也有一些這么大的核電站。在其他國家，典型的核反應(yīng)堆大約為 1 或 1.5 千兆瓦，因此星際之門將需要其中的三個。建造一座核電站至少需要 10 年。到那時他們還在建造同樣的東西嗎？我們這個行業(yè)的發(fā)展非常快，所以你可以想象為它建造一個發(fā)電站。你的目標(biāo)可能不是你 10 年后最終做的事情。最大的挑戰(zhàn)之一是功耗。目前頂級超級計算機需要大約 30 兆瓦的電力，有些甚至更多。近 15 年前，我曾參與過一項關(guān)于富岳超級計算機的研究。當(dāng)時，人們認(rèn)為極限是 10 兆瓦。但現(xiàn)在我們的系統(tǒng)耗電量是 30 兆瓦的三倍，而且他們計劃建造一座千兆瓦級的發(fā)電廠。因此，能源效率將變得非常重要。計算性能的極限實際上是能耗，而這一點尚未得到真正考慮。”

以不同方式將各個部件組合在一起

超級計算機為大規(guī)模異構(gòu)集成鋪平了道路。小芯片概念將這種方法帶到了封裝級別。

Alphawave Semi 的 chiplet 首席產(chǎn)品線經(jīng)理 Sue Hung Fung 表示：“我們現(xiàn)在將所有這些不同的東西都放在一個封裝中。這只是一個被分解的大型單片芯片。然后我們將所有這些都放入一個封裝中，這是一個系統(tǒng)級封裝，我們正在為 AI/ML 構(gòu)建這些東西，因為我們看到數(shù)據(jù)中心中大量數(shù)據(jù)的巨大驅(qū)動力，并為 AI 進(jìn)行 LLM 訓(xùn)練和推理。根據(jù)我們在計算中放入的內(nèi)核類型，我們可以從中獲得什么樣的性能。這將特定于該應(yīng)用程序用例，取決于內(nèi)核的類型，取決于您使用多少個內(nèi)核?！边@是一臺超級計算機，還是一臺高性能計算機？還是介于兩者之間？答案并不總是顯而易見的，而且隨著給定時間內(nèi)計算量的不斷增加，答案也變得越來越不明顯。