你見過1EB的存儲系統(tǒng)嗎？堪稱世界上最大的單一文件系統(tǒng)

近日，全球超級計算機領(lǐng)導(dǎo)者 Cray Inc. 宣布，F(xiàn)rontiersman Cray為“最大的單一文件系統(tǒng)”提供了5000萬美元的存儲合同，為美國Oak Ridge國家實驗室（ORNL）Frontier exascale超級計算機提供1 exabyte的ClusterStor存儲。

Frontier是價值6億美元的Cray-AMD exascale系統(tǒng)，最高可達1.5 exaFLOPS，將于2021年交付，并于2022年驗收。它將成為ORNL 200 petaFLOPS Summit超級計算機的后續(xù)產(chǎn)品。

Cray憑借其在5月份由AMD EPYC處理器和Radeon Instinct GPU驅(qū)動的Shasta超級計算機贏得了Frontier競標，因此相關(guān)的存儲合同并不出乎意料。

該存儲解決方案是針對億億次級數(shù)據(jù)密集型工作負載的新設(shè)計，將基于下一代Cray?ClusterStor?存儲和Cray Slingshot?高速互連。下一代Cray?ClusterStor?存儲文件系統(tǒng)是基于Cray的Shasta?的架構(gòu)，并且將作為ORNL國家實驗室的的一部分集成到Frontier exascale超級計算機。

新的存儲解決方案將由超過一兆字節(jié)（EB）的混合閃存和運行Lustre?并行文件系統(tǒng)的高容量存儲組成。一個exabyte的存儲空間是1000PB，這足以存儲超過2億個高清電影。存儲解決方案將通過Slingshot系統(tǒng)互連到ORNL exascale超級計算機，實現(xiàn)系統(tǒng)上同時運行的各種建模，仿真，分析和AI工作負載的無縫擴展。該Frontier exascale超級計算機預(yù)計將于2021年首次亮相，成為世界上功能最強大的計算機，性能超過1.5 exaflops。

與ORNL目前的Summit超級計算機的存儲相比，這種下一代解決方案，容量是其四倍以上（超過1 EB（或1,000 PB）而不是250 PB），另外和基于Spectrum Scale的存儲系統(tǒng)的2.5 TB / s相比，吞吐量將超過4倍（高達10 TB / s）。面向ORNL的新型Cray ClusterStor存儲解決方案將包含40多個存儲柜，并在兩層存儲中提供超過1 EB的總?cè)萘?，以支持?shù)據(jù)的隨機和流式訪問。主層是用于高性能臨時存儲的閃存層，而輔助層是用于高容量存儲的硬盤層。新的存儲系統(tǒng)將成為ORNL的中心系統(tǒng)，該Frontier exascale系統(tǒng)將由具有ZFS本地卷的Lustre全局并行文件系統(tǒng)訪問，所有這些都在一個全局POSIX命名空間中，這將使其成為世界上最大的單個高性能文件系統(tǒng)。

ORNL的Frontier項目主管Justin Whitt透露，新的解決方案將為科學(xué)家提供傳統(tǒng)建模和模擬以及深度學(xué)習(xí)和數(shù)據(jù)科學(xué)所需的性能和容量。

HPC存儲系統(tǒng)傳統(tǒng)上使用大型硬盤陣列來滿足大量可預(yù)測的數(shù)據(jù)讀取和寫入訪問。這與人工智能和機器學(xué)習(xí)工作負載形成鮮明對比，后者通?；旌鲜褂眯⌒秃痛笮蛿?shù)據(jù)的隨機和順序訪問。因此，傳統(tǒng)存儲系統(tǒng)不適合這些工作負載的綜合使用，因為混合數(shù)據(jù)的訪問和智能高速系統(tǒng)互連的需求，可以快速地在超級計算機上移動大量數(shù)據(jù)，從而使這些不同的工作負載在Frontier exascale系統(tǒng)上同時運行。

下一代基于ClusterStor的存儲解決方案通過提供閃存和容量存儲的混合來支持復(fù)雜的訪問模式，強大的新軟件堆棧以提高數(shù)據(jù)的可管理性和分層，以及通過計算和存儲實現(xiàn)無縫擴展，從而解決了這些挑戰(zhàn)。除了擴展之外，存儲與Slingshot網(wǎng)絡(luò)的直接連接消除了對大多數(shù)傳統(tǒng)HPC網(wǎng)絡(luò)所需的存儲路由器的需求。此外，由于Slingshot是以太網(wǎng)兼容的，這樣可以降低整個系統(tǒng)的成本，降低復(fù)雜性并降低延遲，從而提供更高的前所未有的應(yīng)用性能和ROI。

通過將超級計算的性能和規(guī)模與云計算的生產(chǎn)力和完整的數(shù)據(jù)中心互操作性相結(jié)合，Cray的Shasta超級計算機，ClusterStor存儲和Slingshot互連正迅速成為億億時代的領(lǐng)先技術(shù)選擇?；萜照?3億美元的價格收購Cray，該交易預(yù)計將在技術(shù)巨頭2020財年的第一季度完成。這意味著HPE現(xiàn)在正處于億元計算競爭中，并將提供自己的存儲。Cray宣布其計算，軟件，存儲和互連功能正在為HPC和企業(yè)客戶提供產(chǎn)品，預(yù)計可用性將從2019年底開始 。

值得關(guān)注的是，Cray / Intel Aurora exaflopper將于2021年推出，與Frontier一樣。日本的Arm-powered Post-K exascale系統(tǒng)也即將到期，中國的天河-3可能會在2020年出現(xiàn)。ATOS為歐洲處理器計劃提供的歐盟exascale計算機預(yù)計將在2021年推出其首批系統(tǒng)，其中1個exaFLOPS Gen 2 GPP Cronos系統(tǒng)將于2022年至2023年推出。IBM也將參加exascale競賽，El Capitan也將于2021年參加Argonne領(lǐng)導(dǎo)計算機設(shè)施。屆時存儲社區(qū)將透露更多關(guān)于各大超級計算機上的存儲系統(tǒng)。