討論AI與存儲器互連的挑戰(zhàn)和解決方案

位置、位置、位置，這并不只是房地產(chǎn)界的核心詞。為了滿足人工智能（AI）和機器學(xué)習(xí)應(yīng)用的需求，這個詞被越來越多地應(yīng)用于數(shù)據(jù)存儲，如數(shù)據(jù)存儲的位置以及存放數(shù)據(jù)的存儲器。

但解決這種位置的挑戰(zhàn)不只是存儲器供應(yīng)商應(yīng)做的工作，與AI相關(guān)的供應(yīng)商也扮演著重要角色。盡管存儲距離計算越來越近，但解決方案的很大一部分在于存儲互連。Rambus研究員Steve Woo最近在AI硬件峰會上主持了一次在線圓桌論壇，討論了存儲器互連的挑戰(zhàn)和解決方案，他說：“我們都在為AI的不同方面而工作?！?/p>

Marvell的ASIC事業(yè)部CTO Igor Arsovski在17年前曾經(jīng)做過SRAM設(shè)計工程師。他說，慕尼黑啤酒節(jié)（Oktoberfest）因為新冠肺炎疫情取消了，而把存儲互連比做啤酒很合適。參加啤酒節(jié)，可以很容易喝到啤酒。“而SRAM就好像近在身邊的啤酒一樣。它隨手可得，不需要耗費多少能量，而且只要您需要，它就在那兒，就像擁有一個不錯的高性能加速器?！钡?，如果沒有足夠的存儲空間，就需要走遠一點，同時也需要花費更多能量來獲取它，就好像必須走更遠才能買到大桶啤酒一樣。

Arsovski 說，對存儲器而言，大桶啤酒就好像高帶寬存儲器（HBM），它正越來越多地被AI所采用?！霸L問這種存儲器需要花費約60倍的能量。那里容量雖然大得多，但訪問它的帶寬卻很少?！睂⑵【祁惐葦U展到LPDDR之類的技術(shù)，這種技術(shù)比SRAM更先進。他說：“LPDDR功耗明顯更高，但容量更大。這就像沿著那條路走到您最喜愛的酒吧，在那里有幾桶啤酒等著您。”

Arsovski表示，下一代加速器的發(fā)展方向是將那些存儲器放在加速器正上方，讓存儲離計算更近。MLCommons執(zhí)行董事David Kanter補充說，這個啤酒類比概述了不同的封裝途徑以及在何處安放不同的硅片。MLCommons是一個提供機器學(xué)習(xí)標準和AI推理基準的組織，其成員涵蓋學(xué)術(shù)界和工業(yè)界。他說道：“這使我們對不同的工作負載有非常全面的了解。MLCommons正在開始采取一些措施，其中重點之一就是建立咨詢委員會，以吸收特定應(yīng)用領(lǐng)域的一些資深專家?！?/p>

Kanter說，對存儲器而言，整個系統(tǒng)環(huán)境至關(guān)重要?！澳仨毧紤]系統(tǒng)要實現(xiàn)什么，這將決定要考慮的問題。”他說，當(dāng)涉及到存儲器的位置和連接時，芯片、封裝和電路板都是必須考慮的要素?！霸陉嚵薪Y(jié)構(gòu)、單元類型以及距離方面，有很多地方可以優(yōu)化?！?/p>

Kanter說，明白哪里需要帶寬以及非易失性也是關(guān)鍵的考量因素?！跋Ｍ@將引導(dǎo)做出正確的選擇?！?/p>

對于那些傳統(tǒng)上并不屬于存儲系統(tǒng)構(gòu)建流程的公司而言，這些考量因素至關(guān)重要。Google軟件工程師Sameer Kumar花費大量時間在編譯器和可擴展系統(tǒng)上，這些系統(tǒng)的網(wǎng)絡(luò)和存儲帶寬對不同的機器學(xué)習(xí)模型非常重要，包括其大規(guī)模批量操作的能力。他說：“人工智能訓(xùn)練涉及許多存儲方面的優(yōu)化，”這是在編譯器中獲得極高效率的最關(guān)鍵步驟，它意味著存儲也需要更加智能。

Woo認為，數(shù)據(jù)移動實際上已經(jīng)開始主宰AI應(yīng)用的某些階段，所以存儲互連變得越來越重要?！靶阅芎湍苄С蔀槿找嬷匾膯栴}”，提高數(shù)據(jù)速率極具挑戰(zhàn)性，因為所有人都希望將數(shù)據(jù)移動速度加倍，能效也加倍?！拔覀円郧八蕾嚨脑S多技巧和技術(shù)都已不再適用，或者正在被慢慢淘汰。我們有極好的機會來思考新的體系架構(gòu)，并在移動數(shù)據(jù)的方式上進行創(chuàng)新?！?/p>

Woo表示，創(chuàng)新不僅在存儲器件本身上，而且還包括封裝，以及堆疊等新技術(shù)。在創(chuàng)新的同時，還要確保數(shù)據(jù)的安全性，這是Rambus目前越來越關(guān)注的。

Rambus感受到業(yè)界對3D堆棧的極大興趣，但如果帶寬不隨堆棧容量增加而相應(yīng)增加的話，其可用性會受到限制。（圖片來源：Rambus）

Arsovski表示，Marvell花費了大量時間為客戶建立AI系統(tǒng)，為客戶提供帶寬相關(guān)信息，如每個芯片邊緣有多少帶寬可以用于數(shù)據(jù)移動，以及有多少帶寬可以用于訪問存儲器。他說：“到目前為止，我們已經(jīng)可以看到，客戶需要更多的存儲帶寬和更多的I / O帶寬。如果看看封裝級別的互連，可以看到存在很大的不匹配。我們現(xiàn)在已經(jīng)到達瓶頸，高端芯片-芯片連接的需求壓力持續(xù)增大?！?/p>

Arsovski表示，從存儲器的角度來看，對于那些無法在裸片上直接構(gòu)建AI模型的設(shè)計師來說，其下一步考慮應(yīng)該是HBM或GDDR。但是也有很多轉(zhuǎn)而采用3D堆疊，以嘗試獲得更大的帶寬，因為在芯片邊緣移動數(shù)據(jù)的容量有限?！翱蛻粝Ｍ玫皆絹碓蕉嗟腎/O帶寬，而我們在邊緣數(shù)據(jù)移動上遇到了瓶頸?！?/p>

Kanter說，即使在機器學(xué)習(xí)的世界中，也存在著“很大的多樣性”，這對生態(tài)系統(tǒng)既有制約，也有促進，記住這一點很重要。對于常規(guī)DRAM來說，隨機查找龐大的數(shù)據(jù)結(jié)構(gòu)不適合單個節(jié)點，這意味著如果您想將數(shù)據(jù)真正保存在存儲器中，則需要構(gòu)建一個非常大的系統(tǒng)集群。他說：“與傳統(tǒng)的面向視覺的模型相比，其特征和屬性完全不同。在存儲方面要牢記這一多樣性，這一點非常重要?！?/p>

Kanter說，當(dāng)需要將大量存儲和計算整合在一起時，就需要互連了?！耙M行大規(guī)模訓(xùn)練，迫切需要既適合客戶又適合要解決問題的互連方案?！彼f，對于前沿應(yīng)用來說，互連將特別重要。“如果您只想為一個小型網(wǎng)絡(luò)訓(xùn)練一個GPU，那么關(guān)鍵因素可能就是存儲帶寬。”

Kumar說，更多的存儲帶寬可以實現(xiàn)不同種類的優(yōu)化，但是如果模型特別受存儲限制，就有必要引入更多的計算?！叭绻懈嗟拇鎯ν掏铝靠捎茫踔劣懈嗟幕ミB吞吐量可用，將可能會使模型設(shè)計更加靈活，而且可以啟用新功能，并一起構(gòu)建各種類型的模型?！?/p>

Woo表示，Rambus感受到大家對3D堆棧興趣濃厚，但隨著堆棧越來越高，增加進出堆棧的帶寬也變得越來越困難?！叭绻皇窃黾佣褩Ｈ萘?，但沒有增加相應(yīng)的帶寬，那方案的實用性就成問題了?！?/p>

他說，關(guān)鍵點在于尋找合適的方案，既能保持填充頻率，又能利用堆疊能效方面的優(yōu)勢，從而使帶寬與容量和堆疊之間具有相對恒定的比率。

Kumar和Arsovski都認為需要一個平衡、可擴展的系統(tǒng)，這種系統(tǒng)具有精心設(shè)計的軟件堆棧。 Arsovski說，“我們所說的是一種可以良好擴展的類腦結(jié)構(gòu)。”它必須低功耗且具有大量連接，而現(xiàn)在，3D堆疊是我們能做到最接近的結(jié)構(gòu)，但仍然存在功耗、封裝和機械結(jié)構(gòu)方面的挑戰(zhàn)。 “我們需要研究出一個高度并行的系統(tǒng)，其每個層級的功耗都極低，而不必擔(dān)心要為冷卻耗費數(shù)千瓦的功率?！?/p>

他說，是時候開始尋找適合AI系統(tǒng)的下一個基本構(gòu)建模塊了?！耙恢币詠?，我們都采用晶體管作為基本單元，迄今為止，它們都發(fā)揮出色。我們通常會依賴我們所知道和喜愛的技術(shù)，并且希望它持續(xù)發(fā)展。但現(xiàn)在我們需要重頭開始設(shè)計了?！?/p>

(參考原文:AI Drives Memory Interconnect Evolution)
編輯：hfy