存內(nèi)計(jì)算對“存”的選擇

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）無論是前段時間爆火的繪圖模型Stable Diffusion，還是大規(guī)模語言模型ChatGPT，AI無疑已經(jīng)成了新時代的自動化工具，哪怕是在某些與認(rèn)知相關(guān)的任務(wù)上，也能通過深度學(xué)習(xí)實(shí)現(xiàn)高于人類的精度。

但正因我們提過多次的算力問題，對于大型AI訓(xùn)練的計(jì)算要求已經(jīng)在每兩個月翻倍了，別說可持續(xù)能源供應(yīng)了，就連硬件的可持續(xù)都有些陷入停滯了。其實(shí)以目前各種模型的迭代速度來看，更高的運(yùn)算效率才是重中之重，畢竟這些模型并不需要每兩個月就推陳出新。

深度學(xué)習(xí)還有哪些環(huán)節(jié)可以提升效率

我們先從深度學(xué)習(xí)運(yùn)算來看哪些算數(shù)運(yùn)算占比最高，根據(jù)IBM給出的統(tǒng)計(jì)數(shù)據(jù)，無論是語音識別的RNN、語言模型DNN和視覺模型CNN，矩陣向量乘法都占據(jù)了運(yùn)算總數(shù)的70%到90%，所以打造一個矩陣矢量乘法加速器，是多數(shù)AI加速器的思路。

要考慮效率，我們就不能不談到功耗的問題，如果只顧算力而不考慮功耗，任由龐大規(guī)模的GPU等硬件消耗能量不顧碳排放的話，也不符合全球當(dāng)下的節(jié)能減排趨勢。而在深度學(xué)習(xí)中，各種精度的加法乘法都會消耗能量，但這些運(yùn)算消耗的能量與傳統(tǒng)馮諾依曼結(jié)構(gòu)中數(shù)據(jù)移動消耗的能量相比，就顯得微不足道了，尤其是從DRAM中讀寫高精度數(shù)值時，能耗差距甚至可以達(dá)到數(shù)十倍以上。

這還只是在數(shù)據(jù)中心場景中，如果我們放到邊緣來看，如今的移動設(shè)備需要語音識別、圖像識別之類的各種深度學(xué)習(xí)應(yīng)用。所以提升這類設(shè)備的效率，才有可能在功耗和內(nèi)存都有所限制的嵌入式應(yīng)用中普及深度學(xué)習(xí)。

存內(nèi)計(jì)算的存儲選擇

為了減少數(shù)據(jù)移動消耗的能量，提高M(jìn)VM的計(jì)算性能，存內(nèi)計(jì)算成了一個不錯的選擇。存內(nèi)計(jì)算（IMC）是一項(xiàng)創(chuàng)新的計(jì)算方式，將特定的計(jì)算任務(wù)放到存儲設(shè)備中，并使用模擬或混合信號的計(jì)算技術(shù)。相較馮諾依曼結(jié)構(gòu)或近存計(jì)算來說，最大程度地減少了數(shù)據(jù)移動。

而早期利用IMC進(jìn)行神經(jīng)網(wǎng)絡(luò)推理的測試結(jié)果證明，在軟硬件結(jié)合的情況下，可以得到優(yōu)秀的精度結(jié)果，而DAC、ADC、功能激活之類的數(shù)字操作則是通過片外的軟件或硬件來實(shí)現(xiàn)的。自那之后，各種使用SRAM、NOR Flash、RRAM、PCM和MRAM的單核或多核存內(nèi)計(jì)算芯片紛紛面世。

在對于正確存儲類型的選擇上，存內(nèi)計(jì)算必須面臨取舍的問題，比如性能、密度、寫入時間、寫入功耗、穩(wěn)定性以及制造工藝上。性能自然就是直接影響到我們說的TOPS算力以及效率，目前SRAM優(yōu)勢較大，密度則決定了裸片大小，同時也影響到了成本。

而在邊緣場景下，環(huán)境一致性往往不比數(shù)據(jù)中心，所以如果不能保證穩(wěn)定性的話，就會影響到存內(nèi)計(jì)算進(jìn)行深度學(xué)習(xí)的精度。最后的制造工藝不僅決定了這類存內(nèi)計(jì)算芯片能否量產(chǎn)，是否存在供應(yīng)鏈危機(jī)或成本問題，也決定了它有沒有繼續(xù)推進(jìn)的空間，比如目前工藝較為先進(jìn)的主要是PCM和SRAM，最高分別已經(jīng)到了14nm和12nm。

在2021年的VLSI技術(shù)大會上，IBM發(fā)表了一篇文章，講述了他們以14nm CMOS工藝打造的一個64核PCM模擬存內(nèi)計(jì)算芯片，HERMES。該芯片采用了后端集成的多層相變化內(nèi)存，由256個線性化的CCO ADC組成，可以在1GHz的工作頻率之上進(jìn)行精確的片上矩陣矢量乘法運(yùn)算。在深度學(xué)習(xí)的運(yùn)算測試中，HERMES獲得了10.5 TOPS/W的運(yùn)算效率以及1.59TOPS/mm2的性能密度。

而荷蘭初創(chuàng)企業(yè)Axelera AI則選了數(shù)字SRAM這一路線，他們在去年12月成功流片第一代IMC芯片Thetis Core。Thetis Core的面積不到9mm2，卻可以在INT8精度下提供39.3TOPS的算力和14.1 TOPS/W的性能，甚至還可以超頻到48.16TOPS。但不少存內(nèi)計(jì)算芯片提到性能表現(xiàn)時，往往都是指滿載的情況，正因如此，Thetis Core在低利用率下的效率表現(xiàn)才顯得無比亮眼。哪怕從100%利用率降低至25%的，該芯片也能展現(xiàn)13TOPS/W的效率，降幅只有7%左右。

小結(jié)

除了“存”以外，存內(nèi)計(jì)算在“算”上的選擇也不盡相同，比如進(jìn)行模擬或數(shù)字MAC運(yùn)算等等。從斯坦福大學(xué)教授Boris Murmann提出的觀點(diǎn)來看，在低精度下模擬運(yùn)算要比數(shù)字運(yùn)算更高效，但一旦精度拔高，比如8位以后，模擬計(jì)算的功耗就會成倍增加了?？紤]到落地應(yīng)用較少，未來的存內(nèi)計(jì)算會更傾向于哪種形式仍有待觀察，但從存儲廠商、存算一體芯片廠商的動向來看，這或許是存儲市場迎來又一輪爆發(fā)的絕佳機(jī)遇。