工程師為AI瓶頸提供明智，及時的想法

賴斯大學的研究人員已經展示了設計創(chuàng)新的以數據為中心的計算硬件以及與機器學習算法共同設計硬件的方法，這些算法可以共同將能源效率提高兩個數量級。

機器學習的進步，無人駕駛汽車背后的人工智能形式以及許多其他高科技應用，已經開創(chuàng)了計算的新時代（以數據為中心的時代），并迫使工程師們重新考慮具有消失了75年

“問題在于，對于當今機器學習最先進的大規(guī)模深度神經網絡而言，運行整個系統(tǒng)所需的90%以上的電力都消耗在內存和處理器之間的數據移動中”，電氣與計算機工程學助理教授林穎妍說。

林和合作者提出了優(yōu)化數據中心處理的兩個互補的方法，這兩者都呈現6月3日在國際研討會上的計算機體系結構（ISCA），最大的會議為新的思路和研究的一個計算機體系結構。

以數據為中心的體系結構的驅動與一個稱為von Neumann瓶頸的問題有關，這種效率低下的原因是自數學家約翰·馮·諾伊曼（John von Neumann）于1945年發(fā)明內存以來，計算結構中內存和處理的分離一直占主導地位。從程序和數據來看，馮·諾伊曼（von Neumann）架構使單臺計算機具有難以置信的通用性。根據從內存中加載的存儲程序，可以使用計算機進行視頻通話，準備電子表格或模擬火星上的天氣。

但是將內存與處理分開也意味著即使簡單的操作（如加2加2）也需要計算機處理器多次訪問內存。深度神經網絡中的大量操作使這種記憶瓶頸變得更糟，深度神經網絡是通過“研究”大量先前示例來學習做出人性化決策的系統(tǒng)。網絡越大，它可以完成的任務就越困難，并且顯示的網絡示例越多，它的執(zhí)行效果就越好。深度神經網絡訓練可能需要專門的處理器庫，這些處理器需要全天候運行一周以上。基于智能網絡在智能手機上執(zhí)行任務可以在不到一個小時的時間內耗盡電池電量。

賴斯的高效和智能計算（EIC）實驗室主任Lin說：“對于機器學習時代的以數據為中心的算法，我們需要創(chuàng)新的以數據為中心的硬件體系結構。” “但是，機器學習的最佳硬件架構是什么？

“沒有一個萬能的答案，因為不同的應用需要機器學習算法，這些算法在算法結構和復雜性方面可能有很大差異，同時具有不同的任務準確性和資源消耗（例如能源成本，延遲和吞吐量），需要權衡取舍要求。”她說?！霸S多研究人員正在為此進行研究，像英特爾，IBM和Google這樣的大公司都有自己的設計。”

Lin小組在ISCA 2020上的演講之一在TIMELY上提供了結果，TIMELY是她和她的學生為“內存中處理”（PIM）開發(fā)的一種創(chuàng)新架構，這種非馮·諾依曼方法將處理引入內存陣列。一個有前途的PIM平臺是“ 電阻式隨機存取存儲器 ”（ReRAM），類似于閃存的非易失性存儲器。雖然提出了其他ReRAM PIM加速器架構，但Lin表示，在10多個深度神經網絡模型上進行的實驗發(fā)現，TIMELY的能源效率高18倍，并且交付的計算密度是最有競爭力的最新技術的30倍以上ReRAM PIM加速器。

TIMELY代表“時域，內存中執(zhí)行，LocalitY”，它通過消除導致效率低下的主要因素來實現其性能，這種效率低下是由于頻繁訪問主存儲器以處理中間輸入和輸出以及本地和主存儲器之間的接口而引起的?；貞?。

在主存儲器中，數據以數字方式存儲，但是當將其帶入本地存儲器以進行內存中處理時，必須將其轉換為模擬量。在以前的ReRAM PIM加速器中，結果值從模擬轉換為數字，然后發(fā)送回主存儲器。如果將它們從主存儲器調用到本地ReRAM以進行后續(xù)操作，則它們將再次轉換為模擬信號，依此類推。

通過使用本地存儲器中的模擬格式緩沖區(qū)，及時避免了不必要的訪問主存儲器和接口數據轉換的開銷。這樣，TIMELY幾乎可以將所需的數據保留在本地存儲陣列中，從而大大提高了效率。

該小組在ISCA 2020上提出的第二個建議是SmartExchange，該設計結合了算法和加速器硬件創(chuàng)新以節(jié)省能源。

“訪問主存儲器 DRAM的能量要比執(zhí)行計算多花費200倍，因此SmartExchange的關鍵思想是在算法中強制執(zhí)行結構，使我們可以將成本較高的內存換成成本更低的內存，成本計算。”

她舉例說：“例如，我們的算法有1000個參數?！?“在傳統(tǒng)方法中，我們將所有1，000個存儲在DRAM中，并根據計算需要進行訪問。使用SmartExchange，我們搜索以找到這1，000個中的某些結構。然后，我們只需要存儲10個，因為如果我們知道它們之間的關系， 10和其余的990，我們可以計算990中的任何一個，而不必從DRAM調用它們。

她說：“我們將這10個稱為“基礎”子集，其想法是將它們存儲在靠近處理器的本地位置，以避免或大幅度減少為訪問DRAM而支付的費用。

研究人員使用SmartExchange算法及其自定義的硬件加速器對七個基準深度神經網絡模型和三個基準數據集進行了實驗。他們發(fā)現，與最先進的深度神經網絡加速器相比，該組合將等待時間減少了多達19倍。