基于In-suite processing的概念在存儲控制上集成了計算加速的單元

在創(chuàng)業(yè)公司NGD的Keynote中，我們看到了他們和微軟研究院完成的原型概念驗證?；贗n-suite processing的概念在存儲控制上集成了計算加速的單元。這個概念和大部分在存儲上做加速的方案類似，利用與數(shù)據(jù)存儲比較靠近的優(yōu)勢來實現(xiàn)計算的offlaoding，從而降低延時。

NGD加速的應用是目前比較熱門的CNN，類似Image的分類，人臉識別，以及車輛牌照識別之類的Edge端的應用。和以云端數(shù)據(jù)中心的形式存在的Google的TPU Pod不同，在Edge端的應用對于實時性要求更加嚴格，在5G出現(xiàn)之前，從端設備發(fā)送原始數(shù)據(jù)到云端處理的路徑還是過長，因此Edge 計算和所謂的霧計算還是有很強大的生命了。使用Edge端的處理能力的好處主要是：1. 延時端，2. 減少了數(shù)據(jù)的傳輸量，不需要原始數(shù)據(jù)，特征數(shù)據(jù)就夠了。

在FMS 2018上，類似的方案還有Marvell，Marvell宣布了一個概念芯片，他們把SSD的控制器和Nvidia的NVDLA結合在一起，推了了一個在端設備可以做深度學習推理的設備。

NVDLA的信息都在這個http://nvdla.org/primer.html，在2017年發(fā)布的時候，大家都驚呼可能要終結很多AI的創(chuàng)業(yè)公司的ASIC計劃，因為NVDLA利用Nvidia在深度學習上的技術優(yōu)勢，開源這樣一個Deep Learning Accelerator的設計，Nvidia的之前的大部分投入都在訓練市場，對于推理來講，需要通過新的硬件和架構來適配。從占領市場的角度，開源這個加速器的設計，對于增加話語權有著重要的意義。

在Marvell的展臺上貌似沒有看到這個概念芯片的具體信息。只是 在FMS2018的新聞稿來看到了一些信息。目前這種AI SSD關注的領域是數(shù)據(jù)分析市場，在具體的云端或者edge端大數(shù)據(jù)分析以及數(shù)據(jù)標注的應用上，可以使用AI SSD的加速功能。從NVDLA的內部框圖上可以看出，NVDLA主要只是針對CNN的圖像應用。

并不是Marvell這個一家公司這樣，很多企業(yè)級控制器的廠家都在考慮這個方向；來自PMC加拿大班底的Netint.ca在FMS也展示了他們PCIE4.0 的SSD 控制器。

在SSD控制中集成了Video的處理單元。對于高清的H.265的處理，以為目前主流的方案還是CPU為主，因此單個Intel的X86的服務器級別的方案都在4-6路之間，而使用硬件加速可以在性能和功耗比上完勝。

之前在武漢存儲半導體峰會上，A股上市公司國科微也提出了near data計算的概念，如何在SSD的設計中體現(xiàn)對AI workload的優(yōu)化。目前在我天朝，AI發(fā)展最熱的，也是各級領導最重視的就是安防了，人臉識別，行為判斷，數(shù)人頭，等等是安定團結的技術手段。其中的技術挑戰(zhàn)也很多。

作為存儲大數(shù)據(jù)分析加速，不能不談一下BlueDBM，這個項目的韓國人從MIT畢業(yè)了，到了UIC Irvien，還是在談大數(shù)據(jù)分析加速，在原有的框架上增加了很多的內容。

已經(jīng)在做圖計算以及Vertex的計算了，下一步是啥，參加過機器學習入門的人應該不陌生了。建議大家技術關注這個明星項目。之前在MIT的時候有廣達的中研院支持，現(xiàn)在不知道會不有samsung的支持了。

和之前之四講的計算加速類似，我們可以看到一個明顯的趨勢就是在SSD控制器中增加對near data計算的支持，把一些相對成熟的方案集成進去，這可能是企業(yè)級SSD控制器的新方向。最后，用一個韓國公司的SSD 控制器作為FMS 2018的結束了。他們是目前第一家使用RISC-V做SSD控制器，而且他們的性能和架構上和傳統(tǒng)的控制器有很大的區(qū)別，值得學習。