深度解析AI算力的現(xiàn)狀和趨勢(shì)

7 月 21 日，“決勝算力時(shí)代 ”AI 算力高端閉門分享會(huì)在北京天使匯極客咖啡舉辦。本次分享會(huì)由 CSDN 發(fā)起，由 CTO 俱樂(lè)部，深腦鏈、AI 科技大本營(yíng)和區(qū)塊鏈大本營(yíng)協(xié)辦。

分享會(huì)從 AI 算力的現(xiàn)狀和趨勢(shì)談起，并從硬件設(shè)計(jì)和算法優(yōu)化兩個(gè)層面切入，剖析算力提升的最新落地經(jīng)驗(yàn)和誤區(qū)，最后針對(duì)算力成本居高不下的普遍現(xiàn)狀，引入算力的新型協(xié)作方式---借用區(qū)塊鏈生態(tài)的分布式協(xié)作，大幅降低企業(yè)算力成本。

以下為嘉賓分享內(nèi)容簡(jiǎn)介：

▌1. 國(guó)科大數(shù)據(jù)挖掘與高性能計(jì)算實(shí)驗(yàn)室負(fù)責(zé)人劉瑩教授發(fā)表了題為《基于異構(gòu)并行計(jì)算的大數(shù)據(jù)分析與挖掘》的演講。

劉瑩教授提到，單 CPU 的發(fā)展已經(jīng)不能滿足實(shí)際應(yīng)用的需求，AI 時(shí)代必須要依靠并行計(jì)算。目前，并行計(jì)算的主流架構(gòu)是異構(gòu)并行計(jì)算平臺(tái)。除了科技巨頭和人工智能公司在做相關(guān)研究之外，她的團(tuán)隊(duì)也在做基于異構(gòu)并行環(huán)境的一些數(shù)據(jù)挖掘研究，也就是人工智能的一些算法，包括關(guān)聯(lián)規(guī)則、聚類到分類，而對(duì)于自動(dòng)編碼機(jī)，推薦算法他們也做了異構(gòu)并行資源，包含GPU集群上面的加速。

以協(xié)同過(guò)濾算法為例，它是一種非常重要的推薦系統(tǒng)算法，他們?yōu)榇嗽O(shè)計(jì)了兩個(gè)計(jì)算核，一個(gè)是計(jì)算相似度，一個(gè)是計(jì)算平均值，把這些核心計(jì)算全部都在 GPU 上進(jìn)行計(jì)算來(lái)加速算法。他們團(tuán)隊(duì)目前正在做的基于光學(xué)遙感圖像的艦船檢測(cè)與識(shí)別項(xiàng)目就是在 GPU 加速下完成的，建模時(shí)間比 CPU 的速度提升了 57 倍。

PPT鏈接：

https://img-bss.csdn.net/201807241705592588.pdf

▌2. 探智立方聯(lián)合創(chuàng)始人宋煜則介紹了 AutoML，講述了其計(jì)算力的需求的分析與展望。

他指出，AutoML 最核心的內(nèi)容就是用計(jì)算力和數(shù)學(xué)方法自動(dòng)做數(shù)據(jù)特征提取以及模型建模。

AutoML 的整個(gè)過(guò)程需要大量的計(jì)算力，它對(duì)算力需求分為兩部分，第一部分是本身的模型評(píng)估，這與平時(shí)模型的訓(xùn)練類似。第二部分是模型搜索，所以模型的搜索過(guò)程可能是對(duì)最優(yōu)解分布的估計(jì)，在估計(jì)完之后，過(guò)程拿到的結(jié)果反過(guò)來(lái)會(huì)重新影響到參數(shù)，重新對(duì)最優(yōu)解分布范圍重新做一次估計(jì)。

宋煜認(rèn)為，AutoML 的發(fā)展最重要的一點(diǎn)是，用矩陣表達(dá)計(jì)算圖結(jié)構(gòu)并且把所有圖操作變成矩陣運(yùn)算，從而使得模型設(shè)計(jì)可以使用 blas 庫(kù)加速，以及針對(duì)特殊算法設(shè)計(jì)加速芯片。

▌3. PerfXLab澎峰科技聯(lián)合創(chuàng)始人張先軼分享了主題為《InferXLite：輕量級(jí)深度學(xué)習(xí)推理框架》的內(nèi)容。

張先軼介紹了 InferXLite 輕量級(jí)深度學(xué)習(xí)推理框架以及配套的底層性能加速庫(kù)。他們關(guān)注在嵌入式端側(cè)的部署，比如無(wú)人機(jī)、智能攝像頭等。他主要從性能庫(kù)（BLAS、DNN庫(kù)等）和框架兩個(gè)維度講述了嵌入式 AI 性能優(yōu)化。

針對(duì)深度學(xué)習(xí)優(yōu)化，他們主要為了解決四個(gè)問(wèn)題：GEMM Kernrl 優(yōu)化，包括 Neon 指令、預(yù)取距離參數(shù)、Unroll 參數(shù)；GEMM Pack 函數(shù)，Pack 函數(shù)優(yōu)化，盡量連續(xù)寫；并行化，需要細(xì)粒度切分；定點(diǎn)化，要實(shí)現(xiàn) int8 gemm。

PPT鏈接：

https://img-bss.csdn.net/201807241658331383.pdf

▌4. 深腦鏈 CEO 何永以《區(qū)塊鏈驅(qū)動(dòng)的人工智能云計(jì)算平臺(tái)》為題作了分享。

由于爆炸增長(zhǎng)的 AI 算力需求是目前制約人工智能發(fā)展的主要瓶頸，所以他談到了區(qū)塊鏈如何以分布式協(xié)作，將“挖礦”和 AI 訓(xùn)練結(jié)合在一起，將匯集閑散的算力用于 AI 訓(xùn)練中，以及如何將區(qū)塊鏈浪費(fèi)資源的計(jì)算轉(zhuǎn)化為高效率的人工智能深度學(xué)習(xí)，機(jī)器學(xué)習(xí)訓(xùn)練和區(qū)塊鏈計(jì)算挖礦。

何永認(rèn)為未來(lái)中心化的云計(jì)算可能會(huì)走向分步式的云計(jì)算，主要有以下兩個(gè)原因，第一是 GPU 很便宜，可以節(jié)省 70% 以上的成本。可以通過(guò)閑置資源再利用的方式，比如可以把資金拿出來(lái)，然后在生產(chǎn)鏈上使用，生產(chǎn)鏈就會(huì)提供便宜機(jī)器。其次區(qū)塊鏈在早期很多機(jī)器接入進(jìn)來(lái)，除了能夠整個(gè)生產(chǎn)力系統(tǒng)分配的獎(jiǎng)勵(lì)之外，還可以獲得支付的算力，這兩部分組成了一個(gè)完整收入，不過(guò)這對(duì)一個(gè)使用算力的人來(lái)說(shuō)費(fèi)用其實(shí)很少，這就滿足了需求和供應(yīng)兩端的需求。

關(guān)于私密數(shù)據(jù)的問(wèn)題，何永表示，訓(xùn)練數(shù)據(jù)都是在生產(chǎn)鏈之上，最終拿到模型，所以對(duì)于數(shù)據(jù)的提供方來(lái)說(shuō)可以做隱私控制，最終可以拿到便宜的隱私數(shù)據(jù)。

為什么這些一定要通過(guò)區(qū)塊鏈技術(shù)來(lái)做？首先，區(qū)塊鏈技術(shù)是一個(gè)完全去中心化的技術(shù)。如果是中心化的系統(tǒng)，如果服務(wù)器宕機(jī)，整個(gè)服務(wù)系統(tǒng)就都不可用。第二就是代幣經(jīng)濟(jì)。使用機(jī)器的人付的代幣是直接的點(diǎn)對(duì)點(diǎn)支付，中間省去了利潤(rùn)的剝奪過(guò)程。還有挖礦的經(jīng)濟(jì)機(jī)制，也就是早期即使沒(méi)有任何人使用，只要把機(jī)器接入進(jìn)來(lái)就可以給獎(jiǎng)勵(lì)。第三是開(kāi)源透明。第四是改變了經(jīng)濟(jì)關(guān)系。