移動端的深度學(xué)習(xí)正在風(fēng)起云涌,華為的芯片帶來的強大智能能力

移動端的深度學(xué)習(xí)正在風(fēng)起云涌，從去年NIPS的研討會到今年高通、華為的芯片帶來的強大智能能力，無一不在應(yīng)驗著這一趨勢。

目前為止人工智能的進步主要來自海量的數(shù)據(jù)資源和日漸增長的強大計算能力。典型的機器學(xué)習(xí)通常被構(gòu)建在單一的數(shù)據(jù)中心上，可以接入全球的數(shù)據(jù)集和海量的存儲與計算能力。目前很多深度學(xué)習(xí)算法都運行在云端，通過Caffe、tensorflow等計算框架搭建模型，并利用GPU, TPU等計算硬件驅(qū)動。這種方式構(gòu)成了目前深度學(xué)習(xí)實現(xiàn)方式的主流方案。

但這種方式對于要求低延時、計算量功耗有限的應(yīng)用時，就會出現(xiàn)各種各樣的問題。例如在空中飛行的無人機、控制無人駕駛車輛、手術(shù)機器人等。為了完成一系列精細(xì)的任務(wù)、未來的無線通信系統(tǒng)需要在網(wǎng)絡(luò)的邊緣（靠近設(shè)備端）進行更多的決策，甚至當(dāng)通信鏈路中斷時能夠保證系統(tǒng)更加可靠、更加迅速的響應(yīng)。

這一趨勢帶來了去中心化機器學(xué)習(xí)的迅速發(fā)展，這種新的機制可以將訓(xùn)練數(shù)據(jù)存儲在很多的節(jié)點中，并協(xié)同工作來為問題找到合適的解決方案。設(shè)備端的機器學(xué)習(xí)與此類似，它的本質(zhì)是利用去中心化的方式訓(xùn)練出一個高可靠性的中心化模型。訓(xùn)練數(shù)據(jù)在每一個節(jié)點上分布很不均勻，同時每個節(jié)點只有包含整個數(shù)據(jù)的一小部分。

這樣的方式有很多優(yōu)點：和基于云的人工智能相比，設(shè)備端的AI可以保護隱私，因為個性化的訓(xùn)練在本地完成訓(xùn)練數(shù)據(jù)無需上傳至云端。同時訓(xùn)練也在本地完成、并且通過無線或者云的方式來對節(jié)點進行匯總、共享訓(xùn)練的結(jié)果。這意味著所有的設(shè)備都可以接入相同的全局模型。

但目前設(shè)備端機器學(xué)習(xí)的大規(guī)模應(yīng)用在工程和學(xué)術(shù)上還面臨著一系列挑戰(zhàn)。為了保證隱私的安全，研究人員們需要研究差分隱私技術(shù)來保證數(shù)據(jù)安全；當(dāng)訓(xùn)練數(shù)據(jù)稀疏時，還需要利用聯(lián)合學(xué)習(xí)和遷移學(xué)習(xí)來實現(xiàn)設(shè)備端的智能化。我們無需從零開始訓(xùn)練模型，而是利用豐富的源數(shù)據(jù)訓(xùn)練好模型后，將學(xué)習(xí)到的知識遷移到目標(biāo)領(lǐng)域；除此之外，由于設(shè)備端的計算、能耗資源有限，適用的機器學(xué)習(xí)模型必須經(jīng)過有效的優(yōu)化才能夠準(zhǔn)確高效的運行（比如取出一些層及層中的神經(jīng)元等），同時也需要對于計算精度、能耗做出有效的權(quán)衡。

由于計算資源的有限，算法需要同時在本地和云端運行。這樣可以保證對于個性化的設(shè)備端AI和云端的集成AI都有很好的控制，并使得設(shè)備可以依靠云端強大的存儲和計算能力來獲取更快更好的表現(xiàn)。

這一本地和遠(yuǎn)程計算的問題被稱為任務(wù)卸載，這意味著一個任務(wù)可以同時在本地設(shè)備上運行、或者遠(yuǎn)程的在網(wǎng)絡(luò)上運行，或者在兩者上同時運行。為了尋找最優(yōu)的策略，需要綜合考量應(yīng)用需求、神經(jīng)網(wǎng)絡(luò)模型、功耗、網(wǎng)絡(luò)吞吐量等一系列問題，而這些依然是工程師們孜孜不倦在研究和解決的問題。

另一個重要的挑戰(zhàn)是使得設(shè)備端的AI與系統(tǒng)設(shè)計相匹配。典型的機器學(xué)習(xí)是中心化的應(yīng)用，一般會為每一個主體最大化平均效果，但在設(shè)備端的AI卻由于有限的訓(xùn)練數(shù)據(jù)更傾向于不確定性和隨機性，同時還受到設(shè)備間不可靠連接的影響，當(dāng)設(shè)備將任務(wù)遷移到云或者其他設(shè)備時通信延時也是一個重要的影響。這意味著設(shè)備端的AI 需要知道如何在非常不同的場景對預(yù)測進行針對性的處理，而不是像中心化機器學(xué)習(xí)一樣將所有主體合成整體作平均考慮。

對于這樣的設(shè)備端AI來說，超可靠-低延時的通信是系統(tǒng)得以順利工作的保證，這也是目前5G的關(guān)鍵技術(shù)之一。隨著5G時代的到來，人工智能將被應(yīng)用到自動化網(wǎng)絡(luò)中去，深刻的改變下一代無線系統(tǒng)。

目前設(shè)備端的AI正處于研究發(fā)展的初期，需要走出一條與基于云的中心化AI不同的道路。它們向著網(wǎng)絡(luò)邊緣計算和通信的方向邁進，通過互相分享各自的模型（而不是隱私數(shù)據(jù)）來建立起一個中心化的全局模型，綜合考慮了延時、可靠性、隱私、功耗和精度。這樣的學(xué)習(xí)方式將會在不久的將來改變設(shè)備生產(chǎn)和編程的方式，并為世界帶來我們不曾見過的全新能力。