機(jī)器學(xué)習(xí)的第二階段：推理

我們之前討論過(guò)，訓(xùn)練過(guò)程是機(jī)器學(xué)習(xí)的第一階段，而推理則緊隨其后，為機(jī)器學(xué)習(xí)的第二階段。在訓(xùn)練階段，算法會(huì)生成新模型或把預(yù)訓(xùn)練模型重新調(diào)整用于特定應(yīng)用，并幫助模型學(xué)習(xí)其參數(shù)。在推理階段，會(huì)根據(jù)學(xué)習(xí)得到的參數(shù)對(duì)新數(shù)據(jù)進(jìn)行預(yù)估和決策。

學(xué)習(xí)需要大量的時(shí)間、計(jì)算能力和電力，相反，推理階段需要較少的處理能力，并且也消耗較少的功率。但是，正如之前部分“解析人工智能：訓(xùn)練”所述，對(duì)于物聯(lián)網(wǎng)設(shè)備，中央云中的傳統(tǒng)計(jì)算方式可能會(huì)占用大量資源。處在網(wǎng)絡(luò)邊緣的每個(gè)物聯(lián)網(wǎng)節(jié)點(diǎn)都收集大量數(shù)據(jù)，從而使邊緣到云端（以及相反從云端到邊緣）的數(shù)據(jù)傳輸既昂貴又緩慢?！斑吘売?jì)算”可以直接執(zhí)行大多數(shù)計(jì)算，并且僅在完全必要時(shí)才將相關(guān)信息傳輸回云端（反之亦然），從而無(wú)需依靠基于云的服務(wù)器來(lái)進(jìn)行所有處理。雖然在網(wǎng)絡(luò)邊緣進(jìn)行計(jì)算可以減少數(shù)據(jù)傳輸成本和時(shí)間，但該模型也具有某些缺點(diǎn)。例如，網(wǎng)絡(luò)邊緣的物聯(lián)網(wǎng)設(shè)備需要大量的處理能力來(lái)滿足學(xué)習(xí)和推理需求，這與物聯(lián)網(wǎng)設(shè)備要求的高能效原則背道而馳。這正是AI邊緣計(jì)算加速器能夠解決的問(wèn)題。

AI加速器

基于軟件和硬件的AI加速器都可加快機(jī)器學(xué)習(xí)。硬件加速可以針對(duì)訓(xùn)練、推理或兩者兼有。在某些情況下，硬件加速器可以降低功耗。而在其他情況下，硬件加速器可以提高處理能力。目前有幾種主要類型的芯片或處理器可用于硬件加速，這些包括中央處理器（CPU）、圖形處理器（GPU）、現(xiàn)場(chǎng)可編程門陣列（FPGA）、片上系統(tǒng)（SoC）、專用集成電路（ASIC）、視覺(jué)處理器（VPC）和神經(jīng)形態(tài)（neuromorphic）集成電路。除了硬件加速器之外，市場(chǎng)上的解決方案還包括基于軟件的方式，例如機(jī)器學(xué)習(xí)框架可用于改善AI軟件開(kāi)發(fā)和優(yōu)化系統(tǒng)性能。

CPU和GPU

CPU是AI傳統(tǒng)上使用的硬件加速器。盡管CPU一般被設(shè)計(jì)為通用型器件，但它們通常不足以支持模型生成和推理所需的大量計(jì)算。因此，包括ARM（通過(guò)DynamIQ產(chǎn)品）和三星（通過(guò)Exynos 9系列）等公司已經(jīng)開(kāi)始創(chuàng)建AI專用芯片。在ARM和三星等公司選擇繼續(xù)使用AI專用CPU的同時(shí)，其他公司則正在轉(zhuǎn)向GPU。

GPU起源于視頻游戲行業(yè)，專為處理海量數(shù)據(jù)集而構(gòu)建，非常適合用于機(jī)器學(xué)習(xí)。由于GPU具有比CPU更多的單片處理單元和更高的吞吐量，以及更高的并行處理能力，因此能夠顯著減少計(jì)算時(shí)間。此外，GPU的單個(gè)處理單元比CPU所使用的多個(gè)單元更加小巧，從而使GPU更適合于需要小巧和靈活解決方案的空間受限物聯(lián)網(wǎng)設(shè)備?？商峁〢I專用GPU的公司包括AMD（Radeon Instinct）、NEC（SX-Aurora）、NVIDIA（DGX）和高通（Adreno）等。

FPGA

盡管CPU和GPU擁有相當(dāng)大的處理能力，并且對(duì)于加速學(xué)習(xí)和推理非常有效，但它們卻需要花費(fèi)大量時(shí)間和能量在內(nèi)存和處理之間傳輸數(shù)據(jù)。由于CPU和GPU的電路密度相當(dāng)高，因此經(jīng)常會(huì)由于過(guò)熱而導(dǎo)致系統(tǒng)故障。對(duì)于位于遠(yuǎn)端的物聯(lián)網(wǎng)設(shè)備，高能耗和潛在系統(tǒng)故障是難以接受的缺點(diǎn)，需要找到一種方法可以將某些任務(wù)轉(zhuǎn)移到更節(jié)能的硬件上，這一點(diǎn)非常必要。

基于可編程邏輯的FPGA 是一種能夠在生產(chǎn)后由客戶或設(shè)計(jì)人員現(xiàn)場(chǎng)重新配置的一種器件。雖然 FPGA 通常不如 CPU 或 GPU 強(qiáng)大，但通過(guò)芯片自身內(nèi)部計(jì)算而不是數(shù)據(jù)傳輸，能夠?yàn)槟承┯?jì)算（如乘法、加法、集分、微分和指數(shù)等）提供快速處理。盡管FPGA提供了更大的靈活性，但它往往相當(dāng)笨重，因此要實(shí)現(xiàn)物聯(lián)網(wǎng)設(shè)備的小型化是此類芯片的一大挑戰(zhàn)。能夠提供面向AI應(yīng)用芯片的主要公司包括NVIDIA（TensorRT）和Xilinx。此外，微軟也正在使用FPGA芯片來(lái)加速推理，英特爾目前正在擴(kuò)展其FPGA產(chǎn)品組合。?

SoC

SoC包含有多個(gè)電子器件的組合（微處理器、微控制器、數(shù)字信號(hào)處理器、片上存儲(chǔ)器、硬件加速器等）。由于多個(gè)組件集成到單一半導(dǎo)體基底，SoC比微控制器芯片功能更加強(qiáng)大。在智能手機(jī)中，SoC可以集成視頻、音頻和圖像處理功能。ARM已經(jīng)開(kāi)發(fā)了機(jī)器學(xué)習(xí)處理器和對(duì)象檢測(cè)處理器，這些處理器能夠在未來(lái)集成到SoC中。隸屬華為集團(tuán)的海思（HiSilicon）半導(dǎo)體部已經(jīng)得到ARM的IP授權(quán)，以創(chuàng)建最初用于手機(jī)和平板電腦的SoC。此外，HiSilicon正在為華為制造升騰芯片（Ascend）。SoC領(lǐng)域的另一大廠商是Arteris，該公司正在開(kāi)發(fā)一種片上網(wǎng)絡(luò)互連交換矩陣技術(shù)（FlexNoC），許多移動(dòng)和無(wú)線公司都在使用該技術(shù)。由于Arteris在知識(shí)產(chǎn)權(quán)方面占據(jù)主導(dǎo)地位，因此對(duì)該市場(chǎng)有更宏觀的掌握?？赡芎芸鞎?huì)有其他公司在AI SoC市場(chǎng)發(fā)揮重要作用，這些包括英特爾（通過(guò)其Movidius子公司）、恩智浦、瑞薩、東芝、德州儀器和意法半導(dǎo)體等。

ASIC、VPU和神經(jīng)形態(tài)芯片

ASIC 專為加速深度學(xué)習(xí)算法中的訓(xùn)練而構(gòu)建，包括 Google 的Edge TPU和英特爾的 Nervana都是此類ASIC芯片。視覺(jué)處理單元（VPU）旨在加速機(jī)器視覺(jué)任務(wù)，并運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)（CNN）等機(jī)器視覺(jué)算法，因此 VPU 視頻處理功能不同于 GPU，GPU不提供相同類型的專用任務(wù)處理。英特爾的Movidius Myriad芯片、Google的Pixel視覺(jué)內(nèi)核、微軟的HoloLens、Inuitive的NU系列和Mobileye的EyeQ等都是一些視覺(jué)處理單元例證。

無(wú)論是數(shù)字芯片還是模擬芯片都各有不足：數(shù)字電路精準(zhǔn)，但耗能巨大，而模擬電路則具有低延遲和低能耗，但精度不夠。因此，研究人員正在尋找一些新方法，結(jié)合數(shù)字和模擬芯片的技術(shù)優(yōu)勢(shì)，同時(shí)回避兩者的弱點(diǎn)。受人腦的啟發(fā)，神經(jīng)形態(tài)芯片的設(shè)計(jì)在本質(zhì)上采用數(shù)字架構(gòu)，但采用模擬電路進(jìn)行混合信號(hào)處理。IBM 的 TrueNorth 是一個(gè)神經(jīng)形態(tài)處理器，面向傳感器數(shù)據(jù)模式識(shí)別和智能等應(yīng)用。此外，哥倫比亞大學(xué)、斯坦福大學(xué)的"硅片中的大腦（Brains in Silicon）"項(xiàng)目以及DARPA支持的密歇根大學(xué)IC實(shí)驗(yàn)室都在從各個(gè)方面研究神經(jīng)形態(tài)系統(tǒng)的實(shí)現(xiàn)。

機(jī)器學(xué)習(xí)框架

AI 加速器還包括軟件。例如，機(jī)器學(xué)習(xí)框架可以是接口、程序庫(kù)或工具，有助于降低與機(jī)器學(xué)習(xí)相關(guān)的復(fù)雜性，以便開(kāi)發(fā)人員能夠更快、更輕松地構(gòu)建模型并優(yōu)化性能。此類框架采用如Python 或 Java等特定語(yǔ)言構(gòu)建，一些深受市場(chǎng)歡迎的開(kāi)源機(jī)器學(xué)習(xí)框架來(lái)自亞馬遜（AWS）、Apache、Caffe2、Keras、Theano、微軟（Azure）和Google（TensorFlow）等廠商。此外，一些公司還提供內(nèi)部平臺(tái)。例如，英特爾的 OpenVINO 工具包是一個(gè)軟件和硬件加速器，可優(yōu)化CNN模型的推理。另外，高通的Snapdragon是一個(gè)移動(dòng)平臺(tái)和軟件加速器，IBM則有Watson機(jī)器學(xué)習(xí)加速器平臺(tái)，而華為最近推出了MindSpore AI框架。

AI?起步

貿(mào)澤電子（Mouser）現(xiàn)在可提供各種硬件，能夠幫助客戶構(gòu)建實(shí)現(xiàn)AI的初始模塊。英特爾的即插即用Neural?Compute Stick 2??可以幫助工程師盡早實(shí)現(xiàn)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行原型設(shè)計(jì)，它采用公司自身的?Movidius X VPU?提供極具吸引力的能效和性能組合，能夠達(dá)到4TOPS。高度緊湊的AAEON UP AI?核心處理模塊基于小型?PCI?Express格式，主要面向工業(yè)計(jì)算。它還配備了英特爾Movidius VPU，其中采用?Myriad 2 2450，具有?512Mb DDR?內(nèi)存，以及?12?個(gè)VUW?可編程SHAVE內(nèi)核和專用視覺(jué)加速器。Gumstix的?Aerocore 2?板?采用陣列式NVIDIA Jetson TX1和TX2 CUDA內(nèi)核，使其具有強(qiáng)大的并行處理能力，還包括ARM Cortex-M4微控制器和眾多外設(shè)，特別適用于物體識(shí)別、生產(chǎn)線檢測(cè)等多種機(jī)器視覺(jué)應(yīng)用。

展望未來(lái)

目前NVIDIA在工業(yè)AI應(yīng)用中仍然占據(jù)主導(dǎo)地位，大多數(shù)新加入廠商都專注于IoT AI領(lǐng)域。GreenWave?和Reduced Energy Microsystems處于低功耗芯片領(lǐng)域，而?Mythic?和Syntiant正在開(kāi)發(fā)基于電池供電的處理器。與上述情況類似，Wiliot正在制造一種藍(lán)牙芯片，可由周圍環(huán)境中的無(wú)線電輻射供電。在巨大的并行數(shù)據(jù)處理市場(chǎng)，有Vathys、Graphcore、Cerebras和Wave Computing等廠商。與此同時(shí)，Hailo Technologies?和Horizon Robotics等公司正在開(kāi)發(fā)用于自動(dòng)駕駛汽車的專用芯片。在深度學(xué)習(xí)領(lǐng)域，BrainChip已經(jīng)成功開(kāi)發(fā)出第一個(gè)尖峰式（spiking）神經(jīng)處理器，Thinci推出了流式圖形處理器，Gyrfalcon?正在開(kāi)發(fā)一種具備專有AI處理內(nèi)存（APiM）技術(shù)的深度學(xué)習(xí)處理器。最后，在Groq，曾經(jīng)設(shè)計(jì)Google?TPU的前Google公司設(shè)計(jì)師正在開(kāi)發(fā)一種超低延遲芯片。隨著在機(jī)器學(xué)習(xí)領(lǐng)域取得驚人的進(jìn)展，物聯(lián)網(wǎng)邊緣計(jì)算仍存在許多技術(shù)挑戰(zhàn)，軟件和硬件開(kāi)發(fā)人員都在不斷努力，以便在卓越的處理性能和更高的能效等方面實(shí)現(xiàn)最佳的平衡。