谷歌開始賣物聯(lián)網(wǎng)AI芯片 搶攻IoT終端運(yùn)算

Google在Next云計(jì)算大會(huì)第二天，披露了自家搶攻IoT終端運(yùn)算的戰(zhàn)略武器，其中最引人關(guān)注的就是Edge TPU芯片的發(fā)布。 Google要靠自家超強(qiáng)的AI專用芯片技術(shù)，從硬件來?yè)尮oT終端運(yùn)算。今年10月還將開賣Edge TPU開發(fā)版，要讓企業(yè)可以快速打造自己的IoT應(yīng)用。

目前Edge TPU僅用于推理，專為在終端運(yùn)行TensorFlow Lite ML模型而設(shè)計(jì)。除了自用，谷歌Edge TPU也將提供給其他廠商使用，進(jìn)一步把開發(fā)者鎖定在谷歌生態(tài)系統(tǒng)，或?qū)φ麄€(gè)智能云計(jì)算市場(chǎng)帶來巨大沖擊！

這就意味著，谷歌不僅為在自己的數(shù)據(jù)中心（云端）開發(fā)人工智能芯片，還打算在將其設(shè)計(jì)的Edge TPU（終端）用在其他公司生產(chǎn)的產(chǎn)品中。

兩年前谷歌推出了第一代TPU，當(dāng)時(shí)只能做推理。去年，谷歌推出了既能做訓(xùn)練也能做推理的TPU 2.0，這款谷歌自研芯片當(dāng)做GPU的強(qiáng)勁對(duì)手，威脅英偉達(dá)的市場(chǎng)份額。今天5月，谷歌在I/O大會(huì)上發(fā)布了TPU 3.0，性能進(jìn)一步提升。無論市場(chǎng)情況如何，谷歌都在內(nèi)部都更多地使用TPU，而不是依賴英偉達(dá)等供應(yīng)商提供的硬件。

但是，谷歌曾多次表示不會(huì)對(duì)外銷售TPU，而是將TPU與谷歌云Google Cloud Platform（GCP）和TensorFlow綁定，讓使用GCP和TF的用戶享受TPU帶來的計(jì)算優(yōu)勢(shì)。

現(xiàn)在，Edge TPU則不同了。據(jù)CNBC報(bào)道，消費(fèi)電子制造商LG正在一個(gè)顯示器玻璃檢測(cè)系統(tǒng)中測(cè)試谷歌Edge TPU，以更快地發(fā)現(xiàn)制造缺陷。據(jù)LG CNS集團(tuán)CTO Shingyoon Hyun 表示，檢測(cè)精度從原來的約50％提高到了99.9％。

可以想見，未來谷歌Edge TPU在物聯(lián)網(wǎng)以及智能終端設(shè)備中的巨大使用空間，以及對(duì)物聯(lián)網(wǎng)芯片市場(chǎng)的沖擊。

Edge TPU模塊（SOM）規(guī)格

底板規(guī)格

? CPU：NXP i.MX 8M SOC（四核Cortex-A53，Cortex-M4F）

?GPU：GC7000 Lite圖形處理器

?ML加速器：Google Edge TPU

?RAM：1GB LPDDR4

?Flash：8GB eMMC

?無線：Wi-Fi 2x2 MIMO（802.11b/g/n/ac 2.4/5GHz）；藍(lán)牙4.1

?外形尺寸：40mm*48mm

支持操作系統(tǒng)：Debian Linux，Android Things

支持深度學(xué)習(xí)框架：TensorFlow Lite

?閃存：MicroSD

?USB：Type-C OTG、Type-C電源、Type-A 3.0 ?Host、MicroUSB串口

?LAN：千兆以太網(wǎng)端口

?音頻：3.5mm音頻插孔、數(shù)字PDM麥克風(fēng)（x2）；2.54mm 4針端子，用于立體聲揚(yáng)聲器

?視頻：HDMI 2.0a（全尺寸）、MIPI-DSI-39針FFC連接器（4-lane）、MIPI-CSI2-24針FFC連接器（4-lane）

?GPIO：40pin擴(kuò)展接口

?功率：5V DC（USB Type-C）

?外形尺寸：85mm*56mm

早在今年5月時(shí)，就發(fā)布了第三代AI芯片TPU 3.0，可以比前一代提高了8倍性能，能處理到100petaFLops，相當(dāng)于超級(jí)計(jì)算機(jī)的運(yùn)算性能。在Next大會(huì)第一天，Google首席科學(xué)家李飛飛也宣布TPU 3.0進(jìn)入了Alpha版本。不只如此，Google在Next大會(huì)第二天主題演講中，發(fā)布了Edge TPU芯片，目前是Alpha版本。

Cloud IoT產(chǎn)品管理部門負(fù)責(zé)人Antony Passemard表示，Edge TPU是Google自行設(shè)計(jì)的超低功率ASIC芯片，大小比1美分還要小上許多，可以在終端運(yùn)算設(shè)備上執(zhí)行TensorFLow Lite機(jī)器學(xué)習(xí)模型，但是，不同于Cloud TPU，Edge TPU芯片不是用來訓(xùn)練機(jī)器學(xué)習(xí)模型，而是用來執(zhí)行已經(jīng)訓(xùn)練好的模型，來進(jìn)行預(yù)測(cè)之用。因此，不具備peta等級(jí)的計(jì)算能力，但可以用超低功率，以高度省電的方式，在終端運(yùn)算設(shè)備或設(shè)備上執(zhí)行TensorFlow機(jī)器學(xué)習(xí)模型。

盡管Edge TPU芯片比1美分還小，但Google搭配NXP CPU的Edge TPU處理模塊則和一般CPU處理器大小相當(dāng)，如Antony Passemard手上所示。

“Edge TPU是和Cloud TPU互補(bǔ)的產(chǎn)品，你可以通過Cloud TPU來加速訓(xùn)練ML模型，再將訓(xùn)練好的ML模型，放到Edge設(shè)備中，用Edge TPU芯片高速進(jìn)行推論預(yù)測(cè)（inferences）。Antony Passemard強(qiáng)調(diào)，如此一來，可以傳感器搜集更多數(shù)據(jù)，尤其是大量即時(shí)性、在地性的數(shù)據(jù)來進(jìn)行決策。為了加快企業(yè)開發(fā)IoT應(yīng)用，Google還進(jìn)一步發(fā)布了Edge TPU開發(fā)版套件（module development kit）。

就像樹莓派開發(fā)版Raspberry Pi那樣，Edge TPU開發(fā)版就是一個(gè)小型的AI芯片主機(jī)版，大約是長(zhǎng)約3個(gè)硬幣，寬約2個(gè)硬幣大小的開發(fā)版，內(nèi)置了NXP CPU處理器、Edge TPU、Wi-Fi功能和加密芯片，另外也可支持SD卡來存儲(chǔ)數(shù)據(jù)，可以快速用來打造出一臺(tái)Edge TPU運(yùn)算主機(jī)。

Antony Passema沒有披露吞吐量的數(shù)據(jù)，僅表示，可以處理高吞吐量的串流數(shù)據(jù)，例如即時(shí)視頻分析。Edge TPU開發(fā)版預(yù)計(jì)今年10月開始供貨，但Google還沒有披露售價(jià)。

Edge TPU開發(fā)版長(zhǎng)約3-4個(gè)10元硬幣大小，內(nèi)置了NXP CPU處理器、Edge TPU、Wi-Fi功能和加密芯片。

Edge TPU開發(fā)版寬度約2-3個(gè)10元硬幣，整體大小約和樹莓派開發(fā)版相當(dāng)。

Edge TPU開發(fā)版利用SD卡來存儲(chǔ)數(shù)據(jù)，從背面右上角是SD卡位置

Edge TPU開發(fā)版也提供多種常用連接接口，聯(lián)網(wǎng)絡(luò)接口都有。

將機(jī)器學(xué)習(xí)帶到終端，省錢！省時(shí)！

Edge TPU將Google Cloud強(qiáng)大的AI功能擴(kuò)展到網(wǎng)關(guān)和連接設(shè)備的軟件棧。用戶可以在云上構(gòu)建和訓(xùn)練ML模型，然后通過Edge TPU硬件加速器在Cloud IoT Edge設(shè)備上運(yùn)行這些模型。

Edge TPU是谷歌的專用ASIC芯片，專為在終端運(yùn)行TensorFlow Lite ML模型而設(shè)計(jì)。在設(shè)計(jì)Edge TPU時(shí)，我們非常注重在很小的占用空間內(nèi)優(yōu)化“每瓦性能”和“每美元性能”。

Edge TPU的設(shè)計(jì)旨在補(bǔ)充谷歌云TPU，因此，你可以在云中加速M(fèi)L的訓(xùn)練，然后在終端進(jìn)行快速的ML推理。你的傳感器不僅僅是數(shù)據(jù)采集——它們還能夠做出本地的、實(shí)時(shí)的、智能的決策。

終端上的AI是市場(chǎng)推動(dòng)產(chǎn)物

如今，從消費(fèi)者到企業(yè)應(yīng)用程序，AI無處不在。隨著連接設(shè)備的爆炸式增長(zhǎng)，再加上對(duì)隱私/機(jī)密性、低延遲和帶寬限制的需求，在云中訓(xùn)練的AI模型越來越需要在終端上運(yùn)行。Edge TPU是谷歌為在終端運(yùn)行AI而設(shè)計(jì)的專用ASIC。它在很小的物理占用和很低功耗的限制下提供高性能，使得在終端部署高精度的AI成為可能。

由于其高性能、物理占用面積小、功耗低，Edge TPU可以在物聯(lián)網(wǎng)終端廣泛部署高質(zhì)量的AI。

Edge TPU不僅僅是一個(gè)硬件解決方案，它結(jié)合了定制硬件、開放軟件和最先進(jìn)的AI算法，為終端提供高質(zhì)量、易于部署的AI解決方案。

Edge TPU有非常多的工業(yè)用例，例如預(yù)測(cè)性維護(hù)、異常檢測(cè)、機(jī)器視覺、機(jī)器人、語音識(shí)別等等。在制造業(yè)、內(nèi)部部署、醫(yī)療、零售、智能空間、交通等領(lǐng)域有廣泛應(yīng)用。

目前Edge僅用于推理

Edge TPU支持在終端部署高質(zhì)量的ML推理。它增強(qiáng)了谷歌的Cloud TPU和Cloud IoT，以提供端到端（云到端、硬件+軟件）的基礎(chǔ)設(shè)施，以促進(jìn)客戶基于AI的解決方案的部署。除了開放源碼的TensorFlow Lite編程環(huán)境之外，Edge TPU最初將部署多個(gè)Google AI模型，并結(jié)合谷歌在AI和硬件方面的專業(yè)知識(shí)。

Edge TPU補(bǔ)充了CPU、GPU和其他ASIC解決方案，用于在Edge上運(yùn)行AI，這將由Cloud IoT Edge支持。

Edge TPU 和 Cloud TPU的對(duì)比

Edge TPU可用于ML推理，不適用于訓(xùn)練；Cloud TPU可用于ML訓(xùn)練和推理

軟件和服務(wù)方面，Edge TPU適用于Cloud IoT Edge和Android Things；Cloud TPU的可用軟件包括Cloud ML Engine，Kubernetes Engine，Google Compute Engine，以及Cloud IoT Core

ML框架：Edge TPU可使用TensorFlow Lite, NN API；Cloud TPU可使用TensorFlow, scikit-learn, XGBoost, Keras

硬件加速器：Edge TPU包括Edge TPU, GPU, CPU；Cloud TPU包括Cloud TPU, GPU 和CPU

Edge TPU的特性

Edge TPU使用戶能夠以高效的方式，在高分辨率視頻上以每秒30幀的速度，在每幀上同時(shí)執(zhí)行多個(gè)最先進(jìn)的AI模型。

Cloud IoT Edge可以在Android Things或基于Linux OS的設(shè)備上運(yùn)行，其關(guān)鍵組件包括：

網(wǎng)關(guān)類設(shè)備runtime（至少有一個(gè)CPU），用于終端數(shù)據(jù)的本地存儲(chǔ)、轉(zhuǎn)換和處理，以及從數(shù)據(jù)中獲取智能，同時(shí)與云IoT平臺(tái)的其余部分無縫互操作。

Edge IoT Core runtime，能更安全地將終端設(shè)備連接到云，支持軟件和固件更新，并通過Cloud IoT Core管理數(shù)據(jù)交換。

基于TensorFlow Lite的Edge ML runtime，使用預(yù)先訓(xùn)練過的模型執(zhí)行本地ML推理，顯著減少延遲并增加終端設(shè)備的多功能性。由于Edge ML運(yùn)行時(shí)與TensorFlow Lite接口，因此它可以在網(wǎng)關(guān)類設(shè)備中的CPU，GPU或Edge TPU上執(zhí)行ML推理，或者在終端設(shè)備（如攝像頭）中執(zhí)行ML推理。

推出Edge TPU開發(fā)套件，進(jìn)一步將開發(fā)者鎖定在谷歌生態(tài)系統(tǒng)

為了使用Edge TPU快速啟動(dòng)開發(fā)和測(cè)試，我們構(gòu)建了一個(gè)開發(fā)套件（Edge TPU development kit）。這個(gè)套件包括一個(gè)模塊化系統(tǒng)（SOM），集合了谷歌的Edge TPU，一個(gè)NXP的CPU, Wi-Fi，和Microchip的安全元件。開發(fā)套件將在今年10月對(duì)開發(fā)者開放，也可以注冊(cè)申請(qǐng)?zhí)崆霸L問。

谷歌將在一款類似 Raspberry Pi 的套件上推出Edge TPU，在簡(jiǎn)化版的TensorFlow AI軟件上運(yùn)行。這一操作將使得那些已經(jīng)使用TensorFlow作為其主要機(jī)器學(xué)習(xí)框架的開發(fā)者，更快更高效地使用Edge TPU，提供全棧式硬件，進(jìn)一步將其鎖定在谷歌云的生態(tài)系統(tǒng)中。谷歌正在與Arm，Harting，日立數(shù)據(jù)系統(tǒng)（Hitachi Vantara），新漢（Nexcom），諾基亞和恩智浦等制造商合作。

谷歌并不是唯一為所謂的物聯(lián)網(wǎng)提供服務(wù)的云服務(wù)提供商。今年早些時(shí)候，微軟宣布推出面向物聯(lián)網(wǎng)的芯片設(shè)計(jì)。微軟的Azure是除了亞馬遜AWS之外第二大云的服務(wù)商。

至于占據(jù)市場(chǎng)主要份額的亞馬遜AWS，憑借其智能音箱Echo/Alexa，已經(jīng)在智能終端領(lǐng)域占據(jù)了不小的市場(chǎng)。

雖然硅谷早有傳言，但Edge TPU的推出無疑是谷歌邁進(jìn)從硬件到用戶體驗(yàn)一張?zhí)追?wù)的切實(shí)一步。

就目前而言，谷歌Edge TPU或許還尚不具備顛覆硬件計(jì)算市場(chǎng)的能力，但谷歌將自研Edge TPU用于其他廠商設(shè)備這一舉措，顯然有一統(tǒng)生態(tài)系統(tǒng)的野心。

但無論如何，消費(fèi)者的體驗(yàn)將會(huì)隨著越來越強(qiáng)大的智能計(jì)算得到進(jìn)一步提高。

其實(shí)國(guó)產(chǎn)芯片廠家也在謀劃類似的操作方式，但是谷歌由于在云端AI訓(xùn)練和軟件架構(gòu)，資金實(shí)力，算法等維度的領(lǐng)先型，導(dǎo)致國(guó)內(nèi)芯片廠家追趕乏力。

不過我們還是有我們的自有優(yōu)勢(shì)，例如成本、應(yīng)用場(chǎng)景、整機(jī)廠深度合作等維度。我們期待國(guó)產(chǎn)芯片公司能夠在AI終端芯片市場(chǎng)，分得一杯羹。