0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

布局AI芯片 谷歌邊緣端TPU發(fā)神威

mK5P_AItists ? 來源:未知 ? 作者:胡薇 ? 2018-11-21 15:50 ? 次閱讀

2018年7月Google在其云端服務(wù)年會Google Cloud Next上正式發(fā)表其邊緣(Edge)技術(shù),與另兩家國際公有云服務(wù)大廠Amazon/AWS、Microsoft Azure相比,Google對于邊緣技術(shù)已屬較晚表態(tài)、較晚布局者,但其技術(shù)主張卻與前兩業(yè)者有所不同。

Google AI布局逐漸走向邊緣

除了同樣提倡基礎(chǔ)的物聯(lián)網(wǎng)閘道器(IoT Gateway)軟件Edge IoT Core、人工智慧/機器學(xué)習(xí)(AI/ML)軟件Edge ML外,還針對人工智慧/機器學(xué)習(xí)推出專屬的加速運算芯片,稱為Google Edge TPU(圖1),成為此次盛會一大焦點。

圖1 Google發(fā)表僅有1美分銅板面積不到的人工智慧加速運算芯片Edge TPU。

資料來源:Google官網(wǎng)

在Google發(fā)表Edge TPU前已發(fā)表過Cloud TPU芯片,首次發(fā)表是在Google另一個更全面、更盛大的例行年會Google I/O 2016上。Cloud TPU顧名思義用于云端機房,而TPU是TensorFlow Processing Unit的縮寫,言下之意是針對TensorFlow而設(shè)計的硬件加速運算器,TensorFlow則是Google于2015年11月提出的人工智慧框架,是目前諸多人工智慧框架中的一大主流,其他知名的框架如Caffe/Caffe 2、Apache MXnet等。

目前人工智慧框架百花齊放,其他常見的亦有Keras、PyTorch、CNTK、DL4J、Theano、Torch7、Paddle、DSSTNE、tiny-dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等。若以簡單譬喻而言,人工智慧的開發(fā)撰寫如同文書撰寫,人工智慧框架就如同記事本、Word等文書處理器,功效在于協(xié)助與便利開發(fā)撰寫。

Google自行開發(fā)設(shè)計的Cloud TPU僅用于自家云端機房,且已對多種Google官方云端服務(wù)帶來加速效果,例如Google街景圖服務(wù)的文字處理、Google相簿的照片分析、乃至Google搜尋引擎服務(wù)等。Google Cloud TPU也改版快速,2016年首次發(fā)表后2017年推出第二代,2018年推出第三代芯片(圖2)。

圖2 Google連續(xù)三年在Google I/O上揭露自研的Cloud TPU新技術(shù)動向。

資料來源:Google官網(wǎng)

不過,Google之后對Cloud TPU的技術(shù)態(tài)度似有變化。2018年2月宣布可申請租用TPU運算力,如同Google Cloud Platform(GCP)的公有云服務(wù)般,依據(jù)運算芯片的使用時間計費,每小時6.5美元(至2018年9月已降至4.5美元) ,與GCP的CPU租用服務(wù)相比相當昂貴,GCP的CPU租用服務(wù),以***彰化濱海工業(yè)區(qū)的機房(不同位置的機房費率不同)而言,標準型計價約在0.055至5.28美元間,且8種計費費率中有5種低于1美元/小時。

TPU租用費亦同樣高于GPU租用,GCP的NVIDIA GPU租用費率約在0.49至2.48美元間,視規(guī)格等級而異(Tesla K80/P100/V100)。Google Cloud TPU雖可租用,但Google是否愿意單獨銷售Cloud TPU給系統(tǒng)商,讓系統(tǒng)商制造及銷售TPU運算系統(tǒng),仍待進一步觀察。

在Google推出云端用的Cloud TPU后,讓人未預(yù)料的是Google也針對邊緣提出專屬的TPU芯片,然在此前仍有些征兆,即2017年11月Google提出輕量版的TensorFlow Lite(某種程度取代此前的TensorFlow Mobile),使電力有限的行動裝置也能支援TensorFlow,2018年推出的Edge TPU芯片即是以執(zhí)行TensorFlow Lite為主,而非原宗的TensorFlow。

Google Edge裝置內(nèi)的作業(yè)系統(tǒng)為LinuxAndroid Things,而后執(zhí)行Google Edge IoT Core基礎(chǔ)功能軟件、Google Edge ML人工智慧軟件,并可選用配置Google Edge TPU。

Google Edge軟硬件架構(gòu)概觀

圖3左側(cè)為物聯(lián)網(wǎng)感測器,右側(cè)為Google云端系統(tǒng)及服務(wù)。另外Edge TPU也支援Android Neural Networks 神經(jīng)網(wǎng)路應(yīng)用程式介面(API),簡稱NNAPI(圖4)。NNAPI于在2017年12月Android 8.1釋出時一同提出,NNAPI可視為TensorFlow Lite、Caffe2等框架的基礎(chǔ)層。由此可知Edge TPU所支援呼應(yīng)并加速的軟件,于2017年便已先行到位。

圖3 Google Edge裝置軟硬件架構(gòu)圖資料來源:Google官網(wǎng)

圖4 Google Android NNAPI系統(tǒng)架構(gòu)圖,NNAPI可透過硬件抽象層與驅(qū)動程式,運用GPU、特定處理器或數(shù)位訊號處理器(DSP)等,使人工智慧運算加速。資料來源:Google官網(wǎng)

與Cloud TPU不同的是,Edge TPU估將由Google銷售給系統(tǒng)商,再由系統(tǒng)商配置于前端裝置內(nèi),包含感測器節(jié)點、裝置或閘道器內(nèi),Edge TPU不是自用或租用而是銷售。

Edge TPU技術(shù)輪廓

雖然Google對Cloud TPU、Edge TPU的技術(shù)資訊揭露均不多,但仍有若干資訊可推測其背后意向與考量。

首先是Google很明白Edge定位的系統(tǒng)運算力有限,所以Edge TPU的運算任務(wù)僅在于執(zhí)行已訓(xùn)練完成的人工智慧模型,即推測運算、推算工作(Inference,今日多譯成「推論」),真正要大量耗費運算力的模型訓(xùn)練(Training),依然由充沛運算力的系統(tǒng)事先進行,如工作站、伺服器、云端等,透過CPU/GPU/TPU進行訓(xùn)練。

其次,Edge TPU強調(diào)可同時執(zhí)行處理多組每秒30張高清晰度畫質(zhì)的人工智慧判別運算,顯示Edge TPU將用于視訊影像類的人工智慧應(yīng)用,且為即時判別(30FPS)。

更進一步的說明,Edge TPU只負責(zé)人工智慧的加速判別、加速推算,僅為加速器、輔助處理器的角色。因此,必須與系統(tǒng)的主控芯片溝通聯(lián)系,這方面Edge TPU提供了兩種介接的方式,一是PCI Express介面,另一是USB介面。兩種介面均適合嵌入式設(shè)計,然PCI Express傳輸率較高,可避免傳輸瓶頸,而USB介面較可能定位在后裝型運用,即前端裝置已經(jīng)存在,但仍可透過USB連接Edge TPU,帶來加速效果。

也由于須與Edge裝置整合,因此Edge TPU設(shè)計之初已盡可能減少功耗,雖然Google官方并未正式揭露,但已表態(tài)將與Google合作的***工控系統(tǒng)商也表示,其典型功耗(Thermal Design Power, TDP)僅在1.8瓦,很明顯只要現(xiàn)成芯片封裝即可散熱,幾乎可不加散熱片,更不需要馬達風(fēng)扇,便可讓Edge TPU正常運作。

至于Edge TPU支援的運算格式則為int8、int16,即8位元整數(shù)、16位元整數(shù)的人工智慧模型推算,但無法進行更高位元數(shù)的整數(shù),或者是浮點數(shù)的運算,如16位元浮點數(shù)(FP16)。

Google一發(fā)表Edge TPU即有合作伙伴與應(yīng)用的揭露,如南韓樂金(LG)將用于產(chǎn)線制造上;另外紐西蘭、澳洲、英國的Smart Parking公司(顧名思義是與智慧停車相關(guān)的方案商)也表態(tài)采用,Smart Parking不單采用Edge TPU,其后端系統(tǒng)也大量采用GCP服務(wù);還有Xee公司將Edge TPU用于汽車駕駛輔助上,對影像與雷達資料進行研判,而后給予駕駛潛在危險警告,如路況變差、輪胎過度磨損等。目前所知Google將Edge TPU訴求于三個目標,即制造、零售、汽車。

Movidius與Edge TPU的瑜亮情結(jié)

在Google尚未推出Edge TPU芯片前,其實Google已有使用前端的人工智慧加速芯片,2011年Google購并Motorola Mobility,而后于2014年將Motorola Mobility售給Lenovo,但Google仍保留下2個原屬于Motorola Mobility的研究專案,而未移轉(zhuǎn)給Lenovo,一是模組化手機專案Ara,另一是擴增實境技術(shù)專案Tango(此專案于2018年3月結(jié)束,改由ARCore技術(shù)接手)。

Google在2014年對外揭露Tango研究,此專案所發(fā)展的平板、手機等行動裝置,即配置了Movidius公司的VPU芯片,VPU即Vision Processing Unit之意,更具體而言是視訊類型的人工智慧運算、推算加速芯片。

Movidius自身發(fā)展第一代VPU,而后在與Google合作Tango計畫時則為第二代VPU,稱為Myriad 2(芯片編號MA2150/MA2450,差別在于MA2150最高連接1Gbit記憶體,MA2450可至4Gbit)。不僅Google采用,包含多軸無人機大廠大疆亦用于無人機上。之后2016年英特爾(Intel)購并Movidius,接手后發(fā)展出第三代VPU,稱為Myriad X(芯片編號MA2085/MA2485,MA2085封裝內(nèi)無記憶體,MA2485內(nèi)含4Gbit記憶體)。

Movidius在被英特爾收購后,Google依然鐘愛Movidius技術(shù)。2017年底Google推出AIY Vision Kit的開發(fā)套件,該套件內(nèi)仍可見MA2450芯片的蹤影。AIY Vision Kit是Google用來推行其影像人工智慧技術(shù)的評估套件,以樹莓派電腦(Raspberry Pi, RPi)為基礎(chǔ)提供擴充延伸的硬件配件,即可摸索與評估Google的影像人工智慧技術(shù)。

而所謂的AIY是Google自創(chuàng)的復(fù)合字,是以人工智慧(AI)與DIY(Do-It-Yourself自己動手做)二字疊合而成。事實上Google在推出Vision Kit的同時也有推出Voice Kit,可供摸索評估Google的語音人工智慧技術(shù),但語音的人工智慧運算其運算負荷并不吃重,不需要專屬加速芯片。

從2014年的Tango到2017年底的AIY Vision Kit,Google均以第二代Movidius芯片為主,因此理論上順其發(fā)展,Google即便在Edge環(huán)節(jié)有其技術(shù)主張,認為可配置人工智慧硬件加速芯片,應(yīng)也會屬意Movidius,而非自行研發(fā)Edge TPU。

不過,最終Google提出了Edge TPU,因此不得不推測,英特爾購并Movidius后,Google可能認為后續(xù)新發(fā)展并不完全合乎期待,過往Movidius為小型獨立企業(yè)時,可能提供Google高度支援,然英特爾可能對Movidius技術(shù)資產(chǎn)的后續(xù)延伸與新走向有不同的想法。

對此可若干比較第三代Movidius Myriad X與Edge TPU,前者支援FP16的16位元浮點數(shù)推測運算及8位元整數(shù)推算,而Edge TPU如前述僅支援8位元整數(shù)及16位元整數(shù)推算;Movidius Myriad系列仍可能顧及潛在市場機會最大化,雖未廣泛支援多種AI框架,但至少支援兩種現(xiàn)階段主流框架,即TensorFlow與Caffe。

圖5 Google在Tango專案與AIY Vision套件上均使用Movidius MA2450芯片。資料來源:Google官網(wǎng)

由此而論,Google可能對TensorFlow Lite寄予厚望,因而有專屬設(shè)計的加速芯片Edge TPU,Edge TPU可能一直維持比Movidius Myriad系列更低規(guī)(無浮點數(shù))、更專精(只支援TensorFlow Lite )的技術(shù)發(fā)展定位,更高階的需求仍會選用Movidius Myriad系列,兩者高低并用并行。

或者Google未來只屬意自家Edge TPU,只在云端外推行Edge TPU,并一直維持低階定位,不往更高階發(fā)展,或Edge TPU僅是首發(fā),未來將持續(xù)發(fā)展更高階的Edge TPU,如此將與英特爾Movidius競爭,甚在效能規(guī)格大幅強化后而與NVIDIA Xavier競爭。

認為Edge TPU將與Movidius競爭的另一支持,在于Edge TPU也將推出USB隨身碟型態(tài)的開發(fā)/運用套件,并同樣使用AIY之名推展。早于Movidius未被英特爾收購前,Movidius即有提供USB隨身碟型態(tài)的人工智慧評估/運用套件(圖6),英特爾收購Movidius套件產(chǎn)品仍持續(xù),套件稱為NCS(Neural Compute Stick)。

圖6英特爾、Google均以PCI Express介面開發(fā)板與USB介面隨身碟型加速器,來推行其人工智慧加速芯片。資料來源:英特爾、Google

另一需考量的是,雖然Google在技術(shù)布局上已逐漸同時注重軟硬件的均衡與呼應(yīng),自身對于硬件發(fā)展的主導(dǎo)與涉入也日深,但就過往經(jīng)驗而言Google的硬件技術(shù)策略仍經(jīng)常搖擺,甚在短期內(nèi)放棄,因此Edge TPU仍可能不是長期技術(shù)策略中的一環(huán),而是一個技術(shù)嘗試,特別是Cloud TPU、Edge TPU均為加速作用的輔助處理器,為選擇性使用,必要時仍可由其他芯片實現(xiàn)相同運算效果,或在英特爾、NVIDIA等芯片商給予更多技術(shù)發(fā)展承諾后,仍可能停止自有芯片發(fā)展路線。

其他產(chǎn)業(yè)推測也包含,Google Edge TPU的技術(shù)授權(quán)來自于Movidius,有可能初始使用Movidius技術(shù)與架構(gòu)之后獨立發(fā)展,也可能持續(xù)向英特爾Movidius取得授權(quán),而始終與英特爾Movidius主力銷售芯片保持區(qū)隔與技術(shù)落差時間。

Edge TPU后續(xù)策略、動向推測

展望未來,Edge TPU由于將提供給系統(tǒng)商,估計日后揭露的技術(shù)資訊將較Cloud TPU為多,Cloud TPU由于目前只在Google機房端配置,至多提供遠端租用,因此可以不揭露更多技術(shù)資訊,事實上Google對于第三代Cloud TPU所揭露的資訊,已明顯少于前二代。

倘若Edge TPU推展順遂,支持的系統(tǒng)伙伴日增,則可激勵Google更快速發(fā)展新版Edge TPU。若推展不如預(yù)期,則Google也可能自行推出官方版的Edge閘道器、Edge裝置,作為產(chǎn)業(yè)示范,或自始至終不投入官方版示范,直接停止Edge TPU后續(xù)發(fā)展。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6192

    瀏覽量

    105885
  • TPU
    TPU
    +關(guān)注

    關(guān)注

    0

    文章

    143

    瀏覽量

    20772
  • AI芯片
    +關(guān)注

    關(guān)注

    17

    文章

    1904

    瀏覽量

    35181

原文標題:一文看懂谷歌的AI芯片布局,邊緣端TPU將大發(fā)神威

文章出處:【微信號:AItists,微信公眾號:人工智能學(xué)家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    邊緣AI芯片市場升溫!英特爾、AMD出大招,本土芯片廠商爭發(fā)新品

    邊緣 AI 是指在邊緣設(shè)備(例如智能手機、物聯(lián)網(wǎng)設(shè)備和嵌入式系統(tǒng))上實現(xiàn) AI 算法,而不是依賴于基于云的基礎(chǔ)設(shè)施。AI手機和
    的頭像 發(fā)表于 08-01 00:17 ?4612次閱讀
    <b class='flag-5'>邊緣</b><b class='flag-5'>AI</b><b class='flag-5'>芯片</b>市場升溫!英特爾、AMD出大招,本土<b class='flag-5'>芯片</b>廠商爭<b class='flag-5'>發(fā)</b>新品

    TPU v1到Trillium TPU,蘋果等科技公司使用谷歌TPU進行AI計算

    ,在訓(xùn)練尖端人工智能方面,大型科技公司正在尋找英偉達以外的替代品。 ? 不斷迭代的谷歌TPU 芯片 ? 隨著機器學(xué)習(xí)算法,特別是深度學(xué)習(xí)算法在各個領(lǐng)域的廣泛應(yīng)用,對于高效、低功耗的AI
    的頭像 發(fā)表于 07-31 01:08 ?3431次閱讀

    國科微攜全系邊AI芯片亮相2024世界人工智能大會

    7月4日,2024世界人工智能大會(以下簡稱“WAIC2024”)在上海開幕。作為國內(nèi)領(lǐng)先的集成電路設(shè)計企業(yè),國科微攜全系邊AI芯片精彩亮相,其中,大算力AI
    的頭像 發(fā)表于 07-05 11:07 ?747次閱讀

    廣和通側(cè)AI解決方案榮膺MWCS 2024邊緣AI計算最佳創(chuàng)新獎

    在近日舉行的2024世界移動通信大會·上海(MWCS 2024)上,廣和通憑借其卓越的側(cè)AI解決方案榮獲2024信息通信業(yè)“新質(zhì)推薦”——邊緣AI計算最佳創(chuàng)新方案獎。這一榮譽不僅彰顯
    的頭像 發(fā)表于 06-28 15:44 ?834次閱讀

    后摩智能引領(lǐng)AI芯片革命,推出邊大模型AI芯片M30

    在人工智能(AI)技術(shù)飛速發(fā)展的今天,AI大模型的部署需求正迅速從云端向側(cè)和邊緣側(cè)設(shè)備遷移。這一轉(zhuǎn)變對AI
    的頭像 發(fā)表于 06-28 15:13 ?729次閱讀

    耐能推出最新的邊緣AI服務(wù)器及內(nèi)置耐能AI芯片的PC設(shè)備

    - 耐能的邊緣 AI 服務(wù)器 KNEO 330 為中小企業(yè)帶來 30-40% 的成本節(jié)省,同兼顧隱私和安全性。- 耐能的邊緣 GPT AI 芯片
    的頭像 發(fā)表于 06-05 10:21 ?706次閱讀

    聯(lián)發(fā)科:5G、AI、車用芯片及 Arm 架構(gòu)運算領(lǐng)域?qū)⑹俏磥碇匦?/a>

    蔡明介認為,隨著AI技術(shù)的逐漸普及,將由云端向邊緣蔓延。聯(lián)發(fā)科早已在手機、物聯(lián)網(wǎng)等邊緣打下堅
    的頭像 發(fā)表于 05-27 16:43 ?571次閱讀

    谷歌發(fā)布第六代TPU芯片Trillium,挑戰(zhàn)GPT-4o

    分析人士認為,谷歌積極推進自主研發(fā)芯片,按照其規(guī)劃,第七代和第八代產(chǎn)品將分別與聯(lián)發(fā)科、世芯合作生產(chǎn)。此次第六代TPU的推出,有望引領(lǐng)CSP(云端服務(wù)提供商)廠商投入自研
    的頭像 發(fā)表于 05-16 18:05 ?1511次閱讀

    谷歌推出Trillium AI芯片,性能提高近5倍

    谷歌推出了其最新的人工智能數(shù)據(jù)中心芯片——Trillium。這款芯片谷歌的第六代產(chǎn)品,與上一代TPU v5e相比,Trillium在每個
    的頭像 發(fā)表于 05-16 10:39 ?815次閱讀

    谷歌推新AI音樂工具,發(fā)布第六代TPU芯片

    谷歌近日宣布與YouTube合作,推出全新音樂工具Music AI Sandbox。這款AI音樂創(chuàng)作工具將與傳統(tǒng)AI音樂應(yīng)用如Suno等展開競爭,為用戶提供更多元化的音樂創(chuàng)作體驗。
    的頭像 發(fā)表于 05-16 09:44 ?420次閱讀

    谷歌將推出第六代數(shù)據(jù)中心AI芯片Trillium TPU

    在今日舉行的I/O 2024開發(fā)者大會上,谷歌公司震撼發(fā)布了其第六代數(shù)據(jù)中心AI芯片——Trillium Tensor處理器單元(TPU)。據(jù)谷歌
    的頭像 發(fā)表于 05-15 11:18 ?663次閱讀

    邊緣側(cè)AI芯片提供商超星未來完成數(shù)億元 Pre-B輪融資

    AI產(chǎn)業(yè)生態(tài)中,計算芯片被視為行業(yè)的“賣水人”。依據(jù)云端/邊緣、訓(xùn)練/推理兩大分類標準,AI芯片
    的頭像 發(fā)表于 05-09 09:38 ?604次閱讀

    Groq推出大模型推理芯片 超越了傳統(tǒng)GPU和谷歌TPU

    Groq推出了大模型推理芯片,以每秒500tokens的速度引起轟動,超越了傳統(tǒng)GPU和谷歌TPU。
    的頭像 發(fā)表于 02-26 10:24 ?1122次閱讀
    Groq推出大模型推理<b class='flag-5'>芯片</b> 超越了傳統(tǒng)GPU和<b class='flag-5'>谷歌</b><b class='flag-5'>TPU</b>

    國科微:將持續(xù)優(yōu)化邊緣AI戰(zhàn)略布局

    國科微近日在接受調(diào)研時透露,公司正積極推進搭載自研NPU架構(gòu)的芯片研發(fā),主要聚焦在邊緣側(cè)應(yīng)用。公司表示,將持續(xù)優(yōu)化邊緣AI戰(zhàn)略布局,加快
    的頭像 發(fā)表于 02-23 11:23 ?892次閱讀

    三星電子在硅谷成立AI芯片開發(fā)團隊

    三星電子近日在硅谷成立了一支全新的AI芯片開發(fā)團隊,以加速在人工智能領(lǐng)域的布局。這支團隊由前谷歌研究員Woo Dong-hyuk領(lǐng)導(dǎo),他在谷歌
    的頭像 發(fā)表于 02-22 14:43 ?710次閱讀