0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

英特爾和IBM積極探索神經(jīng)模態(tài)計算到底是什么?

汽車玩家 ? 來源:與非網(wǎng) ? 作者:與非網(wǎng) ? 2020-03-08 09:08 ? 次閱讀

目前英特爾和IBM在內(nèi)的企業(yè)正積極探索超低功耗神經(jīng)模態(tài)芯片在不同領(lǐng)域的應(yīng)用,在未來幾年內(nèi)隨著 AI+IoT 的發(fā)展,神經(jīng)模態(tài)計算將會迎來一波新的熱潮。

人工神經(jīng)網(wǎng)絡(luò)的概念以及基本神經(jīng)元模型于 1943 年就已提出,這正是試圖模擬腦皮層以神經(jīng)元網(wǎng)絡(luò)形式進行信息處理的體現(xiàn)。

卷積神經(jīng)網(wǎng)絡(luò)的局部感受野是受到大腦視覺系統(tǒng)的啟發(fā)。深度神經(jīng)網(wǎng)絡(luò)的層級構(gòu)建是源于腦皮層的分層通路。

只不過在深度學(xué)習(xí)的后續(xù)發(fā)展中,研究者更加偏重把神經(jīng)網(wǎng)絡(luò)視為一個黑匣,用于擬合從輸入到輸出的復(fù)雜映射關(guān)系:

只需要給網(wǎng)絡(luò)的輸出定義一個收斂目標(biāo)(目標(biāo)函數(shù),比如每張圖像的輸出對應(yīng)到正確的類別)并描述為一個優(yōu)化問題,然后用梯度下降的方式去更新系統(tǒng)參數(shù)主要是突觸權(quán)重,使得輸出逐漸逼近想要的結(jié)果。

原則上網(wǎng)絡(luò)越大,特征提取的能力就會越強,也就需要越多的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)更新參數(shù)使網(wǎng)絡(luò)收斂,因此計算量也大幅增加。

故而,深度學(xué)習(xí)也被稱為數(shù)據(jù)和算力驅(qū)動的智能。雖然深度學(xué)習(xí)以解決實際應(yīng)用為目標(biāo)而與神經(jīng)科學(xué)漸行漸遠,但近兩年也有科學(xué)家試圖在大腦中找到梯度下降的證據(jù)和吸收新的腦科學(xué)成果。

機器學(xué)習(xí)是目前人工智能模型中最卓有成效的一個分支,而深度學(xué)習(xí)又是當(dāng)今機器學(xué)習(xí)的寵兒,其以人工神經(jīng)網(wǎng)絡(luò)為主要模型。

人工神經(jīng)網(wǎng)絡(luò)由大量神經(jīng)元通過突觸連接而成,從輸入到輸出呈現(xiàn)層級結(jié)構(gòu),當(dāng)層數(shù)較多時則被稱為深度神經(jīng)網(wǎng)絡(luò)。

相比于全連接神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)通過引入二維特征圖與突觸核的卷積操作獲得了強大的局部特征提取能力,被廣泛用于圖像處理領(lǐng)域。

而反饋神經(jīng)網(wǎng)絡(luò)通過引入反饋連接,建立時序動力學(xué)模型,被廣泛用于處理語音文本等時序數(shù)據(jù)。

神經(jīng)模態(tài)計算的重要意義

①目前的深度學(xué)習(xí)僅能實現(xiàn)人類大腦極小一部分的功能,距離人類的智能還有非常遠的距離,而使用神經(jīng)模態(tài)計算直接模仿神經(jīng)元系統(tǒng)在人工神經(jīng)元數(shù)量足夠多時,或?qū)⒂邢M軐崿F(xiàn)比起深度學(xué)習(xí)更好的效果,更接近人類大腦。

②目前深度學(xué)習(xí)計算在部署上遇到的困難是能效比和延遲問題,在對于功耗要求非常低的物聯(lián)網(wǎng)領(lǐng)域,以及對于延遲要求非常高的領(lǐng)域無人駕駛領(lǐng)域,部署深度學(xué)習(xí)會遇到很大的挑戰(zhàn)。

恰好神經(jīng)模態(tài)計算則可以解決這兩大問題。

①神經(jīng)模態(tài)計算的一大優(yōu)勢就是其計算功耗與輸入有關(guān),在輸入不會激活大量神經(jīng)元的情況下,其功耗可以做到非常低。

②對于物聯(lián)網(wǎng)應(yīng)用來說,神經(jīng)模態(tài)計算可以利用這樣的規(guī)律,僅僅在需要的時候激活神經(jīng)元消費能量來完成事件識別,而在其他沒有事件的時候由于神經(jīng)元未被激活因此功耗很低,從而實現(xiàn)遠低于深度學(xué)習(xí)芯片的平均功耗。

③神經(jīng)模態(tài)計算并非常規(guī)的馮諾伊曼架構(gòu),神經(jīng)模態(tài)計算芯片一般也不會搭配 DRAM 使用,而是直接將信息儲存在了神經(jīng)元里。這樣就避免了內(nèi)存墻帶來的功耗和延遲問題,因此神經(jīng)模態(tài)計算芯片的延遲和能效比都會好于傳統(tǒng)的深度學(xué)習(xí)。

國外技術(shù)寡頭優(yōu)勢明顯

近日,英特爾發(fā)布了基于其神經(jīng)模態(tài)計算芯片 Loihi 的加速卡 Pohoiki Beach,該加速卡包含了 64 塊 Loihi 芯片,共含有八百多萬個神經(jīng)元。

繼 IBM 發(fā)布 TrueNorth、英特爾發(fā)布 Loihi 之后,PohoikiBeach 又一次讓神經(jīng)模態(tài)計算走進了聚光燈下。

深度神經(jīng)網(wǎng)絡(luò)壓縮技術(shù),當(dāng)前,深度學(xué)習(xí)領(lǐng)域目前面臨的一大挑戰(zhàn)是,主流 DNNs 都是計算和存儲密集型的,這導(dǎo)致在邊緣和嵌入式設(shè)備的部署面臨巨大的挑戰(zhàn)。

為此,英特爾研究院提出了從動態(tài)網(wǎng)絡(luò)手術(shù) DNS、漸進網(wǎng)絡(luò)量化 INQ 到 MLQ 多尺度編碼量化的低精度深度壓縮解決方案。

通過這些布局可獲得百倍 DNN 模型無損壓縮性能。根據(jù) AlexNet 測試結(jié)果,該項簡潔的解決方案能夠超越主流深度壓縮方案至少一倍,在 2/4-bit 精度下達到超過 100 倍的網(wǎng)絡(luò)壓縮。

IBM 研究人員在活動上詳細介紹了數(shù)字和模擬 AI 芯片的 AI 新方法,它的數(shù)字 AI 芯片首次采用 8 位浮點數(shù)成功訓(xùn)練了深度神經(jīng)網(wǎng)絡(luò),同時在一系列深度學(xué)習(xí)模型和數(shù)據(jù)集上完全保持了準(zhǔn)確性。

這些更廣泛的問題需要更大規(guī)模的神經(jīng)網(wǎng)絡(luò)、更大的數(shù)據(jù)集和多模態(tài)數(shù)據(jù)集,為此 IBM 需要改變架構(gòu)和硬件來實現(xiàn)這一切。

IBM 大膽預(yù)測,GPU 在 AI 中的主導(dǎo)地位正在結(jié)束。GPU 能夠為圖形處理進行大量的并行矩陣乘法運算,這種矩陣乘法碰巧與神經(jīng)網(wǎng)絡(luò)所需的完全相同,這非常重要。

因為沒有那些 GPU,我們永遠無法達到我們今天在 AI 性能方面已經(jīng)達到的性能水平。隨著 IBM 掌握的更關(guān)于如何實現(xiàn)人工智能的知識,也在尋找設(shè)計出更高效硬件的方法和途徑。

對于 32 位計算來說,必須在 32 位上進行計算。如果可以在 16 位上計算,那基本上是計算能力的一半,或者可能是芯片面積的一半甚至更少。

如果可以降到 8 位或 4 位,那就更好了。所以,這是在面積、功率、性能和吞吐量方面的巨大勝利——關(guān)乎我們能夠以多快的速度完成這一切。

IBM 還在 IEDM 大會上展示了所謂的 8 位精度內(nèi)存乘法與設(shè)計中的相變內(nèi)存。IBM 發(fā)表了一項關(guān)于新型內(nèi)存計算設(shè)備的研究,與當(dāng)今的商業(yè)技術(shù)相比,該設(shè)備的計算能耗水平要低 100-1000 倍,非常適合于邊緣 AI 應(yīng)用,例如自動駕駛、醫(yī)療監(jiān)控和安全性。

IBM 的不同之處是相信完整的 AI 解決方案需要加速推理和訓(xùn)練,其正在開發(fā)和逐漸發(fā)展成熟可用于推理和訓(xùn)練的非易失性內(nèi)存元件。

結(jié)尾

隨著英特爾和 IBM 在內(nèi)的企業(yè)正積極探索超低功耗神經(jīng)模態(tài)芯片在不同領(lǐng)域的應(yīng)用,在未來幾年內(nèi)伴隨 AI+IoT 的發(fā)展,神經(jīng)模態(tài)計算將會迎來一波新的熱潮。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英特爾
    +關(guān)注

    關(guān)注

    61

    文章

    9974

    瀏覽量

    171823
  • IBM
    IBM
    +關(guān)注

    關(guān)注

    3

    文章

    1757

    瀏覽量

    74708
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4772

    瀏覽量

    100807
收藏 人收藏

    評論

    相關(guān)推薦

    英特爾推出全新英特爾銳炫B系列顯卡

    備受玩家青睞的價格提供卓越的性能與價值1,很好地滿足現(xiàn)代游戲需求,并為AI工作負載提供加速。其配備的英特爾Xe矩陣計算引擎(XMX),為新推出的XeSS 2提供強大支持。XeSS 2的三項核心技術(shù)協(xié)同工作,共同提高性能表現(xiàn)、增強視覺流暢性并加快響應(yīng)速度。 “ ? 全新
    的頭像 發(fā)表于 12-07 10:16 ?771次閱讀
    <b class='flag-5'>英特爾</b>推出全新<b class='flag-5'>英特爾</b>銳炫B系列顯卡

    英特爾CEO Gelsinger宣布退休

    聯(lián)席首席執(zhí)行官,以確保公司的平穩(wěn)過渡。目前,英特爾的董事會正在積極尋找合適的人選,以填補這一重要職位的空缺。 Pat Gelsinger在英特爾度過了超過四十年的職業(yè)生涯,他的成長歷程堪稱傳奇。從最初的一名普通員工,他憑借出色的
    的頭像 發(fā)表于 12-03 10:55 ?230次閱讀

    英特爾考慮出售Altera股權(quán)

    近日,英特爾(Intel)正積極尋求出售其可編程芯片制造子公司Altera的股權(quán),并考慮引入戰(zhàn)略投資或PE投資。據(jù)悉,英特爾對Altera的估值約為170億美元,而英特爾于2015年以
    的頭像 發(fā)表于 10-21 15:42 ?454次閱讀

    英特爾攜手騰訊云,驅(qū)動AIoT邊緣設(shè)備、云游戲和智能計算應(yīng)用落地

    打造AI解決方案,深耕數(shù)據(jù)中心多年,英特爾不僅通過產(chǎn)品技術(shù)創(chuàng)新,為AI浪潮提供數(shù)據(jù)中心卓越算力,也積極攜手騰訊共同打造滿足產(chǎn)業(yè)需求且兼具高能效的解決方案,持續(xù)探索AI、云計算等對有效推
    的頭像 發(fā)表于 09-11 19:02 ?4575次閱讀
    <b class='flag-5'>英特爾</b>攜手騰訊云,驅(qū)動AIoT邊緣設(shè)備、云游戲和智能<b class='flag-5'>計算</b>應(yīng)用落地

    高通探索收購英特爾芯片設(shè)計業(yè)務(wù)的可能性

    在科技行業(yè)并購傳聞頻發(fā)的背景下,高通公司被曝已探索收購英特爾部分業(yè)務(wù)的可能性,特別是其客戶端PC芯片設(shè)計業(yè)務(wù),旨在進一步豐富和增強其產(chǎn)品組合。據(jù)多位知情人士透露,高通對英特爾的這部分資產(chǎn)表現(xiàn)出濃厚興趣,而
    的頭像 發(fā)表于 09-09 17:21 ?584次閱讀

    IBM Cloud將部署英特爾Gaudi 3 AI芯片

    近日,科技巨頭IBM英特爾宣布了一項重大合作計劃,雙方將共同在IBM Cloud平臺上部署英特爾最新的Gaudi 3 AI芯片,預(yù)計該服務(wù)將于2025年初正式上線。此次合作標(biāo)志著兩家
    的頭像 發(fā)表于 09-03 15:52 ?394次閱讀

    芯??萍糴dge BMC首秀2024英特爾網(wǎng)絡(luò)與邊緣計算行業(yè)峰會

    7月23-24日,“2024英特爾網(wǎng)絡(luò)與邊緣計算行業(yè)大會”在天津于家堡洲際酒店熱烈舉行。本屆大會以“芯所及 AI無處不在”為主題,匯聚全球網(wǎng)絡(luò)與邊緣計算領(lǐng)域的400多位精英專家與先鋒企業(yè)高管,聚焦
    發(fā)表于 07-25 13:40 ?199次閱讀
    芯??萍糴dge BMC首秀2024<b class='flag-5'>英特爾</b>網(wǎng)絡(luò)與邊緣<b class='flag-5'>計算</b>行業(yè)峰會

    英特爾是如何實現(xiàn)玻璃基板的?

    。 雖然玻璃基板對整個半導(dǎo)體行業(yè)而言并不陌生,但憑借龐大的制造規(guī)模和優(yōu)秀的技術(shù)人才,英特爾將其提升到了一個新的水平。近日,英特爾封裝測試技術(shù)開發(fā)(Assembly Test Technology Development)部門介紹了英特爾
    的頭像 發(fā)表于 07-22 16:37 ?335次閱讀

    英特爾CEO:AI時代英特爾動力不減

    英特爾CEO帕特·基辛格堅信,在AI技術(shù)的飛速發(fā)展之下,英特爾的處理器仍能保持其核心地位?;粮窆_表示,摩爾定律仍然有效,而英特爾在處理器和芯片技術(shù)上的創(chuàng)新能力將持續(xù)驅(qū)動公司前進。
    的頭像 發(fā)表于 06-06 10:04 ?438次閱讀

    英特爾推出Hala Point全球最大仿神經(jīng)形態(tài)系統(tǒng),解決AI效率問題

    英特爾實驗室神經(jīng)形態(tài)運算總監(jiān)Mike Davies指出,“當(dāng)前AI模型訓(xùn)練及部署成本增長迅速,行業(yè)亟需創(chuàng)新方法。因此,英特爾實驗室研發(fā)了Hala Point,融合深度學(xué)習(xí)效率、類人腦持續(xù)學(xué)習(xí)和優(yōu)化功能。
    的頭像 發(fā)表于 04-23 10:00 ?480次閱讀

    英特爾最大神經(jīng)形態(tài)計算機研制成功

    英特爾公司最近成功研制出了世界上最大的神經(jīng)形態(tài)計算機Hala Point,這一創(chuàng)新性的技術(shù)突破在人工智能領(lǐng)域引起了廣泛關(guān)注。
    的頭像 發(fā)表于 04-22 10:10 ?460次閱讀

    英特爾發(fā)布新一代神經(jīng)擬態(tài)系統(tǒng)Hala Point,11.5億神經(jīng)元,12倍性能提升

    Point改進了架構(gòu),將神經(jīng)元容量提高了10倍以上,性能提高了12倍。 英特爾研究院神經(jīng)擬態(tài)計算實驗室總監(jiān)Mike Davi
    的頭像 發(fā)表于 04-19 09:43 ?494次閱讀
    <b class='flag-5'>英特爾</b>發(fā)布新一代<b class='flag-5'>神經(jīng)</b>擬態(tài)系統(tǒng)Hala Point,11.5億<b class='flag-5'>神經(jīng)</b>元,12倍性能提升

    英特爾:2025年全球AIPC將超1億臺占比20%

    英特爾行業(yè)資訊
    北京中科同志科技股份有限公司
    發(fā)布于 :2024年02月29日 09:15:26

    英特爾1nm投產(chǎn)時間曝光!領(lǐng)先于臺積電

    英特爾行業(yè)芯事
    深圳市浮思特科技有限公司
    發(fā)布于 :2024年02月28日 16:28:32

    英特爾登頂2023年全球半導(dǎo)體榜單之首

    英特爾行業(yè)芯事
    深圳市浮思特科技有限公司
    發(fā)布于 :2024年02月01日 11:55:16