0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

王欣然教授團(tuán)隊提出基于二維材料的高效稀疏神經(jīng)網(wǎng)絡(luò)硬件方案

清新電源 ? 來源:南京大學(xué)集成電路學(xué)院 ? 2025-01-13 10:41 ? 次閱讀

1月8日,王欣然教授領(lǐng)導(dǎo)的合作團(tuán)隊在國際頂級期刊《Nature Electronics》以“An index-free sparse neural network using two-dimensional semiconductor ferroelectric field-effect transistors”為題發(fā)表最新研究進(jìn)展,報道了基于二維材料的高效稀疏神經(jīng)網(wǎng)絡(luò)硬件解決方案。

194e239a-cede-11ef-9310-92fbcf53809c.png

稀疏性 (Sparsity)是人腦中的神經(jīng)突觸的本征屬性。在大腦發(fā)育過程中,超過一半的突觸會以細(xì)粒度和非結(jié)構(gòu)化的方式被剪枝(Pruning),這是人腦具有高能效的關(guān)鍵因素。受此啟發(fā),稀疏神經(jīng)網(wǎng)絡(luò)(Sparse neural network)早在上世紀(jì)九十年代就被提出,已成為人工智能輕量化的主流路徑。

雖然稀疏神經(jīng)網(wǎng)絡(luò)中90%的權(quán)重可以被剪枝,但剪枝過程中需要反復(fù)與外部存儲設(shè)備進(jìn)行索引(Indexing),消耗了整個系統(tǒng)90%以上的能耗和時延。類比于分離計算和存儲的馮諾依曼瓶頸,索引過程成為稀疏神經(jīng)網(wǎng)絡(luò)硬件的瓶頸(圖1)。目前產(chǎn)業(yè)界主流方案為英偉達(dá)自A100芯片開始提出的粗粒度、結(jié)構(gòu)化剪枝(Structured pruning),其本質(zhì)是通過一定程度的精度犧牲來減輕索引開銷,并未在根本上解決索引瓶頸。

19647262-cede-11ef-9310-92fbcf53809c.png

圖1 硬件的索引瓶頸造成稀疏神經(jīng)網(wǎng)絡(luò)效率低下

為了解決稀疏神經(jīng)網(wǎng)絡(luò)軟硬件不適配的問題,王欣然教授領(lǐng)導(dǎo)的合作團(tuán)隊借鑒了神經(jīng)生物學(xué)模型:支持突觸產(chǎn)生、剪枝、重新生長等動態(tài)行為的,并非神經(jīng)元本身,而是環(huán)繞在神經(jīng)元和突觸周圍的星形膠質(zhì)細(xì)胞 (Astrocytes)和小膠質(zhì)細(xì)胞 (Microglial)。受此啟發(fā),稀疏性信息在位置上也需要盡可能接近權(quán)重信息,并直接參與稀疏運算。

在本工作中,團(tuán)隊首次提出了“存內(nèi)稀疏”計算架構(gòu)(In-Memory Sparsity),其把稀疏神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程抽象為稀疏矩陣和權(quán)重矩陣的Hadamard乘積,并集成在一個單元內(nèi)部(圖2)。整個稀疏網(wǎng)絡(luò)的硬件基于二硫化鉬(MoS?)鐵電晶體管技術(shù),每個單元包含兩個鐵電晶體管,其中模擬鐵電晶體管用于存儲權(quán)重數(shù)據(jù),而數(shù)字鐵電晶體管用于編碼稀疏性信息,直接決定權(quán)重是否被修剪。稀疏性信息被提前編程而免除了外部索引,從而大大降低了稀疏神經(jīng)網(wǎng)絡(luò)訓(xùn)練的開銷。

19799994-cede-11ef-9310-92fbcf53809c.png

圖2 “存內(nèi)稀疏”架構(gòu)設(shè)計

為支撐存內(nèi)稀疏架構(gòu)芯片級并行計算,團(tuán)隊開發(fā)了以矢量近似更新算法(Vectorial Approximate Updating, VAU)為核心的軟件-硬件協(xié)同優(yōu)化方法(Software-Hardware Co-Optimization, SHCO)。其要點在于:摒棄傳統(tǒng)更新方案中完全精確但低效的逐個單元更新、以及高效卻失準(zhǔn)的行列更新,而是在預(yù)先的稀疏性編碼的基礎(chǔ)上,以行列為最小單元進(jìn)行近似更新。結(jié)果表明,VAU算法在稀疏硬件上實現(xiàn)的精確度可以和理論值媲美,證明了軟硬件協(xié)同優(yōu)化的必要性?;诖鎯?nèi)稀疏架構(gòu)和軟硬件協(xié)同優(yōu)化方法,團(tuán)隊制備了硬件陣列,完成了多種稀疏訓(xùn)練過程的片上實測:包括預(yù)訓(xùn)練、剪枝、過剪、以及重新生長,最后在75%的稀疏率下實現(xiàn)了精度為98.4%的EMNIST手寫字母分類(圖3)。

為了證明硬件方案的可拓展性,團(tuán)隊基于NeuroSim仿真工具,將經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)VGG8-Net部署在三種不同的硬件架構(gòu)上:密集硬件、傳統(tǒng)稀疏硬件、以及本文提出的免索引稀疏硬件。仿真證明,存內(nèi)稀疏架構(gòu)的免索引稀疏硬件,首次基于極細(xì)粒度和非結(jié)構(gòu)化稀疏性,實現(xiàn)一個數(shù)量級的能耗和時延收益。

1998aca8-cede-11ef-9310-92fbcf53809c.png

圖3 基于免索引硬件的片上稀疏訓(xùn)練

綜上所述,受人腦啟發(fā),團(tuán)隊首次提出了稀疏神經(jīng)網(wǎng)絡(luò)的“存內(nèi)稀疏”計算架構(gòu),并基于二維半導(dǎo)體鐵電晶體管技術(shù)進(jìn)行了免索引單元開發(fā)和陣列級片上演示,打破了稀疏神經(jīng)網(wǎng)絡(luò)硬件長期面臨的瓶頸。本工作也充分展示了二維半導(dǎo)體等新材料、新器件技術(shù)賦能人工智能硬件的巨大潛力:二維材料具有低溫后道工藝兼容的特點,可以與成熟的硅基電路進(jìn)行三維單片集成,突破先進(jìn)封裝技術(shù)在互聯(lián)密度方面的局限,進(jìn)一步提升近存、存算芯片的能效。

原文鏈接:https://www.nature.com/articles/s41928-024-01328-4

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:Nature Electronics:王欣然教授團(tuán)隊提出基于二維材料的高效稀疏神經(jīng)網(wǎng)絡(luò)硬件方案

文章出處:【微信號:清新電源,微信公眾號:清新電源】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    基于非層狀二維材料β-In2S3的超高頻諧振式氣壓傳感器

    據(jù)麥姆斯咨詢報道,電子科技大學(xué)曾暉教授、夏娟研究員團(tuán)隊與中南大學(xué)周喻教授團(tuán)隊合作報道了基于非層狀二維
    的頭像 發(fā)表于 11-15 16:13 ?3064次閱讀
    基于非層狀<b class='flag-5'>二維</b><b class='flag-5'>材料</b>β-In2S3的超高頻諧振式氣壓傳感器

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    神經(jīng)網(wǎng)絡(luò),也稱為全連接神經(jīng)網(wǎng)絡(luò)(Fully Connected Neural Networks,F(xiàn)CNs),其特點是每一層的每個神經(jīng)元都與下一層的所有神經(jīng)元相連。這種結(jié)構(gòu)簡單直觀,但在
    的頭像 發(fā)表于 11-15 14:53 ?1406次閱讀

    關(guān)于卷積神經(jīng)網(wǎng)絡(luò),這些概念你厘清了么~

    轉(zhuǎn)換成一個很長的一向量。轉(zhuǎn)換是在所謂的壓平層中完成的,隨后是一個或兩個全連接層。全連接層的神經(jīng)元類似于圖2所示的結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)最后一層的輸出要與需要區(qū)分的類別的數(shù)量一致。此外,在最后一層中,數(shù)據(jù)還被
    發(fā)表于 10-24 13:56

    神經(jīng)網(wǎng)絡(luò)專用硬件實現(xiàn)的方法和技術(shù)

    神經(jīng)網(wǎng)絡(luò)專用硬件實現(xiàn)是人工智能領(lǐng)域的一個重要研究方向,旨在通過設(shè)計專門的硬件來加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理過程,提高計算效率和能效比。以下將詳細(xì)介紹神經(jīng)
    的頭像 發(fā)表于 07-15 10:47 ?1963次閱讀

    BP神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)的區(qū)別

    BP神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks,簡稱ANNs)之間的關(guān)系與區(qū)別,是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一個基礎(chǔ)且重要的話題。本文將從定義、結(jié)構(gòu)、算法、應(yīng)用及未來發(fā)展等多個方面,詳細(xì)闡述BP
    的頭像 發(fā)表于 07-10 15:20 ?1948次閱讀

    rnn是遞歸神經(jīng)網(wǎng)絡(luò)還是循環(huán)神經(jīng)網(wǎng)絡(luò)

    RNN(Recurrent Neural Network)是循環(huán)神經(jīng)網(wǎng)絡(luò),而非遞歸神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有時間序列特性的神經(jīng)網(wǎng)絡(luò),能夠處理序列數(shù)據(jù),具有記憶功能。以下是關(guān)于循環(huán)
    的頭像 發(fā)表于 07-05 09:52 ?875次閱讀

    遞歸神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)

    遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,簡稱RNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,簡稱RNN)實際上是同一個概念,只是不同的翻譯方式
    的頭像 發(fā)表于 07-04 14:54 ?1320次閱讀

    bp神經(jīng)網(wǎng)絡(luò)和反向傳播神經(jīng)網(wǎng)絡(luò)區(qū)別在哪

    神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都有廣泛的應(yīng)用,如語音識別、圖像識別、自然語言處理等。然而,BP神經(jīng)網(wǎng)絡(luò)也存在一些問題,如容易陷入局部最優(yōu)解、訓(xùn)練時間長、對初始權(quán)重敏感等。為了解決這些問題,研究者們提出了一些改進(jìn)的BP
    的頭像 發(fā)表于 07-04 09:51 ?821次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別

    神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域都有廣泛的應(yīng)用,如語音識別、圖像識別、自然語言處理等。然而,BP神經(jīng)網(wǎng)絡(luò)也存在一些問題,如容易陷入局部最優(yōu)解、訓(xùn)練時間長、對初始權(quán)重敏感等。為了解決這些問題,研究者們提出了一些改進(jìn)的BP
    的頭像 發(fā)表于 07-03 11:00 ?1078次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)原理

    、訓(xùn)練過程以及應(yīng)用場景。 卷積神經(jīng)網(wǎng)絡(luò)的基本原理 1.1 卷積操作 卷積神經(jīng)網(wǎng)絡(luò)的核心是卷積操作。卷積操作是一種數(shù)學(xué)運算,用于提取輸入數(shù)據(jù)的特征。在圖像處理中,卷積操作通常用于提取圖像的局部特征,如邊緣、紋理等。 假設(shè)輸入數(shù)據(jù)為一個二維
    的頭像 發(fā)表于 07-03 10:49 ?931次閱讀

    bp神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)區(qū)別是什么

    BP神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱CNN)是兩種不同類型的人工神經(jīng)網(wǎng)絡(luò),它們在
    的頭像 發(fā)表于 07-03 10:12 ?2262次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的原理與實現(xiàn)

    核心思想是通過卷積操作提取輸入數(shù)據(jù)的特征。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同,卷積神經(jīng)網(wǎng)絡(luò)具有參數(shù)共享和局部連接的特點,這使得其在處理圖像等高數(shù)據(jù)時具有更高的效率和更好的性能。 卷積層 卷積層是卷積神經(jīng)網(wǎng)
    的頭像 發(fā)表于 07-02 16:47 ?1058次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,簡稱CNN)和BP神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Networks,簡稱BPNN)是兩種
    的頭像 發(fā)表于 07-02 14:24 ?5699次閱讀

    神經(jīng)網(wǎng)絡(luò)架構(gòu)有哪些

    神經(jīng)網(wǎng)絡(luò)架構(gòu)是機(jī)器學(xué)習(xí)領(lǐng)域中的核心組成部分,它們模仿了生物神經(jīng)網(wǎng)絡(luò)的運作方式,通過復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)信息的處理、存儲和傳遞。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,各種神經(jīng)網(wǎng)絡(luò)架構(gòu)被
    的頭像 發(fā)表于 07-01 14:16 ?1291次閱讀

    機(jī)器視覺系統(tǒng)讀取二維碼-軟硬件配置方案

    機(jī)器視覺系統(tǒng)讀取二維碼-軟硬件配置方案
    的頭像 發(fā)表于 05-24 00:56 ?866次閱讀
    機(jī)器視覺系統(tǒng)讀取<b class='flag-5'>二維</b>碼-軟<b class='flag-5'>硬件</b>配置<b class='flag-5'>方案</b>

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品