0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

非易失電導(dǎo)態(tài)對神經(jīng)網(wǎng)絡(luò)計算硬件系統(tǒng)的構(gòu)建

ExMh_zhishexues ? 來源:知社學(xué)術(shù)圈 ? 作者:知社學(xué)術(shù)圈 ? 2022-03-14 17:28 ? 次閱讀

神經(jīng)網(wǎng)絡(luò)為代表的類腦人工智能技術(shù)在計算機視覺、自然語言處理、自動駕駛等方面有重要應(yīng)用。但目前運行神經(jīng)網(wǎng)絡(luò)計算的硬件系統(tǒng)依然基于傳統(tǒng)硅基運算器與存儲器,由于馮·諾伊曼瓶頸的原理限制,其能效遠低于人腦。研發(fā)具有神經(jīng)形態(tài)模擬功能的類腦器件,如神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)的核心器件——具有存算一體功能的電子突觸,是進一步推進人工智能發(fā)展的重要途徑之一。為執(zhí)行復(fù)雜的人工智能任務(wù),電子突觸器件需要滿足諸多苛刻要求,如:連續(xù)可調(diào)的非易失電導(dǎo)態(tài)數(shù)目(用于模擬腦突觸的連續(xù)可調(diào)性)大于100,非線性度小于1(好的線性度有助于精準(zhǔn)調(diào)控電導(dǎo)),開關(guān)比大于100,翻轉(zhuǎn)耐久大于109次,周期隨機性小于3%。然而,已報道的類腦突觸器件無法全面滿足上述指標(biāo)要求。

研究人員提出了多種構(gòu)建類腦突觸器件的原理方案。其中,基于鐵電非易失電極化和量子隧穿效應(yīng)的鐵電隧道結(jié),因為有潛力構(gòu)建成為高性能類腦突觸器件而備受關(guān)注。鐵電隧道結(jié)的電導(dǎo)調(diào)控基于鐵電疇的連續(xù)翻轉(zhuǎn)所調(diào)控的隧穿勢壘,在原理上具有穩(wěn)定性高、功耗低、速度快等諸多優(yōu)勢。因此,基于鐵電隧道結(jié),設(shè)計并構(gòu)筑高性能類腦突觸原型器件,使其具有高精度、線性調(diào)節(jié)的非易失電導(dǎo)態(tài),未來應(yīng)用于神經(jīng)網(wǎng)絡(luò)計算硬件系統(tǒng)的構(gòu)建,有重要意義。

基于上述背景,中國科學(xué)技術(shù)大學(xué)李曉光教授團隊通過對鐵電疇形態(tài)和翻轉(zhuǎn)動力學(xué)的設(shè)計,在鐵電量子隧道結(jié)中實現(xiàn)了亞納秒電脈沖下電導(dǎo)態(tài)可非易失連續(xù)調(diào)控的類腦突觸器件,可用于構(gòu)建人工神經(jīng)網(wǎng)絡(luò)類腦計算系統(tǒng),該成果以“High-precision and linear weight updates by subnanosecond pulses in ferroelectric tunnel junction for neuro-inspired computing”為題發(fā)表在Nature Communications上。

研究人員制備了高質(zhì)量Ag/PbZr0.52Ti0.48O3(PZT~1.2 nm,(111)取向)/Nb:SrTiO3鐵電隧道結(jié)(如圖1a)。通過設(shè)計PZT的超薄厚度和(111)取向,在鐵電勢壘層中實現(xiàn)了更豐富的鐵電多疇亞穩(wěn)態(tài)(如圖1b, c),在外加電場下,鐵電疇的翻轉(zhuǎn)動力學(xué)行為更加連續(xù),因而器件的電導(dǎo)調(diào)節(jié)更加連續(xù)、平緩,更有利于多態(tài)的實現(xiàn)。該器件綜合性能優(yōu)異,主要表現(xiàn)在:

1038a208-98f9-11ec-952b-dac502259ad0.png

圖1:鐵電隧道結(jié)類腦突觸器件及其鐵電多疇結(jié)構(gòu)。a. 鐵電隧道結(jié)類腦突觸器件結(jié)構(gòu)示意圖。b. 鐵電隧道結(jié)不同鐵電疇區(qū)的原子分辨像。c. 不同厚度PZT薄膜中多疇結(jié)構(gòu)的面外、面內(nèi)PFM相位。

1)亞納秒超快操作速度、飛焦級低能耗,媲美人腦突觸的能效表現(xiàn)。

通過能帶設(shè)計、降低鐵電層厚度、選擇處于準(zhǔn)同型相界處具有較低矯頑場的PZT作為鐵電勢壘層,有效地降低了器件的操作電壓,僅需 《 5 V的電壓就能在630 ps的操作速度下實現(xiàn)可分辨的阻態(tài)翻轉(zhuǎn)(如圖2a)。而器件最快操作速度可至300 ps(可以匹配目前CPU的操作速度,如圖2b)。此外,器件具有良好的可分辨多態(tài)(4比特)保持特性(如圖2c)。通過對直徑為50 nm的鐵電隧道結(jié)的性能表征,發(fā)現(xiàn)其操作能耗低至5.3 fJ/bit?;谏鲜鲂阅芡扑?,該鐵電隧道結(jié)構(gòu)建的神經(jīng)網(wǎng)絡(luò)計算系統(tǒng)有可能實現(xiàn)媲美人腦的優(yōu)秀能效(人腦單次突觸活動的能耗約為1 ~100 fJ),且響應(yīng)速度比人腦突觸快6個量級(人腦突觸響應(yīng)速度約為亞毫秒)。

2)高精度、線性的電導(dǎo)調(diào)控和高耐久性,滿足類腦突觸器件的核心性能指標(biāo)要求。

在10 ns的脈寬下(與DRAM操作速度相當(dāng)),實現(xiàn)了8比特(256個)連續(xù)可調(diào)的非易失電導(dǎo)狀態(tài),且非線性度低(《1),開關(guān)比大(~100),周期隨機性小(~2.06%)(如圖2d);甚至在亞納秒(630 ps)的操作速度下,器件仍然可以調(diào)節(jié)出150個連續(xù)的電導(dǎo)態(tài)(如圖2e)。此外,器件表現(xiàn)出》109次的翻轉(zhuǎn)耐受性(如圖2f)。器件具有優(yōu)良的突觸塑性調(diào)節(jié)功能和良好的翻轉(zhuǎn)耐受性,滿足了類腦突觸器件的核心性能指標(biāo)要求。

10734de0-98f9-11ec-952b-dac502259ad0.png

1087383c-98f9-11ec-952b-dac502259ad0.png

圖2:鐵電隧道結(jié)類腦突觸器件的性能表征。a. 630 ps脈寬的脈沖電壓下,類腦突觸器件的電阻在不同阻態(tài)之間的往復(fù)翻轉(zhuǎn)。b. 不同脈寬的電脈沖下類腦突觸器件電阻的連續(xù)調(diào)控。c. 類腦突觸器件的16個可分辨阻態(tài)的保持特性。d, e. 10 ns 和 630 ps 脈寬的電脈沖下隧道結(jié)類腦突觸器件的長時程增強和抑制模擬。f. 類腦突觸器件的翻轉(zhuǎn)耐受性。

3)基于器件電導(dǎo)調(diào)控性能,仿真構(gòu)建的神經(jīng)網(wǎng)絡(luò)具有高圖像識別率。

基于該鐵電隧道結(jié)的實驗性能,仿真構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)(如圖3a)類腦計算系統(tǒng)可在線學(xué)習(xí)并識別Fashion-MNIST數(shù)據(jù)庫的時尚產(chǎn)品圖片,準(zhǔn)確率達~94.7%,非常接近于基于浮點的神經(jīng)網(wǎng)絡(luò)軟件計算結(jié)果~95.6%(如圖3b);此外,仿真構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)還體現(xiàn)出良好的抗噪聲能力,即使在識別圖片中引入椒鹽或高斯噪聲(噪聲水平達0.5),其識別時尚產(chǎn)品圖片的準(zhǔn)確率仍然可達~85%(如圖3c, d, e)。

10995b8e-98f9-11ec-952b-dac502259ad0.png

10ef106a-98f9-11ec-952b-dac502259ad0.png

11037c94-98f9-11ec-952b-dac502259ad0.png

圖3:基于器件性能,仿真構(gòu)建神經(jīng)網(wǎng)絡(luò)。a. 仿真構(gòu)建的ResNet-18卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。b. 識別Fashion-MNIST數(shù)據(jù)庫中時尚產(chǎn)品圖片的準(zhǔn)確率隨訓(xùn)練次數(shù)的變化。c, d. 識別加入不同水平的椒鹽噪聲和高斯噪聲的Fashion-MNIST時尚產(chǎn)品圖片的準(zhǔn)確率隨訓(xùn)練次數(shù)的變化。e. 識別Fashion-MNIST時尚產(chǎn)品圖片的準(zhǔn)確率隨加入椒鹽噪聲和高斯噪聲的水平的變化。

上述基于鐵電隧道結(jié)設(shè)計的類腦突觸原型器件具有超快、低能耗、高耐久特性,特別是具有穩(wěn)定、線性、準(zhǔn)連續(xù)的電導(dǎo)態(tài)調(diào)控優(yōu)勢,滿足了類腦突觸器件的高要求,展現(xiàn)了鐵電隧道結(jié)在構(gòu)建未來高性能類腦人工智能計算硬件系統(tǒng)方面的重要潛力。中國科學(xué)技術(shù)大學(xué)物理系博士生羅振、王梓鑒、管澤雨為文章的共同第一作者,中國科學(xué)技術(shù)大學(xué)李曉光教授、殷月偉教授為文章的通訊作者。

該項研究得到了國家自然科學(xué)基金、科技部國家重點研發(fā)計劃、中國科學(xué)技術(shù)大學(xué)“雙一流”人才團隊平臺項目的資助。

原文標(biāo)題:Nat. Commun.: 基于鐵電隧道結(jié)的高性能類腦突觸原型器件

文章出處:【微信公眾號:知社學(xué)術(shù)圈】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯:彭菁
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:Nat. Commun.: 基于鐵電隧道結(jié)的高性能類腦突觸原型器件

文章出處:【微信號:zhishexueshuquan,微信公眾號:知社學(xué)術(shù)圈】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    神經(jīng)網(wǎng)絡(luò)教程(李亞非)

      第1章 概述  1.1 人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展  1.2 生物神經(jīng)元  1.3 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成  第2章人工神經(jīng)網(wǎng)絡(luò)基本模型  2.1 MP模型  2.2 感知器模型  2.3
    發(fā)表于 03-20 11:32

    神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識程序

    神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識程序
    發(fā)表于 01-04 13:29

    局部神經(jīng)網(wǎng)絡(luò),打造未來神經(jīng)網(wǎng)絡(luò)基本組件

    `將局部計算作為獲取長時記憶的通用模塊,提高神經(jīng)網(wǎng)絡(luò)性能在深度神經(jīng)網(wǎng)絡(luò)中,獲取長時記憶(long-range dependency)至關(guān)重要。對于序列數(shù)據(jù)(例如語音、語言),遞歸運算
    發(fā)表于 11-12 14:52

    【PYNQ-Z2試用體驗】神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識

    學(xué)習(xí)和認知科學(xué)領(lǐng)域,是一種模仿生物神經(jīng)網(wǎng)絡(luò)(動物的中樞神經(jīng)系統(tǒng),特別是大腦)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計算模型,用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工
    發(fā)表于 03-03 22:10

    【案例分享】ART神經(jīng)網(wǎng)絡(luò)與SOM神經(jīng)網(wǎng)絡(luò)

    今天學(xué)習(xí)了兩個神經(jīng)網(wǎng)絡(luò),分別是自適應(yīng)諧振(ART)神經(jīng)網(wǎng)絡(luò)與自組織映射(SOM)神經(jīng)網(wǎng)絡(luò)。整體感覺不是很難,只不過一些最基礎(chǔ)的概念容易理解不清。首先ART神經(jīng)網(wǎng)絡(luò)是競爭學(xué)習(xí)的一個代表,
    發(fā)表于 07-21 04:30

    人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)方法有哪些?

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)是一種類似生物神經(jīng)網(wǎng)絡(luò)的信息處理結(jié)構(gòu),它的提出是為了解決一些非線性,平穩(wěn),復(fù)雜的實際問題。那有哪些辦法能實現(xiàn)人工神經(jīng)
    發(fā)表于 08-01 08:06

    如何設(shè)計BP神經(jīng)網(wǎng)絡(luò)圖像壓縮算法?

    神經(jīng)網(wǎng)絡(luò)的并行特點,而且它還可以根據(jù)設(shè)計要求配置硬件結(jié)構(gòu),例如根據(jù)實際需要,可靈活設(shè)計數(shù)據(jù)的位寬等。隨著數(shù)字集成電路技術(shù)的飛速發(fā)展,F(xiàn)PGA芯片的處理能力得到了極大的提升,已經(jīng)完全可以承擔(dān)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)壓縮
    發(fā)表于 08-08 06:11

    如何移植一個CNN神經(jīng)網(wǎng)絡(luò)到FPGA中?

    訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)并移植到Lattice FPGA上,通常需要開發(fā)人員既要懂軟件又要懂?dāng)?shù)字電路設(shè)計,是個不容易的事。好在FPGA廠商為我們提供了許多工具和IP,我們可以在這些工具和IP的基礎(chǔ)上做
    發(fā)表于 11-26 07:46

    如何構(gòu)建神經(jīng)網(wǎng)絡(luò)

    原文鏈接:http://tecdat.cn/?p=5725 神經(jīng)網(wǎng)絡(luò)是一種基于現(xiàn)有數(shù)據(jù)創(chuàng)建預(yù)測的計算系統(tǒng)。如何構(gòu)建神經(jīng)網(wǎng)絡(luò)
    發(fā)表于 07-12 08:02

    基于BP神經(jīng)網(wǎng)絡(luò)的PID控制

    最近在學(xué)習(xí)電機的智能控制,上周學(xué)習(xí)了基于單神經(jīng)元的PID控制,這周研究基于BP神經(jīng)網(wǎng)絡(luò)的PID控制。神經(jīng)網(wǎng)絡(luò)具有任意非線性表達能力,可以通過對系統(tǒng)性能的學(xué)習(xí)來實現(xiàn)具有最佳組合的PID控
    發(fā)表于 09-07 07:43

    神經(jīng)網(wǎng)絡(luò)移植到STM32的方法

    神經(jīng)網(wǎng)絡(luò)移植到STM32最近在做的一個項目需要用到網(wǎng)絡(luò)進行擬合,并且將擬合得到的結(jié)果用作控制,就在想能不能直接在單片機上做神經(jīng)網(wǎng)絡(luò)計算,這樣就可以實時
    發(fā)表于 01-11 06:20

    如何構(gòu)建神經(jīng)網(wǎng)絡(luò)

    神經(jīng)網(wǎng)絡(luò)是模擬人體生物神經(jīng)元原理構(gòu)建的,比較基礎(chǔ)的有M-P模型,它按照生物 神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個抽象和簡化的模型。
    的頭像 發(fā)表于 02-24 16:06 ?1862次閱讀
    如何<b class='flag-5'>構(gòu)建</b><b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>

    構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的常用方法 神經(jīng)網(wǎng)絡(luò)模型的常用算法介紹

    神經(jīng)網(wǎng)絡(luò)模型是一種通過模擬生物神經(jīng)元間相互作用的方式實現(xiàn)信息處理和學(xué)習(xí)的計算機模型。它能夠?qū)斎霐?shù)據(jù)進行分類、回歸、預(yù)測和聚類等任務(wù),已經(jīng)廣泛應(yīng)用于計算機視覺、自然語言處理、語音處理等
    發(fā)表于 08-28 18:25 ?1029次閱讀

    PyTorch神經(jīng)網(wǎng)絡(luò)模型構(gòu)建過程

    PyTorch,作為一個廣泛使用的開源深度學(xué)習(xí)庫,提供了豐富的工具和模塊,幫助開發(fā)者構(gòu)建、訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)模型。在神經(jīng)網(wǎng)絡(luò)模型中,輸出層是尤為關(guān)鍵的部分,它負責(zé)將模型的預(yù)測結(jié)果以合適的形式輸出。以下將詳細解析PyTorch中
    的頭像 發(fā)表于 07-10 14:57 ?501次閱讀

    如何構(gòu)建多層神經(jīng)網(wǎng)絡(luò)

    構(gòu)建多層神經(jīng)網(wǎng)絡(luò)(MLP, Multi-Layer Perceptron)模型是一個在機器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域廣泛使用的技術(shù),尤其在處理分類和回歸問題時。在本文中,我們將深入探討如何從頭開始構(gòu)建一個多層
    的頭像 發(fā)表于 07-19 17:19 ?858次閱讀