清華大學(xué)計(jì)算機(jī)系首次提出“類腦計(jì)算完備性”

昨日，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系（以下簡稱“計(jì)算機(jī)系”）張悠慧團(tuán)隊(duì)、精密儀器系（以下簡稱“精儀系”）施路平團(tuán)隊(duì)與合作者在《自然》（Nature）雜志發(fā)文，首次提出“類腦計(jì)算完備性”以及軟硬件去耦合的類腦計(jì)算系統(tǒng)層次結(jié)構(gòu)。

這是清華大學(xué)計(jì)算機(jī)系以第一完成單位/通訊單位發(fā)表的首篇《自然》論文，也完成了清華大學(xué)一年多以來在《自然》正刊的類腦計(jì)算領(lǐng)域“三連發(fā)”：

從2019年8月1日的《自然》封面文章“Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture”（精儀系施路平教授團(tuán)隊(duì)與合作者）開始，到2020年初的“Fully hardware-implemented memristor convolutional neural network”的文章（微納電子系吳華強(qiáng)教授團(tuán)隊(duì)與合作者），直至此次“A system hierarchy for brain-inspired computing”一文。

上述論文分別從“異構(gòu)融合的新型類腦計(jì)算芯片與系統(tǒng)”、“基于憶阻器件的神經(jīng)形態(tài)芯片”、以及“類腦計(jì)算完備性與系統(tǒng)層次結(jié)構(gòu)”等角度完成了類腦計(jì)算領(lǐng)域的首次實(shí)現(xiàn)，標(biāo)志著清華大學(xué)在此領(lǐng)域的國際領(lǐng)先地位。

與通用計(jì)算機(jī)的“圖靈完備性”概念與“馮諾依曼”體系結(jié)構(gòu)相對應(yīng)，這篇題為《一種類腦計(jì)算系統(tǒng)層次結(jié)構(gòu)》的論文，首次提出“類腦計(jì)算完備性”以及軟硬件去耦合的類腦計(jì)算系統(tǒng)層次結(jié)構(gòu)，通過理論論證與原型實(shí)驗(yàn)證明該類系統(tǒng)的硬件完備性與編譯可行性，并擴(kuò)展了類腦計(jì)算系統(tǒng)應(yīng)用范圍使之能支持通用計(jì)算。

類腦計(jì)算處于起步階段，國際上尚未形成公認(rèn)的技術(shù)標(biāo)準(zhǔn)與方案，這一成果填補(bǔ)了完備性理論與相應(yīng)系統(tǒng)層次結(jié)構(gòu)方面的空白，利于自主掌握新型計(jì)算機(jī)系統(tǒng)核心技術(shù)。

近年來，類腦計(jì)算研究受到了越來越多的關(guān)注。類腦計(jì)算，是借鑒生物神經(jīng)系統(tǒng)信息處理模式和結(jié)構(gòu)的計(jì)算理論、體系結(jié)構(gòu)、芯片設(shè)計(jì)以及應(yīng)用模型與算法的總稱。

其重要性正如歐盟人腦旗艦研究計(jì)劃項(xiàng)目所指出的：“在未來10到20年內(nèi)，誰要引領(lǐng)世界經(jīng)濟(jì)，誰就必須在這個(gè)領(lǐng)域領(lǐng)先?！?/p>

現(xiàn)有類腦計(jì)算系統(tǒng)方面的研究多聚焦于具體芯片、工具鏈、應(yīng)用和算法的創(chuàng)新實(shí)現(xiàn)，而對系統(tǒng)基礎(chǔ)性問題，例如計(jì)算完備性、系統(tǒng)層次結(jié)構(gòu)等思考不足，導(dǎo)致軟硬件緊耦合、應(yīng)用范圍不明確等一系列問題。

但從現(xiàn)有通用計(jì)算機(jī)的發(fā)展歷史與設(shè)計(jì)方法論來看，完善的計(jì)算完備性與軟硬件去耦合的層次結(jié)構(gòu)是計(jì)算系統(tǒng)蓬勃發(fā)展的計(jì)算理論與系統(tǒng)結(jié)構(gòu)基礎(chǔ)。

圖靈完備性和馮·諾依曼體系結(jié)構(gòu)（詳見附錄1）是通用計(jì)算機(jī)技術(shù)能夠飛速發(fā)展并持續(xù)繁榮的關(guān)鍵因素——幾乎所有的高級編程語言都是圖靈完備的，馮·諾伊曼架構(gòu)通用處理器則可以通過圖靈完備的指令集實(shí)現(xiàn)圖靈完備性，這意味著編程語言編寫的任何程序都可以轉(zhuǎn)換為任意圖靈完備處理器上的等價(jià)指令序列（即“程序編譯”）。

這樣，由軟件層、編譯層、硬件層組成的計(jì)算機(jī)層次結(jié)構(gòu)就能夠確保應(yīng)用軟件、指令集、硬件設(shè)計(jì)在獨(dú)立發(fā)展的同時(shí)相互兼容（即軟硬件去耦合），為整個(gè)領(lǐng)域的繁榮發(fā)展打下了系統(tǒng)基礎(chǔ)。

但類腦計(jì)算領(lǐng)域在飛速發(fā)展的同時(shí)，卻缺乏對此類基礎(chǔ)問題的研究。

為此，研究團(tuán)隊(duì)提出了“類腦計(jì)算完備性”（也稱為神經(jīng)形態(tài)完備性）概念——針對任意給定誤差?≥0和任意圖靈可計(jì)算函數(shù)f（x），如果一個(gè)計(jì)算系統(tǒng)可以實(shí)現(xiàn)函數(shù) F（x） 使得 ‖F(xiàn)（x）-f（x）‖≤?對所有合法的輸入x均成立，那么該計(jì)算系統(tǒng)是類腦計(jì)算完備的。

“通俗來講，‘完備性’可以回答系統(tǒng)能夠完成什么、功能邊界在哪里等問題。研究完備性，可以為軟硬件系統(tǒng)的解耦合、劃分不同研究領(lǐng)域間的任務(wù)分工與接口提供理論基礎(chǔ)，我們的研究聚焦完備性理論研究，先回答基本的問題?！睆堄苹壅f。

▲清華大學(xué)計(jì)算機(jī)系張悠慧研究員

相對于通用計(jì)算機(jī)，這一定義放松了對系統(tǒng)計(jì)算過程和精度的約束。團(tuán)隊(duì)進(jìn)一步提出相應(yīng)的類腦計(jì)算機(jī)層次結(jié)構(gòu)和確保類腦計(jì)算完備性的硬件原語（相當(dāng)于通用處理器的機(jī)器指令）來充分利用這一新完備性帶來的優(yōu)勢。

該結(jié)構(gòu)具有三個(gè)層次（下圖）： 圖靈完備的軟件模型；類腦計(jì)算完備的硬件體系結(jié)構(gòu)；位于兩者之間的編譯層；并設(shè)計(jì)構(gòu)造性轉(zhuǎn)化算法將任意圖靈可計(jì)算函數(shù)轉(zhuǎn)換為類腦計(jì)算完備硬件上的模型，進(jìn)而帶來以下優(yōu)點(diǎn)：

第一是計(jì)算通用性 ，即判斷系統(tǒng)功能的邊界。 面向應(yīng)用的軟件模型是圖靈完備的，為支持各種應(yīng)用程序（不限于神經(jīng)網(wǎng)絡(luò)類型）的編程提供基礎(chǔ)。

第二是編譯可行性 ，即降低軟硬件開發(fā)的耦合程度。通過上述硬件原語以及構(gòu)造性轉(zhuǎn)化算法，確保“圖靈完備”軟件與“類腦計(jì)算完備”硬件原語序列間的“類腦計(jì)算完備性”等價(jià)轉(zhuǎn)換（如同通用計(jì)算機(jī)在“圖靈完備性”保證下的“程序編譯”），實(shí)現(xiàn)了軟硬件去耦合，從而增強(qiáng)應(yīng)用系統(tǒng)的開發(fā)效率。

第三是引入新的系統(tǒng)設(shè)計(jì)與優(yōu)化維度——近似粒度。

▲類腦計(jì)算機(jī)層次結(jié)構(gòu)（左）與現(xiàn)有通用計(jì)算機(jī)（右）的對比

在上述理論與算法基礎(chǔ)上，構(gòu)建支持通用圖形處理器、類腦天機(jī)芯片和基于阻變存儲器的神經(jīng)形態(tài)芯片（仿真）這三類硬件的軟件工具鏈?zhǔn)纠?，并?a target="_blank">智能自行車（作為神經(jīng)網(wǎng)絡(luò)應(yīng)用代表）、鳥群模擬、QR分解（后兩者作為非神經(jīng)網(wǎng)絡(luò)的通用計(jì)算應(yīng)用代表）為示范應(yīng)用，證實(shí)了設(shè)計(jì)的可行性，同時(shí)測試顯示這一設(shè)計(jì)能夠大幅提升系統(tǒng)優(yōu)化空間，進(jìn)而顯著提升系統(tǒng)效能。

《自然》雜志的一位審稿人認(rèn)為“這是一個(gè)新穎的觀點(diǎn)，并可能被證明是神經(jīng)形態(tài)計(jì)算領(lǐng)域以及對人工智能的追求的重大發(fā)展（This is a novel perspective and could prove to be a significant development for the field of neuromorphic computing， and in the quest for artificial general intelligence）”。

計(jì)算機(jī)體系結(jié)構(gòu)專家、華中科技大學(xué)計(jì)算機(jī)學(xué)院教授金海評價(jià)此項(xiàng)研究“在類腦計(jì)算系統(tǒng)領(lǐng)域做出了基礎(chǔ)性、原創(chuàng)性的貢獻(xiàn)，有利于自主掌握新型計(jì)算系統(tǒng)軟硬件核心技術(shù)?！?/p>

論文的共同第一作者為清華大學(xué)計(jì)算機(jī)系研究員張悠慧、博士后渠鵬、博士生季宇、精儀系博士生張偉豪。共同通訊作者為張悠慧與施路平教授。

其他合作者包括計(jì)算機(jī)系教授陳文光、計(jì)算機(jī)系教授鄭緯民院士、原計(jì)算機(jī)系客座教授/美國特拉華大學(xué)電子與計(jì)算機(jī)工程系教授高光榮，以及來自精儀系、生物醫(yī)學(xué)工程系、自動化系的師生。

這項(xiàng)研究得到了清華大學(xué)、北京信息科學(xué)與技術(shù)國家研究中心、北京智源人工智能研究院、北京市“腦科學(xué)研究”科技專項(xiàng)計(jì)劃、北京市未來芯片技術(shù)高精尖創(chuàng)新中心、科技部和國家自然基金委等單位的支持。

值得一提的是，從今年春節(jié)前夕投稿，到8月上旬正式接收，論文的兩輪修改由各團(tuán)隊(duì)在疫情期間通過線上緊密合作完成。

成員們努力克服交流不便、實(shí)驗(yàn)數(shù)據(jù)處理困難等問題，針對文章實(shí)驗(yàn)設(shè)計(jì)回復(fù)了超過70頁的反饋文件。與審稿人的交流也使得小組人員對類腦計(jì)算有了更為深入的思考，目前，進(jìn)一步研究已經(jīng)展開。

“施路平教授團(tuán)隊(duì)的研究面向新型類腦計(jì)算芯片與系統(tǒng)，是在面向通用人工智能的應(yīng)用方面開展工作，可以說是我們工作的牽引。而吳華強(qiáng)教授團(tuán)隊(duì)在新器件、新工藝層面的創(chuàng)新，則是我們工作的推動。對于我們研究的計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)而言，兩者都是重要的支撐?！睆堄苹壅f：“我們很榮幸能參與其中，進(jìn)一步探索計(jì)算理論和計(jì)算系統(tǒng)架構(gòu)的問題?！?/p>

清華大學(xué)對學(xué)科交叉要求極高的類腦計(jì)算研究高度重視，堅(jiān)持有組織的科研，于2014年9月創(chuàng)立由7家院系聯(lián)合而成的類腦計(jì)算研究中心，精儀系施路平教授擔(dān)任中心主任。中心融合了腦科學(xué)、電子、微電子、計(jì)算機(jī)、自動化、材料以及精密儀器等學(xué)科，進(jìn)行全方位類腦智能研究。

中心瞄準(zhǔn)重大科學(xué)問題和國家重大需求，特別是未來卡脖子問題提前布局，給老師們以充分的信任和支持，倡導(dǎo)厚積薄發(fā)。

近年來，類腦計(jì)算研究中心提出了符合腦科學(xué)基本規(guī)律的新型類腦計(jì)算架構(gòu)——異構(gòu)融合的天機(jī)類腦計(jì)算芯片架構(gòu)，可同時(shí)支持計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)的神經(jīng)網(wǎng)絡(luò)模型，發(fā)揮它們各自的優(yōu)勢。

目前“天機(jī)芯”已發(fā)展到第三代，為學(xué)界提供了一個(gè)發(fā)展人工通用智能的平臺和思路，將促進(jìn)人工通用智能研究、賦能各行各業(yè)。

第一代天機(jī)芯于2015年06月成功流片 ，該芯片首次將人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks， ANNs）和脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Networks，SNNs）進(jìn)行異構(gòu)融合，同時(shí)兼顧技術(shù)成熟并被廣泛應(yīng)用的深度學(xué)習(xí)模型與未來具有巨大前景的計(jì)算神經(jīng)科學(xué)模型。

該工作于2015年12月受邀在電子器件領(lǐng)域頂級國際會議IEDM2015上做了特邀報(bào)告，還自主研發(fā)出第一代類腦計(jì)算軟件工具鏈，可支持從深度學(xué)習(xí)框架到“天機(jī)芯”的自動映射和編譯。

第二代天機(jī)芯即為發(fā)表于去年8月1日《自然》封面文章上的成果 ，具有高速度、高性能、低功耗的特點(diǎn)。

相比于當(dāng)時(shí)世界先進(jìn)的IBM的TrueNorth芯片，其功能更全、靈活性和擴(kuò)展性更好，密度提升20%，速度提高至少10倍，帶寬提高至少100倍。

同時(shí)，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)自動駕駛自行車實(shí)驗(yàn)，來評估芯片整合多模態(tài)信息和做出迅速決策的能力。

這款自動駕駛自行車，配備了“天機(jī)芯”和IMU傳感器、攝像頭，剎車電機(jī)、轉(zhuǎn)向電機(jī)、驅(qū)動電機(jī)等致動器，以及控制平臺、計(jì)算平臺、天機(jī)板級系統(tǒng)等處理平臺等。

自行車的任務(wù)是執(zhí)行實(shí)時(shí)物體檢測、跟蹤、語音命令識別、騎行減速等功能，還可實(shí)現(xiàn)避障過障、平衡控制和自主決策。這些任務(wù)中，部分運(yùn)用了模擬大腦的模型，而其他則采用了機(jī)器學(xué)習(xí)算法模型。

▲天機(jī)芯片驅(qū)動的自動駕駛自行車

這一成果被兩院院士選為2019年中國十大科技進(jìn)展、科技部中國十大科學(xué)進(jìn)展。

《自然》總編斯基珀博士在2019年接受新華社專訪時(shí)指出：“清華天機(jī)芯片的論文將人工智能中的計(jì)算機(jī)科學(xué)研究與神經(jīng)科學(xué)研究結(jié)合起來，是人工智能領(lǐng)域的重要里程碑”。

目前，中心正在開發(fā)第三代天機(jī)芯以及新型類腦計(jì)算機(jī)。

而基于現(xiàn)有天機(jī)芯片的天機(jī)類腦計(jì)算機(jī)已被2020年第一期人工智能雜志進(jìn)行了報(bào)道——其解決了兼容傳統(tǒng)計(jì)算架構(gòu)的異構(gòu)融合類腦計(jì)算系統(tǒng)集成技術(shù)等一系列問題，是一款能夠滿足類腦智能應(yīng)用需求的普適類腦計(jì)算系統(tǒng)，主要包括系統(tǒng)架構(gòu)、類腦處理器單元、軟件工具鏈、輸入輸出子系統(tǒng)、類腦計(jì)算機(jī)加載測試環(huán)境等，一代樣機(jī)可以對36路異步視頻輸入進(jìn)行1000 幀/秒的實(shí)時(shí)數(shù)據(jù)處理。

“第二代天機(jī)芯，是我們本次研究依托的代表性類腦計(jì)算主要平臺之一。從目前數(shù)據(jù)來看，我們研究的理論成果、系統(tǒng)架構(gòu)和相關(guān)工具鏈的實(shí)現(xiàn)方法能夠支持第三代天機(jī)芯以及新型類腦計(jì)算機(jī)的研發(fā)?！闭撐墓餐谝蛔髡摺⒂?jì)算機(jī)系博士后渠鵬說。

同時(shí)，學(xué)校重視類腦計(jì)算產(chǎn)業(yè)化，由類腦計(jì)算中心孵化出的北京靈汐科技公司是國內(nèi)領(lǐng)先的類腦芯片公司，是北京市認(rèn)定的顛覆性創(chuàng)新企業(yè)和國家高新企業(yè)，已完成多款類腦芯片、異構(gòu)編譯平臺和類腦融合算法的研發(fā)，處于本領(lǐng)域研究與產(chǎn)業(yè)化前沿。

面對即將到來的計(jì)算機(jī)架構(gòu)發(fā)展黃金十年， 類腦計(jì)算被認(rèn)為是最有希望的方案之一。

清華大學(xué)團(tuán)隊(duì)所提出的類腦計(jì)算系統(tǒng)設(shè)計(jì)思路，是在現(xiàn)有計(jì)算機(jī)架構(gòu)基礎(chǔ)上，加入類腦計(jì)算芯片、從而引入空間復(fù)雜性和時(shí)空復(fù)雜性。這樣既可以保持原有計(jì)算機(jī)處理結(jié)構(gòu)化信息的的優(yōu)勢，又可以利用類腦計(jì)算芯片提升處理非結(jié)構(gòu)化信息的能力。

團(tuán)隊(duì)將堅(jiān)持計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)融合的技術(shù)路線，并充分利用新型非易失性存儲器件（包括憶阻器）的特殊性質(zhì)，發(fā)展適合這些器件的新的計(jì)算模型和算法，構(gòu)建完全新型的智能計(jì)算體系。

附錄1-圖靈機(jī)與馮·諾依曼系統(tǒng)結(jié)構(gòu)

圖靈機(jī)是英國數(shù)學(xué)家阿蘭·圖靈在1936年的文章《On Computable Numbers， with an Application to the Entscheidungsproblem》中提出的抽象計(jì)算模型。

圖靈機(jī)的基本思想源自人們用紙筆進(jìn)行數(shù)學(xué)運(yùn)算的核心操作：記錄/修改符號和注意力在符號之間轉(zhuǎn)移。

邏輯結(jié)構(gòu)上圖靈機(jī)由一條無限長的存儲帶和一個(gè)讀寫頭組成，存儲帶被分割為一個(gè)個(gè)連續(xù)的格子，格子內(nèi)可以存儲一個(gè)字符（通常是‘0’，‘1’或空白），而讀寫頭則可以從一個(gè)格子移動到另一個(gè)格子，并修改格子中的內(nèi)容。

控制讀寫頭移動的“程序”，則通常被描述為一個(gè)有限狀態(tài)機(jī)。

圖靈機(jī)被視為現(xiàn)代計(jì)算機(jī)設(shè)計(jì)與算法的源頭與基石，圍繞圖靈機(jī)誕生了一系列的重要的計(jì)算理論，其中就包括圖靈完備性：（在忽略資源限制的前提下）任意邏輯系統(tǒng)（編程語言、軟件系統(tǒng)、硬件系統(tǒng)等）如果具有等價(jià)于通用圖靈機(jī)的計(jì)算能力（即可以與圖靈機(jī)互相模擬），則該系統(tǒng)是圖靈完備的。邱奇-圖靈論題（該論題尚未被證明，但計(jì)算機(jī)領(lǐng)域普遍認(rèn)為其為真）認(rèn)為所有計(jì)算和算法都可以通過圖靈機(jī)來執(zhí)行。所以可以認(rèn)為圖靈完備性定義了當(dāng)前計(jì)算機(jī)所能達(dá)到的能力極限。

馮·諾伊曼體系結(jié)構(gòu)是由美國籍匈牙利裔數(shù)學(xué)家馮·諾伊曼于1946年提出的處理器體系結(jié)構(gòu)模型。一般而言，馮·諾伊曼體系結(jié)構(gòu)將處理器分為控制器、運(yùn)算器、存儲結(jié)構(gòu)、輸入輸出設(shè)備等部分，是通用計(jì)算機(jī)硬件設(shè)計(jì)的范式。

原文來自： 清華大學(xué)計(jì)算機(jī)系校友會

責(zé)任編輯：haq