光電智能計算架構(gòu)和芯片研究

文章來源：中國物理學會期刊網(wǎng)

原文作者：方璐1,3^吳嘉敏2,3 戴瓊海2,3,

介紹了什么是光電智能計算架構(gòu)和芯片。

1.引言

當前，人工智能技術的復興正引領著新一代信息技術迅猛發(fā)展，由電子驅(qū)動的計算處理器在過去十年中發(fā)生了巨大的變化，從通用中央處理器(CPU)到定制計算平臺，例如GPU、FPGA和ASIC，以滿足對計算資源無處不在的持續(xù)增長的需求。這些硅計算硬件平臺的進步催生了更大規(guī)模的訓練和更復雜的模型，極大地促進了人工智能(AI)的復興。我們見證了各種神經(jīng)計算架構(gòu)，例如卷積神經(jīng)網(wǎng)絡(CNN)、遞歸神經(jīng)網(wǎng)絡(RNN)、脈沖神經(jīng)網(wǎng)絡(SNN)等，在諸多領域的廣泛應用。

然而傳統(tǒng)電子計算機的架構(gòu)和性能的發(fā)展趨勢已經(jīng)無法滿足新一代信息技術發(fā)展對計算資源的需求。隨著先進光刻工藝的不斷發(fā)展，晶體管尺寸已經(jīng)縮小到10 nm以下，逐漸逼近原子尺寸，這使得芯片的加工難度以及加工成本呈指數(shù)式上升。與此同時，隨著晶體管密度的增加，趨勢明顯的漏電流效應加劇了芯片熱功耗，對系統(tǒng)整體散熱能力的需求也不斷上升，已經(jīng)開始成為限制晶體管密度的另一瓶頸。故而，無論是在硬件實現(xiàn)還是計算架構(gòu)上，都使得預測晶體管制程的摩爾定律難以維系，新型智能計算架構(gòu)與芯片研究迫在眉睫。

光具有物理空間最快的傳播速度以及多維度(時間、空間、光譜等)的優(yōu)勢，這些特性使得光計算成為構(gòu)建下一代高性能計算的理想范式之一。受益于光計算的顛覆性優(yōu)勢(高帶寬、高并行、低功耗)，相比電子計算，光計算在理論上有望提升6個數(shù)量級的能量效率、3個數(shù)量級的計算速度。針對如何實現(xiàn)光計算，國際上已經(jīng)有初步的研究[1，2]，一些代表性的技術包括：基于片上光學干涉儀網(wǎng)絡實現(xiàn)任意矩陣變換[3]，基于諧振環(huán)和諧振腔進行可編程光計算[4]，基于衍射連接實現(xiàn)全光神經(jīng)網(wǎng)絡[5]，基于相變材料實現(xiàn)存內(nèi)光計算[6]等。然而，現(xiàn)階段的光計算仍然面臨算力不足、動態(tài)計算困難、訓練效率低下等問題，如何實現(xiàn)大規(guī)模、可重構(gòu)、低功耗的光電計算芯片并支撐人工智能應用仍然面臨原理架構(gòu)、智能算法、集成工藝等諸多難題。

2.光電智能計算架構(gòu)和芯片研究

2.1 光電智能計算架構(gòu)

針對光電智能計算面臨的規(guī)模與重構(gòu)難題，清華大學研究團隊提出了可重構(gòu)衍射智能計算架構(gòu)，構(gòu)建了可重構(gòu)衍射智能計算處理器(DPU)(圖1(a))[7]。DPU對光學衍射物理現(xiàn)象進行建模，通過大規(guī)模的光學互聯(lián)，構(gòu)建高復雜度的光學神經(jīng)網(wǎng)絡(圖1(b))。此外，DPU充分挖掘了光的波粒二象性，控制光波傳播的波前分布，實現(xiàn)光神經(jīng)網(wǎng)絡權(quán)重的調(diào)整，采用光電效應來實現(xiàn)人工神經(jīng)元，解決大規(guī)模光電非線性激活函數(shù)這一理論難題。通過高通量可編程的光電器件結(jié)合電子計算的靈活特性，實現(xiàn)了高速數(shù)據(jù)調(diào)控以及大規(guī)模網(wǎng)絡結(jié)構(gòu)和參數(shù)的編程。DPU計算架構(gòu)中，光計算模塊幾乎承擔了所有的計算操作。因此，運行同樣的神經(jīng)網(wǎng)絡，光電計算系統(tǒng)與特斯拉V100圖形處理器(GPU)相比，計算速度提高了8倍，系統(tǒng)能效提升超過一個數(shù)量級，核心模塊計算能效可以提升4個數(shù)量級。

圖1 大規(guī)模多通道光電智能計算架構(gòu)和訓練方法 (a)可重構(gòu)智能計算處理器；(b)大規(guī)模光學神經(jīng)網(wǎng)絡訓練；(c)多通道光電神經(jīng)網(wǎng)絡示意圖

研究團隊進一步對光學干涉與衍射進行聯(lián)合建模，提出了多通道光電神經(jīng)網(wǎng)絡的新架構(gòu)Monet(multi-channel optical neural NETworks)[8]，將多個光學通道的光場信息進行融合計算，實現(xiàn)了基于光電智能計算的高維光場信息調(diào)制解耦(圖1(c))。其中，編碼投影干涉計算單元(IU)，通過相位和偏振的編碼調(diào)制以及通道間的光學干涉，實現(xiàn)特征匹配、加權(quán)求和等多通道光學基本計算。IU和衍射計算單元(DU)的交替級聯(lián)，實現(xiàn)了光場信息的多通道可重構(gòu)智能計算。Monet架構(gòu)突破了現(xiàn)有光電神經(jīng)網(wǎng)絡結(jié)構(gòu)簡單、通道受限等瓶頸，為構(gòu)建大規(guī)模光電神經(jīng)網(wǎng)絡、探索復雜光場智能感算提供了理論與架構(gòu)支撐。

目前光電智能計算在高速圖像處理方面有突出表現(xiàn)，但現(xiàn)有架構(gòu)難以挖掘高速動態(tài)光場的時間維度特性，動態(tài)計算受制于電子內(nèi)存讀寫的瓶頸，難以滿足面向超快動態(tài)現(xiàn)象開展實時智能分析的現(xiàn)實需求。研究團隊提出了空時域智能光計算架構(gòu)[9]，刻畫多維光場傳播模型，建立空時域光計算表征，在空間和時序維度上同時完成連續(xù)光計算(圖2(a))。研究團隊還提出了空間復用和光譜復用的智能計算模型(圖2(b))，匹配空時域光計算維度，建立時序矩陣乘加計算模型，實現(xiàn)了三維空時域智能光計算?？諘r域光計算的空間和時序計算操作均在光學模擬域完成，突破了數(shù)字內(nèi)存讀寫的掣肘，將動態(tài)機器視覺處理的速度提升了3個數(shù)量級(達到納秒量級)。

圖2 空時域動態(tài)光計算 (a)空時域動態(tài)光計算系統(tǒng)示意圖；(b)空時域動態(tài)光計算模型

現(xiàn)有光電神經(jīng)網(wǎng)絡學習架構(gòu)僅能支撐小規(guī)模訓練，其網(wǎng)絡容量和特征捕獲能力不足以有效處理ImageNet等大型復雜數(shù)據(jù)集。為了解決大規(guī)模光電神經(jīng)網(wǎng)絡中優(yōu)化速度慢、資源消耗高、收斂效果差等問題，研究團隊提出了面向大規(guī)模光電智能計算的“光學—人工雙神經(jīng)元學習架構(gòu)DANTE(DuAl-Neuron opTical-artificial lEarning)[10]。其中光學神經(jīng)元精準建模光場計算過程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接，助力梯度傳播，全局人工神經(jīng)元與局部光學神經(jīng)元以交替學習的機制進行迭代優(yōu)化，在確保學習有效性的同時，大大降低了訓練的時空復雜度，使得訓練更大更深的光電神經(jīng)網(wǎng)絡成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡物e理建模復雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡規(guī)模提升一至兩個數(shù)量級，訓練學習速度提升2個數(shù)量級。

2.2 全模擬光電智能計算芯片

在上述系列新架構(gòu)的基礎上，研究團隊研制了國際首個全模擬光電智能計算芯片ACCEL(圖3)[11，12]，在一枚芯片上突破性地實現(xiàn)了大規(guī)模計算單元集成、光計算與電子信號計算的高效接口。其核心思想是通過全模擬的光電計算方式來降低對大規(guī)模光電二極管陣列和高功耗模擬數(shù)字轉(zhuǎn)換器(ADC)陣列的依賴，實現(xiàn)光學和電子計算的高效集成。ACCEL的工作原理涉及兩個主要模塊，即光學模擬計算(OAC)和電子模擬計算(EAC)。OAC通過多層衍射光學計算模塊，以光速提取高分辨率圖像的特征，降低圖像維度并減少光電轉(zhuǎn)換需求。EAC包括一個32×32的光電二極管陣列，作為非線性激活器，將光學信號轉(zhuǎn)換為模擬電子信號，實現(xiàn)類似二進制加權(quán)的全連接神經(jīng)網(wǎng)絡。ACCEL芯片以全模擬方式進行計算，適用于廣泛的應用，并與數(shù)字神經(jīng)網(wǎng)絡兼容。

圖3 全模擬光電智能計算芯片(ACCEL)工作原理圖

ACCEL通過數(shù)值模擬和實驗驗證，在低光條件下展現(xiàn)出優(yōu)異的穩(wěn)健性。對于輸入光強的降低，ACCEL通過模擬噪聲對輸出進行精準校準，可以成功應對多種干擾。在可重構(gòu)方面，同一OAC在不同任務中均取得了顯著效果。通過OAC對多個數(shù)據(jù)集的聯(lián)合訓練，ACCEL在不同領域的應用中取得了出色的泛化性能，為實際工業(yè)檢測等場景提供了關鍵的靈活性。與現(xiàn)有高性能芯片相比，ACCEL芯片的算力(單位時間的運算次數(shù))提升了3000倍，系統(tǒng)級能效(單位能量可進行的運算數(shù))提升了400萬余倍。對于10類MNIST分類和3類ImageNet分類，ACCEL各達到9.49×103 TOPS/W和7.48×104 TOPS/W (1 TOPS/W表示在1 W功耗的情況下，處理器可以進行1012次操作)的系統(tǒng)能效，展示了其在能效方面的優(yōu)越性。ACCEL作為一種全新的光電神經(jīng)網(wǎng)絡，通過其獨特的設計和卓越的性能，在人工智能硬件領域嶄露頭角。其在圖像分類、視頻判斷和低光條件下的穩(wěn)健性等方面的優(yōu)異表現(xiàn)，為未來神經(jīng)網(wǎng)絡研究和應用開辟了新的前景。

3.總結(jié)

光電智能計算作為一種新興計算范式，將為后摩爾時代的人工智能高效訓練和推理帶來新的契機。光子智能芯片的研究將極大促進人工智能的發(fā)展，為大規(guī)模數(shù)據(jù)的高效智能處理、大場景多對象光場智能感算、高速低功耗智能無人系統(tǒng)、超高速科學研究等奠定基礎，具有廣闊的應用前景。