闡述點(diǎn)亮智能光子的光子神經(jīng)網(wǎng)絡(luò)

近年來，以神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)快速發(fā)展。2017年，采用了神經(jīng)網(wǎng)絡(luò)的AlphaGo依次戰(zhàn)勝了人類頂尖圍棋選手李世石和柯潔，展現(xiàn)了人工智能強(qiáng)大的學(xué)習(xí)和計算能力，揭開了新一代人工智能的序幕。人工智能技術(shù)正向著高速低功耗的方向快速發(fā)展。

受限于電子器件的固有極限，傳統(tǒng)電子神經(jīng)網(wǎng)絡(luò)難以進(jìn)一步提高功率效率與計算速度。而 光子神經(jīng)網(wǎng)絡(luò)，作為光電子技術(shù)與人工智能技術(shù)的交叉產(chǎn)物，能夠充分發(fā)揮光（電）子技術(shù)在帶寬、容量、速度方面的優(yōu)勢，成為突破傳統(tǒng)限制的潛在手段。

當(dāng)前，光子神經(jīng)網(wǎng)絡(luò)技術(shù)的研究主要涉及 前饋神經(jīng)網(wǎng)絡(luò)、 循環(huán)神經(jīng)網(wǎng)絡(luò)（存儲池計算）以及 脈沖神經(jīng)網(wǎng)絡(luò)這三種典型結(jié)構(gòu)。與此同時，光子神經(jīng)網(wǎng)絡(luò)也正朝著可實時訓(xùn)練、規(guī)?；约疤厥鈶?yīng)用等方向繼續(xù)發(fā)展。

研究現(xiàn)狀

1. 前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)的計算信息呈現(xiàn)為輸入層至輸出層的單向流動。

（a）

（b）

圖1 集成光子干涉計算單元結(jié)構(gòu)和元音識別混淆矩陣。（a）集成光子干涉計算單元結(jié)構(gòu)；（b）元音識別混淆矩陣

2018年，Bagherian等在上述光子干涉計算單元芯片的基礎(chǔ)上提出，通過時分復(fù)用的方式，利用該芯片分段計算圖像卷積，從而構(gòu)建更加復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)模型可用于彩色數(shù)字的識別。

2. 循環(huán)神經(jīng)網(wǎng)絡(luò)（存儲池計算）

相異于前饋神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)（存儲池計算）的計算信息除了前向流動外，還存在同層節(jié)點(diǎn)間的流動以及后向反饋流動。

一般循環(huán)神經(jīng)網(wǎng)絡(luò)由輸入層、中間層和輸出層組成。訓(xùn)練時，往往只訓(xùn)練輸出權(quán)重使網(wǎng)絡(luò)收斂。使用光電子器件構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)時，存在串行與并行兩種方案。

并行的優(yōu)勢是直觀性強(qiáng)，計算速度快。2011年，Vandoorne等提出的基于半導(dǎo)體光放大器（SOA）的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及2016年Bueno等提出的基于空間光學(xué)器件的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)均采用該方案。

然而并行存在魯棒性較差、規(guī)模不易擴(kuò)展以及成本較高等問題， 串行方案可改善這些問題。2012年，Paquot等利用光電混合系統(tǒng)率先構(gòu)建了光電混合串行循環(huán)神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了信號分類的功能。

3. 脈沖神經(jīng)網(wǎng)絡(luò)

脈沖神經(jīng)網(wǎng)絡(luò)（SNNs）模擬的神經(jīng)元更接近生物神經(jīng)元模型，因此又被稱為第三代人工神經(jīng)網(wǎng)絡(luò)。脈沖神經(jīng)元并非在每一次迭代傳播中都被激活，而是只有當(dāng)其膜電位達(dá)到閾值時才被激活。

2016年，普林斯頓大學(xué)的Prucnal小組提出了基于可激活的石墨烯光纖激光器的脈沖處理系統(tǒng)，其結(jié)構(gòu)如圖2所示。該系統(tǒng)主要由摻鉺光纖 （增益部分）和石墨烯飽和吸收體（損耗部分）構(gòu)成，1480 nm激光器攜帶脈沖刺激信號激發(fā)系統(tǒng)產(chǎn)生類LIF （leaky integrate-and-fire）脈沖神經(jīng)元的響應(yīng)。

圖2 可激活的石墨烯光纖激光器系統(tǒng)

該小組于2018年還提出了基于分布式反饋（DFB）激光器結(jié)構(gòu)的神經(jīng)擬態(tài)光子集成電路（圖3），并探討了構(gòu)建可編程可級聯(lián)光子神經(jīng)網(wǎng)絡(luò)的可行方案。

圖3 集成光子神經(jīng)元

發(fā)展趨勢

1. 實時訓(xùn)練算法

由于光子本身難以存儲，故在電神經(jīng)網(wǎng)絡(luò)訓(xùn)練中應(yīng)用廣泛的后向傳播算法難以移植于光子神經(jīng)網(wǎng)絡(luò)的訓(xùn)練上。

針對這一問題，Hughes等人于2018年首次提出了針對集成光子干涉單元的實時訓(xùn)練算法。該算法通過記錄光場分布以及移相器的相位分布能夠得到向收斂方向下降的梯度值，進(jìn)而計算下一輪迭代中芯片移相器的相位配置，從而使得芯片整體性能能夠逐步收斂。

除此之外，北京郵電大學(xué)Zhang等人于2019年提出了基于遺傳算法/粒子群算法的非梯度片上訓(xùn)練方案，以減少獲取與計算梯度值所帶來的器件性能和要求。Zhang等通過仿真分別實現(xiàn)了光神經(jīng)網(wǎng)絡(luò)在Iris 數(shù)據(jù)集、Wine數(shù)據(jù)集上的在線訓(xùn)練，訓(xùn)練的收斂效果如圖4所示。

（a）

（b）

圖4 （a）采用GA算法訓(xùn)練光神經(jīng)網(wǎng)絡(luò)的分類效果; （b）采用PSO算法訓(xùn)練光神經(jīng)網(wǎng)絡(luò)的分類效果

相比于電子器件，光電子器件實現(xiàn)非線性函數(shù)困難，且所實現(xiàn)的非線性函數(shù)存在很多非理想特性，因此非線性運(yùn)算已成為光子神經(jīng)網(wǎng)絡(luò)發(fā)展的另一個障礙。

1967年，Seldon等提出了在光子神經(jīng)網(wǎng)絡(luò)中實現(xiàn)非線性運(yùn)算的飽和吸收體模型或電子模塊，但該方法難于精準(zhǔn)控制，且需要將光信號通過光電二極管轉(zhuǎn)化為電信號，從而降低了計算速度。

2019年，Williamson等提出了一種光電混合的非線性運(yùn)算模塊（圖5）。該模塊除了能夠較為精準(zhǔn)的產(chǎn)生非線性激活函數(shù)，通過改變移相器的相位，還能夠?qū)崿F(xiàn)不同激活函數(shù)的轉(zhuǎn)換。同年，F(xiàn)eldmann 等提出了光控相變存儲器（PCM）方案，該方案利用相變材料對不同輸入光強(qiáng)的透光性差異，進(jìn)而實現(xiàn)非線性激活函數(shù)的功能（圖6）。

圖5 光電混合非線性模塊結(jié)構(gòu)以及通過調(diào)諧相位實現(xiàn)不同的非線性函數(shù)

圖6 光控PCM的歸一化傳輸系數(shù)曲線

除此之外，二維石墨烯材料也有望用以實現(xiàn)光學(xué)激活函數(shù)。

2. 網(wǎng)絡(luò)規(guī)模擴(kuò)展

光子神經(jīng)網(wǎng)絡(luò)的規(guī)?；橇硪粋€難解決的問題。一方面，大規(guī)模神經(jīng)網(wǎng)絡(luò)有利于實現(xiàn)更加復(fù)雜的功能，但光子器件的不穩(wěn)定和難以精細(xì)調(diào)諧的特性又使得神經(jīng)網(wǎng)絡(luò)規(guī)模的擴(kuò)展變得困難。

2018年Lin等提出了一種基于衍射的光子深度神經(jīng)網(wǎng)絡(luò)（ D 2 NN），能夠有效解決這一問題（圖7）。利用光衍射疊加，該結(jié)構(gòu)能夠?qū)崿F(xiàn)相鄰兩層神經(jīng)元之間的連接，通過改變處于不同位置的像素塊厚度來調(diào)節(jié)所經(jīng)過光的相位差，從而使得不同節(jié)點(diǎn)之間有不同的權(quán)值。最后，利用放置于特定位置的PD獲得深度神經(jīng)網(wǎng)絡(luò)的輸出。采用該結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)每層節(jié)點(diǎn)數(shù)可以擴(kuò)充至幾百。

圖7 基于衍射的光子深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

除此之外，清華大學(xué)陳宏偉課題組提出了一種基于時域拉伸的串行光子神經(jīng)網(wǎng)絡(luò)（TS-NN），利用光纖色散傅里葉變換實現(xiàn)線性矩陣運(yùn)算，該方法通過并行變串行的方案實現(xiàn)了光電混合的全連接神經(jīng)網(wǎng)絡(luò)規(guī)模擴(kuò)展（圖8）。

圖8 基于時域拉伸的全連接光電神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3. 應(yīng)用場景擴(kuò)展

一直以來，受限于現(xiàn)有光子神經(jīng)網(wǎng)絡(luò)的規(guī)模與復(fù)雜度，光子神經(jīng)網(wǎng)絡(luò)的應(yīng)用場景十分有限。

2012年，Paquot等成功構(gòu)建了基于光纖系統(tǒng)的光電混合循環(huán)神經(jīng)網(wǎng)絡(luò)，可實現(xiàn)通信信道的均衡，是光子神經(jīng)網(wǎng)絡(luò)在通信領(lǐng)域的場景擴(kuò)展。

2019年，清華大學(xué)和北京郵電大學(xué)Yu等利用光電混合網(wǎng)絡(luò)構(gòu)建了二值光相干接收機(jī)（圖9），實現(xiàn)了對發(fā)送端調(diào)制信號的恢復(fù)。正交相移鍵控（QPSK）調(diào)制的光信號從先通過廣播層進(jìn)入輸入層，然后通過二值全光神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，再通過光電二極管和模數(shù)轉(zhuǎn)換器變?yōu)殡娦盘?，最后利用電人工神?jīng)網(wǎng)絡(luò)恢復(fù)原始調(diào)制信號。

（a）

（b）

（c）

圖9 （a）光電混合二值神經(jīng)網(wǎng)絡(luò)架構(gòu)；（b）單偏振系統(tǒng)二值權(quán)重映射結(jié)構(gòu)；（c）偏振復(fù)用系統(tǒng)二值權(quán)值映射結(jié)構(gòu)

該結(jié)構(gòu)可以緩解電域的信號處理壓力，降低光接收機(jī)整體的功耗，提升光接收機(jī)的信號處理速度。此外，該結(jié)構(gòu)還能極大地降低對模數(shù)轉(zhuǎn)換器量化位數(shù)的要求，從而有效降低光接收機(jī)的成本。

總結(jié)

近年來，種類繁多的光子神經(jīng)網(wǎng)絡(luò)異軍突起，成為突破電子神經(jīng)網(wǎng)絡(luò)瓶頸的潛在手段。得益于光電器件大帶寬、低損耗的特點(diǎn)，光子神經(jīng)網(wǎng)絡(luò)更能適應(yīng)高速低時延運(yùn)算。然而，光子神經(jīng)網(wǎng)絡(luò)還需克服實時訓(xùn)練、非線性激活函數(shù)實現(xiàn)、規(guī)?；约皯?yīng)用擴(kuò)展等問題，才能真正在人工智能領(lǐng)域大放異彩。