IBM新研究，使用光學(xué)器件打造的“全光學(xué)”深度神經(jīng)網(wǎng)絡(luò)

近日，Nature刊載IBM新研究，使用光學(xué)器件打造的“全光學(xué)”深度神經(jīng)網(wǎng)絡(luò)可以比傳統(tǒng)計(jì)算方式的能效更高，同時(shí)具備可擴(kuò)展性、無(wú)需光電轉(zhuǎn)換和高帶寬等優(yōu)勢(shì)。這一發(fā)現(xiàn)可能給未來(lái)光學(xué)神經(jīng)網(wǎng)絡(luò)加速器的出現(xiàn)打下基礎(chǔ)。

光纖能夠以光的形式在世界范圍內(nèi)傳輸數(shù)據(jù)，成為現(xiàn)代電信技術(shù)的支柱。不過(guò)如果需要分析這些傳輸數(shù)據(jù)，要將其從光信號(hào)轉(zhuǎn)換為電子信號(hào)，然后用電子設(shè)備進(jìn)行處理。曾經(jīng)有一段時(shí)間，光學(xué)被認(rèn)為是未來(lái)最具潛力的計(jì)算技術(shù)的基礎(chǔ)，但與電子計(jì)算機(jī)的快速進(jìn)步相比，光學(xué)計(jì)算技術(shù)的競(jìng)爭(zhēng)力明顯不足。

不過(guò)，在過(guò)去幾年中，業(yè)界越來(lái)越關(guān)注對(duì)計(jì)算能源的成本問(wèn)題。因此，光學(xué)計(jì)算系統(tǒng)再次受到關(guān)注。光學(xué)計(jì)算的能耗低，又能作為AI算法（如深度神經(jīng)網(wǎng)絡(luò)（DNN））的專用加速硬件。 近日，F(xiàn)eldmann等人在《自然》期刊上發(fā)表了這種“全光學(xué)網(wǎng)絡(luò)實(shí)現(xiàn)”的最新進(jìn)展。

論文地址：

https://www.nature.com/articles/s41586-019-1157-8

深度神經(jīng)網(wǎng)絡(luò)包括多層人工神經(jīng)元和人工突觸。這些連接的強(qiáng)度稱為網(wǎng)絡(luò)權(quán)重，可以是陽(yáng)性，表示神經(jīng)元的興奮，或陰性，表示神經(jīng)元的抑制。網(wǎng)絡(luò)會(huì)盡力將實(shí)際輸出和期望輸出之間的差異實(shí)現(xiàn)最小化，從而改變突觸的權(quán)重，來(lái)執(zhí)行圖像識(shí)別等任務(wù)。

CPU和其他硬件加速器通常用于DNN的計(jì)算。DNN的訓(xùn)練可以使用已知數(shù)據(jù)集，而經(jīng)過(guò)訓(xùn)練后的DNN可以用來(lái)推理任務(wù)中的未知數(shù)據(jù)。雖然計(jì)算量很大，但計(jì)算操作的多樣性不會(huì)很高，因?yàn)椤俺朔ɡ奂印辈僮髟谠S多突觸權(quán)重和神經(jīng)元激勵(lì)中占主導(dǎo)地位。

DNN在計(jì)算精度較低時(shí)仍能正常工作。因此，DNN網(wǎng)絡(luò)代表了非傳統(tǒng)計(jì)算技術(shù)的潛在機(jī)會(huì)。研究人員正在努力打造基于新型非易失性存儲(chǔ)器件的DNN加速器。這類設(shè)備在切斷電源時(shí)也能保存信息，通過(guò)模擬電子計(jì)算提升DNN的速度和能效。

那么，為什么不考慮使用光學(xué)器件呢？導(dǎo)光部件中可以包含大量數(shù)據(jù) - 無(wú)論是用于電信的光纖還是用于光子芯片上的波導(dǎo)。在這種波導(dǎo)內(nèi)部，可以使用“波分復(fù)用”技術(shù)，讓許多不同波長(zhǎng)的光一起傳播。然后可以以與電子到光學(xué)調(diào)制和光電子檢測(cè)相關(guān)的可用帶寬限制的速率調(diào)制（以可以攜帶信息的方式改變）每個(gè)波長(zhǎng)。

圖1全光學(xué)脈沖神經(jīng)元回路

使用諧振器可以實(shí)現(xiàn)單個(gè)波長(zhǎng)的添加或移除，就像對(duì)貨車的裝貨和卸貨一樣。使用微米級(jí)環(huán)形諧振器可以構(gòu)建DNN網(wǎng)絡(luò)突觸權(quán)重陣列。這種諧振器可以采用熱調(diào)制，電光調(diào)制，或通過(guò)相變材料調(diào)制。這些材料可以在非晶相和結(jié)晶相之間切換，不同的材料的吸光能力差別很大。在理想條件下，進(jìn)行乘法累加運(yùn)算的功耗很低。

Feldmann研究團(tuán)隊(duì)在毫米級(jí)光子芯片上實(shí)現(xiàn)了“全光學(xué)神經(jīng)網(wǎng)絡(luò)”，其中網(wǎng)絡(luò)內(nèi)沒(méi)有使用光電轉(zhuǎn)換。輸入的數(shù)據(jù)被電子調(diào)制到不同的波長(zhǎng)上注入網(wǎng)絡(luò)，但此后所有數(shù)據(jù)都保留在芯片上。利用集成相變材料實(shí)現(xiàn)突觸權(quán)重的調(diào)節(jié)和神經(jīng)元的集成。

圖2人工神經(jīng)元的脈沖生成與操作

本文作者小規(guī)模地展示了有監(jiān)督和無(wú)監(jiān)督的學(xué)習(xí) - 即使用標(biāo)記數(shù)據(jù)實(shí)現(xiàn)訓(xùn)練（DNN學(xué)習(xí)的方式），以及使用未標(biāo)記的數(shù)據(jù)訓(xùn)練（類似人類的學(xué)習(xí)方式）。

圖3基于相變?nèi)鈱W(xué)神經(jīng)元系統(tǒng)實(shí)現(xiàn)監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)

因?yàn)闄?quán)重表達(dá)是通過(guò)光的吸收實(shí)現(xiàn)的，所以負(fù)權(quán)重需要更大的偏置信號(hào)，該信號(hào)不能激活相變材料。一種替代方法是使用Mach-Zehnder干涉儀的裝置，將單個(gè)波導(dǎo)分成兩個(gè)臂，然后重新組合，這時(shí)的透射光量取決于兩個(gè)傳播路徑之間光學(xué)相位的差異。然而，要想將這種方法與波分復(fù)用相結(jié)合可能難度較大，因?yàn)槊總€(gè)干涉儀的臂需要為每個(gè)波長(zhǎng)引入適當(dāng)?shù)南辔徊睢?/p>

全光學(xué)實(shí)現(xiàn)的DNN仍然存在重大挑戰(zhàn)。在理想情況下，它們的總功率使用率可能較低，經(jīng)常需要熱光功率來(lái)調(diào)節(jié)和維持每個(gè)Mach-Zehnder干涉儀臂中的光學(xué)相位差異。

圖4全光學(xué)神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展架構(gòu)

此外，對(duì)注入含有相變材料的系統(tǒng)的總光功率必須仔細(xì)校準(zhǔn)，以使材料對(duì)輸入信號(hào)的響應(yīng)符合預(yù)期。盡管相變材料也可以用于調(diào)整Mach-Zehnder相位，但是材料吸收光的強(qiáng)度和減慢光速之間會(huì)出現(xiàn)不可避免的交叉耦合，這會(huì)增加系統(tǒng)的復(fù)雜性。

傳統(tǒng)的DNN規(guī)模已經(jīng)發(fā)展到很大，可能包含數(shù)千個(gè)神經(jīng)元和數(shù)百萬(wàn)個(gè)突觸。但是光子網(wǎng)絡(luò)的波導(dǎo)需要彼此間隔很遠(yuǎn)才能防止耦合，并且避免急劇彎曲以防止光離開波導(dǎo)。因?yàn)閮蓚€(gè)波導(dǎo)的交叉可能會(huì)將不需要的功率注入錯(cuò)誤路徑，這對(duì)光子芯片設(shè)計(jì)的2D特性造成了實(shí)質(zhì)性的限制。

圖5單層脈沖神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)實(shí)現(xiàn)

實(shí)現(xiàn)光學(xué)器件打造神經(jīng)網(wǎng)絡(luò)需要很長(zhǎng)的距離和很大的面積，但是每個(gè)光學(xué)結(jié)構(gòu)的關(guān)鍵部分的制造需要高精度。這是因?yàn)椴▽?dǎo)和耦合區(qū)域，比如在每個(gè)微環(huán)諧振器的入口和出口處，必須達(dá)到相應(yīng)網(wǎng)絡(luò)性能所需的精確尺寸。對(duì)于如何制造小型微環(huán)諧振器也存在諸多限制。

最后，調(diào)制技術(shù)提供的光學(xué)效應(yīng)較弱，需要很長(zhǎng)的相互作用區(qū)域，以使其對(duì)通過(guò)的光的有限影響能夠達(dá)到顯著水平。

Feldmann 團(tuán)隊(duì)的研究中所取得的進(jìn)步，有望推動(dòng)該領(lǐng)域的未來(lái)發(fā)展，該研究可能會(huì)為未來(lái)高能效、可擴(kuò)展的光學(xué)神經(jīng)網(wǎng)絡(luò)加速器的出現(xiàn)打下基礎(chǔ)。