片上光學(xué)深度神經(jīng)網(wǎng)絡(luò)

從預(yù)測文本到醫(yī)學(xué)診斷，人工智能 (AI) 在許多系統(tǒng)中都發(fā)揮著重要作用。受人類大腦的啟發(fā)，許多人工智能系統(tǒng)都是基于人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)的。

在人工神經(jīng)網(wǎng)絡(luò)中，被稱為“神經(jīng)元”的組件獲取輸入的數(shù)據(jù)并進行處理從而解決各種問題，例如識別人臉。神經(jīng)網(wǎng)絡(luò)反復(fù)調(diào)整其神經(jīng)元之間的聯(lián)系，隨著時間的推移，網(wǎng)絡(luò)會設(shè)定最適合計算結(jié)果的參數(shù)，從而模仿人腦中的學(xué)習(xí)過程。通過添加神經(jīng)層可以擴大網(wǎng)絡(luò)，如果一個神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元，它就被稱為“深度神經(jīng)網(wǎng)絡(luò)”。隨著層數(shù)的增加，該網(wǎng)絡(luò)以更高分辨率讀取更復(fù)雜圖像中數(shù)據(jù)的能力也在增強。

目前，經(jīng)典神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖像識別是在傳統(tǒng)圖像傳感器上創(chuàng)建的，例如智能手機中的數(shù)碼相機。圖像傳感器需要將光先轉(zhuǎn)化為電脈沖，再轉(zhuǎn)換為數(shù)字化數(shù)據(jù)，從而可以使用計算機處理器進行處理、分析、存儲和分類。

雖然目前在數(shù)字芯片上的消費級圖像分類技術(shù)每秒可以執(zhí)行數(shù)十億次計算(GHz)，這使得它對于大多數(shù)場景來說足夠快。但更復(fù)雜的圖像分類，例如識別高速移動物體、3D 物體識別，或自動駕駛，在實現(xiàn)過程中卻面臨著許多重大挑戰(zhàn)。

首先，傳統(tǒng)的數(shù)字芯片通常是基于數(shù)字時鐘的平臺來實現(xiàn)，例如圖形處理單元(GPU)，這將它們的計算速度限制在時鐘頻率上(<3 GHz)。同時，傳統(tǒng)電子設(shè)備基于馮諾依曼架構(gòu)，將內(nèi)存和處理單元分開，而在這些組件之間來回的數(shù)據(jù)傳輸會浪費時間和精力。

其次，原始的模擬圖像數(shù)據(jù)通常需要光電轉(zhuǎn)換為數(shù)字電子信號以及需要大內(nèi)存單元來存儲圖像和視頻，從而引發(fā)潛在的隱私問題。

近日，來自賓夕法尼亞大學(xué) Firooz Aflatouni 副教授團隊已經(jīng)在光子微芯片上開發(fā)了一種光學(xué)深度神經(jīng)網(wǎng)絡(luò) PDNN（photonic deep neural network），消除了傳統(tǒng)計算機芯片中的四個主要耗時的罪魁禍?zhǔn)祝汗怆娦盘柕霓D(zhuǎn)換，模擬信號到數(shù)字信號的轉(zhuǎn)換、大內(nèi)存模塊和基于時鐘的計算。

該團隊在 9.3 mm2的光子芯片在約 0.5 ns 內(nèi)實現(xiàn)整個圖像分類——這是最理想的數(shù)字計算機芯片只能完成一個計算步驟所需的時間。片上網(wǎng)絡(luò)對手寫字母進行了二類和四類分類，準(zhǔn)確率分別高于 93.8% 和 89.8%。

該成果發(fā)表在Nature，題為“An on-chip photonic deep neural network for image classification”。

片上光學(xué)深度神經(jīng)網(wǎng)絡(luò)

該新設(shè)備標(biāo)志著第一個完全在集成光子設(shè)備上以可擴展方式實現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)。在 9.3 mm2的芯片中，線性計算是通過一個 5×6 的光柵耦合器陣列和光學(xué)衰減器光學(xué)執(zhí)行的。這些耦合器充當(dāng)輸入像素，輸出分為四個重疊的 3×4 像素子圖像，并使用納米光子波導(dǎo)饋入分布在三層的其他九個神經(jīng)元。線性運算后，各個神經(jīng)元通過光電子方式的微環(huán)調(diào)制器的傳輸特性實現(xiàn)非線性激活函數(shù)。

科學(xué)家們讓他們的微芯片識別手寫字母。在一組測試中，它必須將 216 個字母分類為 p 或 d，而在另一組測試中，它必須將 432 個字母分類為 p、d、a 或 t。該芯片的精度分別高于 93.8% 和 89.8%。相比之下，使用 Keras 庫在 Python 中實現(xiàn)的 190 個神經(jīng)元的傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)在相同圖像上實現(xiàn)了 96% 的準(zhǔn)確率。

圖2：光子深度神經(jīng)網(wǎng)絡(luò)芯片執(zhí)行分類任務(wù)的四分類字母樣本

圖源：賓夕法尼亞大學(xué)

更快、更強

由于該芯片可以在光信號上直接進行光速線性處理，所以該芯片可以在 0.5 ns 內(nèi)完成整個圖像分類。該芯片通過“光學(xué)傳播計算”來處理信息，這意味著與基于時鐘的系統(tǒng)不同，計算是光在芯片上傳播時發(fā)生的。要了解該芯片處理信息的速度，可以對照電影的典型幀速率，一部電影通常每秒播放24 到 120 幀，而該芯片每秒能夠處理近 20 億幀。

此工作也跳過了將光信號轉(zhuǎn)換為電信號的步驟，因為該芯片可以直接讀取和處理光信號，不需要存儲信息，無需大內(nèi)存單元。

這兩項變化都使其成為一種更快的技術(shù)。

消除內(nèi)存模塊還可以增強數(shù)據(jù)隱私，使用直接讀取圖像數(shù)據(jù)的芯片，不需要照片存儲，因此不會發(fā)生數(shù)據(jù)泄漏。通過加速圖像分類，片上深度神經(jīng)網(wǎng)絡(luò)可以改善自動駕駛汽車中的人臉識別和激光雷達傳感等應(yīng)用。

一個以光速讀取信息并提供更高程度網(wǎng)絡(luò)安全的芯片無疑會在許多領(lǐng)域產(chǎn)生影響；這是過去幾年對這項技術(shù)的研究不斷增加的原因之一。

該項研究的下一步將提升芯片的可擴展性，處理三維圖像分類的工作，使用具有更多像素和神經(jīng)元的更大芯片對更高分辨率的圖像進行處理。此外，不僅限于圖像和視頻分類，任何可以轉(zhuǎn)換為光域的信號，例如音頻和語音，都可以使用這項技術(shù)進行幾乎瞬時的分類處理。

審核編輯 ：李倩