面向超快機(jī)器視覺的空時域光計算

隨著人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的持續(xù)深化，機(jī)器視覺算法復(fù)雜度劇增，亟需高算力支持。然而，受制于摩爾定律放緩，現(xiàn)有電子計算性能趨于飽和，難以滿足大規(guī)模智能算法對算力和能效日益增長的需求。用光子替代電子作為智能計算載體有望對當(dāng)前視覺計算帶來革命性的突破。然而，現(xiàn)有智能光計算架構(gòu)往往依賴電子處理器作為計算中繼，嚴(yán)重削弱了光計算高速高并行的計算優(yōu)勢，難以賦能超快機(jī)器視覺應(yīng)用。

圖1.空時域光計算模型

近日，清華大學(xué)電子系方璐副教授課題組建立了空時域超快智能光計算架構(gòu)，提出了跨維度空時域匹配方法和聯(lián)合空時域矩陣向量光計算模型，首次實(shí)現(xiàn)了三維空時域智能光計算系統(tǒng)，突破了數(shù)字內(nèi)存讀寫的掣肘，將動態(tài)機(jī)器視覺處理速度提升三個數(shù)量級（達(dá)到納秒量級）。

課題組通過刻畫多維光場傳播模型，首次建立空時域計算表征，同時在空間和時序維度完成連續(xù)光計算。針對空間光場和時序光場內(nèi)在維度失配問題，提出空間復(fù)用和光譜復(fù)用計算模型，匹配空時域光計算維度。進(jìn)一步建立時序矩陣乘加計算模型，擴(kuò)展空時域光計算維度。所有空間和時序計算操作均在光學(xué)模擬域完成，因此空時域光計算的速度不受制于電子內(nèi)存的傳輸和讀寫。該論文進(jìn)一步提出了多變量全光非線性函數(shù)，成功構(gòu)建多層非線性神經(jīng)網(wǎng)絡(luò)，支撐復(fù)雜視覺智能任務(wù)的高速推理。在多個視頻數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，空時域光計算能夠?qū)⒁曨l智能處理速度提升至數(shù)百兆赫茲量級，有望為后摩爾時代高性能智能計算以及瞬態(tài)科學(xué)現(xiàn)象的實(shí)時分析和控制等帶來新的契機(jī)。?? ?

圖2.高速目標(biāo)追蹤

圖3. 納秒超快計算

研究工作以“面向超快機(jī)器視覺的空時域光計算”（Ultrafast dynamic machine vision with spatiotemporal photonic computing）為題發(fā)表在國際期刊《科學(xué)·進(jìn)展》（Science Advances）上，并入選期刊首頁專題文章（feature article）。課題組博士生周天貺和吳蔚是本文共同第一作者，通訊作者為方璐副教授。??

編輯：黃飛

?