AI相機(jī)：雙層光電混合計(jì)算機(jī)

斯坦福研究人員研究出一套小型AI成像系統(tǒng)。成像精度和速度均達(dá)到電子計(jì)算處理器水平，它采用雙層光學(xué)-電子混合計(jì)算技術(shù)，在低光照條件下具備更強(qiáng)的成像能力，每個(gè)立體像素上的光電子密度最高可達(dá)幾十個(gè)，同時(shí)節(jié)約了大量本該用于計(jì)算的時(shí)間和成本。

如今，自動(dòng)駕駛汽車和無人駕駛飛機(jī)背后的圖像識(shí)別技術(shù)依賴于人工智能：計(jì)算機(jī)本質(zhì)上學(xué)會(huì)了自己識(shí)別物體，比如識(shí)別狗、過馬路的行人或停車的汽車。主要問題是，目前運(yùn)行人工智能算法的計(jì)算機(jī)對(duì)于手持醫(yī)療設(shè)備等未來應(yīng)用來說顯得過于龐大和緩慢。

現(xiàn)在，斯坦福大學(xué)的研究人員已經(jīng)設(shè)計(jì)出一種新型的AI相機(jī)系統(tǒng)，它可以更快、更高效地對(duì)圖像進(jìn)行分類，有朝一日，這種系統(tǒng)可以小到足以嵌入設(shè)備本身，這在今天是不可能實(shí)現(xiàn)的。這項(xiàng)研究發(fā)表在8月17日的Nature Scientific Reports上。

“自動(dòng)駕駛汽車的后備箱里有一臺(tái)體積相對(duì)較大、速度相對(duì)較慢、能耗較高的電腦?！痹撗芯控?fù)責(zé)人、斯坦福大學(xué)電氣工程助理教授Gordon Wetzstein表示，未來的應(yīng)用程序?qū)⑿枰?、更小的設(shè)備來處理圖像流。

AI相機(jī)：雙層光電混合計(jì)算機(jī)

現(xiàn)在，Wetzstein和論文第一作者、研究生Julie Chang朝著這一技術(shù)邁出了一步，他們將兩種類型的計(jì)算機(jī)結(jié)合在一起，創(chuàng)造了一種專為圖像分析設(shè)計(jì)的光電混合計(jì)算機(jī)。

原型相機(jī)的第一層是一種光學(xué)計(jì)算機(jī)，它不需要數(shù)字計(jì)算的高功耗數(shù)學(xué)運(yùn)算。第二層是傳統(tǒng)的數(shù)字電子計(jì)算機(jī)。

光學(xué)計(jì)算機(jī)層通過物理預(yù)處理圖像數(shù)據(jù)進(jìn)行操作，以多種方式對(duì)其進(jìn)行過濾，否則電子計(jì)算機(jī)就必須用數(shù)學(xué)方法對(duì)其進(jìn)行過濾。由于過濾是在光線穿過自定義光學(xué)時(shí)自然發(fā)生的，所以這一層的輸入功率為零。這為混合系統(tǒng)節(jié)省了大量的本該用于計(jì)算的時(shí)間和能量。

“我們已經(jīng)把人工智能的一些數(shù)學(xué)知識(shí)拓展到了光學(xué)領(lǐng)域。”Chang說。

這樣做的結(jié)果是更少的計(jì)算、更少的內(nèi)存調(diào)用和更少的時(shí)間來完成這個(gè)過程。在跳過了這些預(yù)處理步驟之后，剩下的分析將以相當(dāng)大的優(yōu)勢(shì)進(jìn)入數(shù)字計(jì)算機(jī)層?！皵?shù)百萬次計(jì)算都是在光速下進(jìn)行的?！?/p>

成像精度和速度堪比電子計(jì)算機(jī)處理器

在速度和精度方面，這款原型機(jī)與現(xiàn)有的電子計(jì)算機(jī)處理器相媲美。

雖然他們目前的原型機(jī)還處在實(shí)驗(yàn)臺(tái)上，不會(huì)被歸類為小型設(shè)備，但研究人員說，他們的系統(tǒng)有一天會(huì)被小型化，以適合手持?jǐn)z像機(jī)或無人機(jī)。

在模擬和真實(shí)世界的實(shí)驗(yàn)中，研究小組使用該系統(tǒng)成功地識(shí)別了飛機(jī)、汽車、貓、狗等自然圖像。

Wetzstein說：“我們系統(tǒng)的某些未來版本在自動(dòng)駕駛汽車等快速?zèng)Q策應(yīng)用中尤其有用?！?/p>

除了縮小原型尺寸之外，Wetzstein, Chang和他們?cè)谒固垢Ｓ?jì)算機(jī)成像實(shí)驗(yàn)室的同事們現(xiàn)在正在尋找方法使光學(xué)元件做更多的預(yù)處理。最終，他們要用更小、更快的技術(shù)將取代現(xiàn)在在自動(dòng)駕駛汽車、無人機(jī)和其他識(shí)別周圍世界的設(shè)備上使用的計(jì)算機(jī)。

相關(guān)原理及論文

卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各種計(jì)算機(jī)視覺應(yīng)用中表現(xiàn)出色，但其高性能也伴隨著高昂的計(jì)算成本。盡管人們可以通過算法和專用硬件來提高效率，但由于能源預(yù)算緊張，在嵌入式系統(tǒng)中部署卷積神經(jīng)網(wǎng)絡(luò)仍然很困難。

我們?cè)诒疚闹刑剿饕环N互補(bǔ)策略，在電子計(jì)算之前加上一層光學(xué)計(jì)算，以提高圖像分類任務(wù)的性能，同時(shí)增加最小的電子計(jì)算成本或處理時(shí)間。我們提出了一種基于優(yōu)化衍射光學(xué)元件的光學(xué)卷積層設(shè)計(jì)，并在兩個(gè)模擬測(cè)試中驗(yàn)證了我們的設(shè)計(jì)：經(jīng)過訓(xùn)練的光學(xué)相關(guān)器，以及光電雙層卷積神經(jīng)網(wǎng)絡(luò)。我們?cè)?a target="_blank">仿真模型和光學(xué)原型中證明，我們的光學(xué)系統(tǒng)的分類精度可以與類似的電子計(jì)算方案相媲美，同時(shí)大大節(jié)省了計(jì)算成本。