用于顏色感知的超低功耗垂直集成的尖峰視錐感受器陣列

據(jù)麥姆斯咨詢報道，近日，南京大學電子科學與工程學院萬青教授、萬昌錦副教授課題組在Nature Communications期刊上發(fā)表了題為“Vertically integrated spiking cone photoreceptor arrays for color perception”的論文，構建了能夠?qū)B續(xù)光進行頻率編碼的垂直集成的尖峰視錐感受器陣列，取得了可見光范圍單個尖峰小于400 pW的功耗（與人眼視錐感受器功耗相當），實現(xiàn)了高生物相似性的顏色感知能力的模擬。該成果將為低功耗的動態(tài)視覺處理系統(tǒng)提供基礎元件，并為高智能仿生機器人的發(fā)展提供重要參考價值。

顏色視覺是一種感知由不同波長組成的光之間差異的能力，為生物體提供了實質(zhì)性的環(huán)境適應能力。光線穿過角膜和晶狀體，在眼睛后部的視網(wǎng)膜上形成倒像。視網(wǎng)膜包含兩種類型的光感受器細胞：視桿細胞和視錐細胞。顏色信息在日光下被視錐細胞檢測到，并被傳輸?shù)酱竽X進行顏色感知。與數(shù)碼相機通過濾波器和基于集中、順序和二進制運算處理來獲得顏色信息不同，生物視覺系統(tǒng)中形成的顏色視覺依賴于視錐感受器，它們選擇性地對三種波長的光產(chǎn)生響應，并將其編碼為用于事件驅(qū)動、時間相關和并行處理的尖峰序列。

因此，電荷耦合器件（CCD）或互補金屬氧化物半導體（CMOS）等圖像傳感器的特征尺寸和響應時間對圖像分割和物體識別等智能任務的效率至關重要，這不可避免地需要巨大的吞吐量和能耗。人們的眼睛有三種類型、約600萬個視錐細胞，每個視錐細胞消耗大約數(shù)百皮瓦（pW）的能量，使人們能夠在非常緊湊的結(jié)構中辨別100多萬種顏色，其性能勝過大多數(shù)數(shù)字傳感器。因此，開發(fā)生物相似性的人工光感受器，特別是視錐型感受器，將催生一種具有精妙視覺感知和極高能效的視覺系統(tǒng)，并將促進假體、神經(jīng)機器人和半機械人等相關領域的發(fā)展。

硬件尖峰視錐感受器（SCP）能夠?qū)τ刹煌ㄩL組成的光產(chǎn)生不同的響應，并以一定的頻率將其編碼為尖峰。最初，研究人員致力于模擬視覺神經(jīng)系統(tǒng)中基本突觸功能和開發(fā)光敏突觸器件，旨在模擬關于光的短期/長期記憶。最近，人工尖峰感受器引起了人們的極大興趣，因為頻率中隱含的信息是非常節(jié)能的，并且對噪聲具有很強的魯棒性?；?a href="http://www.wenjunhu.com/tags/光學傳感器/" target="_blank">光學傳感器和振蕩神經(jīng)元串聯(lián)的尖峰感受器在復雜背景下表現(xiàn)出高效的邊緣圖像分割，是一種新穎可行的尖峰視錐感受器方法。然而，為了追求更小的占位面積，需要一種無電容器和更緊湊的配置。此外，高生物相似性仍然具有挑戰(zhàn)性，并且關于能量消耗、尖峰頻率的范圍、對不同波長光的選擇性等基本特性尚未很好地實現(xiàn)。

基于此，這項研究工作提出了一種基于金屬氧化物的垂直集成的尖峰視錐感受器（VISCP）陣列，它可以根據(jù)輸入波長以一定的頻率將連續(xù)光直接轉(zhuǎn)換為尖峰序列。這種尖峰視錐感受器在可見光下具有超低功耗，每個尖峰的功耗小于400 pW，這非常接近生物視錐細胞。該VISCP通過三種波長的光進行了驗證，不僅能夠分辨這些光的不同組合并表現(xiàn)出高選擇性（>1.5個數(shù)量級）。由于這種高選擇性，這也有利于色盲測試模擬的演示。研究人員使用色盲測試的手寫數(shù)字作為測試數(shù)據(jù)集，可以觀察到具備和不具備分辨混合顏色能力的器件之間在識別精度上的差異。本研究的成果將使硬件尖峰神經(jīng)網(wǎng)絡具有生物相似性的視覺感知，并為動態(tài)視覺傳感器的開發(fā)提供巨大潛力。

在生物視覺系統(tǒng)中，光感受器（視桿細胞和視錐細胞）將外部光刺激轉(zhuǎn)化為尖峰電位，最終在大腦中形成視覺，如圖1a所示。這些光感受器細胞體在眼盤的頂端區(qū)域精確地排列成簇，并將軸突投射到大腦的視葉中（圖1b）。受視錐細胞的啟發(fā)，研究人員提出了一種具有ITO/Ta2O5/Ag/IGZO/ITO器件結(jié)構的VISCP（圖1c–e），對多種顏色光的響應在圖1f中進行了概念性說明。VISCP由基于IGZO的光敏電阻器和基于Ta2O5的尖峰編碼器構成，能夠根據(jù)光強將連續(xù)光直接轉(zhuǎn)換為尖峰序列。

圖1 垂直集成的尖峰視錐感受器（VISCP）及其生物對應物

研究人員對光敏電阻器和尖峰編碼器進行了電學表征，如圖2所示。

圖2 光敏電阻器和尖峰編碼器的電學表征

垂直集成的ITO/Ta2O5/Ag/IGZO/ITO器件集成了尖峰編碼和光傳感特性，可以模擬視錐細胞的功能。VISCP的等效電路如圖3a所示。在頂部和底部ITO電極上分別施加恒定電壓（VBias = 0.5 V）和接地電壓，輸出電壓（VOUT）在Ag電極上進行測量。該器件以單片方式將連續(xù)光編碼成具有一定頻率水平的尖峰序列，如圖3b所示。VISCP中輸出尖峰的頻率與光強和波長呈正相關（圖3c）。圖3d顯示了在固定光強為0.5 nW/μm2的三種波長下的尖峰響應的實驗觀察。當波長為360、405和532 nm時，VISCP的尖峰頻率分別為1200、7和0.1 Hz。憶阻器的有效輸入取決于基于IGZO的光敏電阻的電阻，該電阻與波長和光強有關，并調(diào)制尖峰頻率。對于360 nm的波長，當光強從0.5 nW/μm2減小到0.03 nW/μm2時，頻率從1200 Hz減小到37 Hz，如圖3e所示。綜上，VISCP在明亮環(huán)境下具有顏色選擇性，而在黑暗環(huán)境下則無效，這與生物視錐細胞相似。

圖3 光照射下的VISCP的尖峰編碼行為和顏色選擇性

生物視覺系統(tǒng)的顏色感知取決于視錐細胞對紅、綠、藍比例的響應。VISCP尖峰頻率隨著波長從532 nm（λ1）減小到405 nm（λ2）和360 nm（λ3）而增加。研究人員利用這三種波長作為偽彩色，并進行了混合顏色測試（如圖4a所示）。響應紅色、橙色、橄欖色和綠色光的尖峰頻率呈指數(shù)增長，如圖4b所示。紅光的尖峰頻率最低，其值為0.2 Hz，而在綠光照射下，頻率達到最高的1200 Hz。相鄰顏色之間的尖峰頻率差異超過一個數(shù)量級，表明VISCP在分辨混合顏色方面具有良好的選擇性。一般來說，紅綠色盲很難分辨紅色和綠色，特別是對于含有紅色或綠色的混合顏色，如橙色和橄欖色。如圖4c所示，研究人員模擬了正常色覺個體和色盲個體的行為。圖4d顯示了具有和不具有混合顏色選擇性的器件在30個訓練周期內(nèi)的識別精度。雖然處理后的數(shù)字比原始MNIST數(shù)字更復雜，并且識別精度相對較低，但具有混合顏色選擇性的VISCP“眼睛”能夠以約83.2%的準確率從包含混合顏色的背景中識別目標數(shù)字。然而，不具有混合顏色選擇性的“眼睛”顯示出很大的困難，僅實現(xiàn)了75.5%的低準確率。這些結(jié)果成功地模擬了人類對顏色的感知，包括感知、頻率編碼和識別。

圖4 混合顏色圖像識別

綜上所述，在這項工作中，垂直集成的尖峰視錐感受器（VISCP）能夠?qū)⒐鈫纹D(zhuǎn)換為尖峰，代表了人工視覺系統(tǒng)中的一大進步，具有高生物相似性。更重要的是，與三種波長的光相對應的大響應范圍使分辨“顏色”成為可能。在可見光的響應中，實現(xiàn)了每個尖峰的超低功耗≤400 pW。作為概念驗證，這些器件被用于模擬顏色感知。與沒有此類選擇性的器件相比，具有混合顏色選擇性的器件對色盲測試MNIST手寫數(shù)字顯示出更高的識別精度。這些結(jié)果揭示了提出的器件在構建具有高能效和高生物相似性的人工視覺系統(tǒng)方面的巨大潛力。借助于必要的外圍電路，未來的改進可以致力于制造具有處理高分辨率圖像甚至視頻能力的大規(guī)模陣列。通過與尖峰神經(jīng)網(wǎng)絡的進一步集成，能效和準確性可能會得到提高。此外，通過將器件轉(zhuǎn)換為柔性/可拉伸形式，就像視網(wǎng)膜中的生物視錐細胞一樣，可以實現(xiàn)更具生物相似性的系統(tǒng)。

審核編輯：劉清