基于SPAD的脈沖型人工視覺芯片更加接近人類視覺系統(tǒng)

人工視覺芯片是一種感算一體化的圖像傳感器，能夠單芯片完成圖像獲取和原位實(shí)時智能圖像處理等任務(wù)，是一種典型的邊端型智能感知系統(tǒng)芯片。它可以被廣泛應(yīng)用于自動駕駛、敏捷機(jī)器人、智能無人機(jī)、混合現(xiàn)實(shí)和工業(yè)機(jī)器視覺等前沿鄰域。目前的人工視覺芯片以多比特實(shí)數(shù)數(shù)據(jù)形式在片上進(jìn)行圖像信息的獲取、表達(dá)、處理和傳輸，面臨處理數(shù)據(jù)量大、深度神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度高、電路復(fù)雜、片上存儲開銷大、處理延遲和功耗大等諸多的設(shè)計(jì)和應(yīng)用挑戰(zhàn)。

中國科學(xué)院半導(dǎo)體研究所劉力源研究員帶領(lǐng)團(tuán)隊(duì)在脈沖型人工視覺芯片設(shè)計(jì)領(lǐng)域取得重要進(jìn)展。團(tuán)隊(duì)創(chuàng)新性地設(shè)計(jì)了一款脈沖型人工視覺芯片，它集成了單光子脈沖型圖像傳感器和可重構(gòu)脈沖視覺處理器，可實(shí)現(xiàn)視覺信息的獲取、表達(dá)、處理和傳輸?shù)热溌返男畔⒚}沖化，更加接近了人類的視覺系統(tǒng)，為突破現(xiàn)有人工視覺芯片的瓶頸提供了一種新思路。



圖1 脈沖視覺信號流

芯片采用單光子雪崩二極管像素（SPAD）天然地生成高速脈沖型圖像信號，并采用神經(jīng)形態(tài)脈沖計(jì)算范式直接處理單光子脈沖視覺信號，構(gòu)建了一個如圖1所示的低復(fù)雜度、低延遲的脈沖視覺信號流處理系統(tǒng)。脈沖型人工視覺芯片可實(shí)現(xiàn)二維灰度成像和三維深度成像，并靈活地重構(gòu)為脈沖圖像信號理器（ISP）或脈沖神經(jīng)網(wǎng)絡(luò)處理器，實(shí)現(xiàn)二維三維視覺融合智能化處理；同時，通過實(shí)時智能圖像處理判斷不同成像場景，可以反饋控制圖像傳感器的配置參數(shù)，提升成像質(zhì)量。

測試結(jié)果表明，最高成像速率為每秒10萬脈沖圖像幀，動態(tài)范圍高達(dá)100dB，具有二維三維融合的目標(biāo)識別定位和光照自適應(yīng)功能。圖2和圖3分別為芯片照片和測試結(jié)果。該項(xiàng)研究為體積和供電均受限的邊緣視覺設(shè)備提供了實(shí)現(xiàn)低延遲多模視覺感算一體化高集成度片上系統(tǒng)芯片的新方法。



圖2 芯片照片；圖3 芯片成像測試結(jié)果（a）成像場景（b）二維測試結(jié)果（c）三維深度成像結(jié)果（d）0.3lx照度下的弱光測試結(jié)果

此項(xiàng)研究成果由半導(dǎo)體所助理研究員楊旭和劉力源研究員等共同完成。此項(xiàng)工作得到了國家重點(diǎn)研發(fā)計(jì)劃和國家自然科學(xué)基金等項(xiàng)目的資助。

審核編輯：劉清