清華大學(xué)類腦視覺(jué)芯片“天眸芯”突破傳統(tǒng)視覺(jué)感知芯片性能瓶頸

清華大學(xué)精密儀器系類腦計(jì)算研究中心施路平教授帶領(lǐng)的團(tuán)隊(duì)，近期成功研制出世界首款名為“天眸芯”的類腦互補(bǔ)視覺(jué)芯片，實(shí)現(xiàn)了高速、精確且具有高動(dòng)態(tài)范圍的視覺(jué)信息收集。

此項(xiàng)成果于5月30日以《面向開(kāi)放世界感知的類腦互補(bǔ)視覺(jué)芯片》為標(biāo)題，發(fā)表在《自然》雜志的封面文章中（DOI:10.1038/s41586-024-07358-4）。

據(jù)介紹，傳統(tǒng)視覺(jué)感知芯片因受到“功耗墻”與“帶寬墻”的制約，在處理突發(fā)意外情況時(shí)易出現(xiàn)失真、失效或高延遲等問(wèn)題，從而影響系統(tǒng)的穩(wěn)定性和安全性。

為此，清華大學(xué)團(tuán)隊(duì)提出了一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新模式。這種模式借鑒了人類視覺(jué)系統(tǒng)的基本原理，將開(kāi)放世界的視覺(jué)信息分解成基于視覺(jué)原語(yǔ)的信息表達(dá)方式，再通過(guò)有機(jī)結(jié)合這些原語(yǔ)，模擬人眼視覺(jué)系統(tǒng)的特性，構(gòu)建出兩條優(yōu)勢(shì)互補(bǔ)、信息完整的視覺(jué)感知通道。

在此基礎(chǔ)上，團(tuán)隊(duì)成功研制出“天眸芯”這款全球首款類腦互補(bǔ)視覺(jué)芯片。在極低的帶寬（降低90%）和功耗成本下，它能達(dá)到每秒10000幀的高速、10bit的高精度以及130dB的高動(dòng)態(tài)范圍的視覺(jué)信息收集能力。

此外，團(tuán)隊(duì)還自主開(kāi)發(fā)了高性能軟件和算法，并在開(kāi)放環(huán)境的車載平臺(tái)上進(jìn)行了性能測(cè)試。在各種極端場(chǎng)景下，該系統(tǒng)都能實(shí)現(xiàn)低延遲、高性能的實(shí)時(shí)感知推理，展示了其在智能無(wú)人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

值得注意的是，這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”之后，再次榮登《自然》雜志封面，標(biāo)志著中國(guó)在類腦計(jì)算和類腦感知兩大關(guān)鍵領(lǐng)域取得了基礎(chǔ)性突破。