清華類腦視覺芯片取得重大突破，“天眸芯”登上Nature封面

電子發(fā)燒友網(wǎng)報道（文/李寧遠(yuǎn)）5月30日，來自清華大學(xué)類腦計算研究中心團(tuán)隊的類腦互補(bǔ)視覺芯片“天眸芯”登上了《Nature》封面。 文章名為“A vision chip with complementary pathways for open-world sensing”，即面向開放世界感知的具有互補(bǔ)路徑的視覺芯片。

這是世界上首款類腦互補(bǔ)視覺芯片，基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式，突破了傳統(tǒng)視覺感知芯片在穩(wěn)定性和安全性等方面的性能瓶頸。

天眸芯：受人類視覺系統(tǒng)啟發(fā)的互補(bǔ)雙通路類腦視覺感知

視覺傳感器發(fā)展到現(xiàn)在，在應(yīng)用上已經(jīng)表現(xiàn)得很成熟，但目前常用的視覺成像硬件系統(tǒng)的功能仍然不能像人類視覺系統(tǒng)那樣靈活，這一類圖像傳感器在處理開放世界應(yīng)用中的動態(tài)、多樣和不可預(yù)測的場景時仍舊面臨著巨大的挑戰(zhàn)。

具體來說傳統(tǒng)視覺感知芯片在高速、高分辨率、大動態(tài)范圍和高精度方向上同時發(fā)展受到了功率和帶寬的嚴(yán)重限制。在處理開放世界中的動態(tài)不可預(yù)測情景時，這些感知芯片感知器件面臨失真、失效抑或高延遲等問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。

為解決這些限制，清華大學(xué)類腦計算研究中心團(tuán)隊解析了人類視覺系統(tǒng)，論文中講解到，人類視網(wǎng)膜由視桿細(xì)胞和視錐細(xì)胞組成，它們以相反的方式運(yùn)行以擴(kuò)大靈敏度范圍。在下一個系統(tǒng)層級上，外側(cè)膝狀體（LGN）中的M通路和P通路以互補(bǔ)的方式編碼視覺信息。然后，來自LGN的輸出信息被重組為一系列primitive基元，這些基元包含了顏色、方向、深度和方向等信息。

傳入的感覺信息通過與感官相對應(yīng)的特定模式通道發(fā)送到大腦，這些通道中的每一個都進(jìn)一步將輸入的信號解析為并行流，向大腦提供緊湊、高效的輸入。

受到這種構(gòu)造的啟發(fā)，團(tuán)隊提出了一種類腦的互補(bǔ)感知范式，該范式將視覺信息解析為primitive-based，并將這些原始的primitive-based信息組合在一起形成兩種互補(bǔ)的視覺通路，一是以準(zhǔn)確認(rèn)知為導(dǎo)向的認(rèn)知通路，另一種是以行動為導(dǎo)向的快速響應(yīng)通路。

為了實(shí)現(xiàn)這一范式，團(tuán)隊開發(fā)了“天眸”視覺芯片，該芯片結(jié)合了混合像素陣列和并行異構(gòu)讀出架構(gòu)。該芯片采用90納米背照式CMOS，對認(rèn)知導(dǎo)向的通路COP和行動導(dǎo)向通路AOP電路做了并行的異構(gòu)組合，再通過稀疏時空差分分組器生成壓縮數(shù)據(jù)。

互補(bǔ)通路構(gòu)筑的類腦視覺感知，已在實(shí)際應(yīng)用中展現(xiàn)超強(qiáng)性能

利用互補(bǔ)視覺路徑的特性，天眸芯實(shí)現(xiàn)了高達(dá)10000幀/秒的高速傳感，動態(tài)范圍為130 dB，在空間分辨率、速度和動態(tài)范圍方面具有明顯的優(yōu)勢。

天眸芯公布的功耗中，最高的是在10000fps@±1-bit（threshold=50mV）下的419.7mW，也是極低的功耗水平。不同像素、模擬、數(shù)字和接口電路下，最低為757fps@±7-bit（threshold=0）下的328.4mW。

在天眸芯中，不同的數(shù)據(jù)原始組合被編碼形成AOP數(shù)據(jù)和COP數(shù)據(jù)。這兩種通路有獨(dú)立的緩沖區(qū)，并支持獨(dú)立的反饋控制。然后，AOP和COP的處理數(shù)據(jù)被發(fā)送到不同光流求解器中。推理結(jié)果最終被集成到多對象跟蹤器。這種方法優(yōu)化了兩條互補(bǔ)通路，同時保留了低延遲響應(yīng)能力和高性能特征。

天眸芯測試板與處理系統(tǒng)示意圖，來源：Nature

在整個視覺重建中，有自監(jiān)督訓(xùn)練管道，使用兩個通路提供的彩色圖像并根據(jù)這些圖像之間的差異數(shù)據(jù)來提供訓(xùn)練樣本。不斷調(diào)整輸入數(shù)據(jù)量就能獲得任何時間點(diǎn)的高速彩色圖像，最終完成圖像輸出。

清華大學(xué)團(tuán)隊在論文中展示了實(shí)際應(yīng)用中的芯片特性，如捕捉快速移動中的乒乓球、記錄車輪旋轉(zhuǎn)以及抓拍閃電。車輪抓拍中該芯片COP部分記錄下的車輪混疊通過高速AOP消除并進(jìn)行了抗鋸齒重建，閃電拍攝中COP遺漏的閃電在AOP進(jìn)行了補(bǔ)全，表現(xiàn)十分亮眼。

天眸芯特別在開放環(huán)境的車載平臺上進(jìn)行了多項性能驗(yàn)證，在多種極端場景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的應(yīng)用潛力。

值得一提的是AOP中的稀疏數(shù)據(jù)流，加上特殊的編碼方法，使天眸能夠自適應(yīng)地調(diào)整其傳輸帶寬。即使大多數(shù)情況下芯片處于小于80 MB/s的帶寬下，但在這種互補(bǔ)感知下，大量測試案例已經(jīng)表明了該帶寬已經(jīng)足以解決許多現(xiàn)實(shí)應(yīng)用中動態(tài)不可預(yù)測的場景感知難題。

清華大學(xué)表示，“天眸芯的成功研制無疑是智能感知芯片領(lǐng)域的一個重大突破。它不僅為智能革命的發(fā)展提供了一個強(qiáng)大的技術(shù)支持，還為自動駕駛、具身智能等重要應(yīng)用開辟了新的道路”。

繼異構(gòu)融合類腦計算芯片“天機(jī)芯”后，清華大學(xué)類腦計算研究中心團(tuán)隊?wèi){借“天眸芯”再次登上《自然》雜志封面。此前天機(jī)芯的發(fā)布標(biāo)志著我國在類腦計算上的突破，此次天眸芯發(fā)布，意味著我國在類腦感知方向上同樣取得了至關(guān)重要的突破。天眸芯的出現(xiàn)，讓視覺感知進(jìn)入了全新的篇章。

不斷突破的類腦技術(shù)正在推動智能應(yīng)用顛覆性變革

本次“天眸芯”的公布，加之“天機(jī)芯”積累的技術(shù)與應(yīng)用基礎(chǔ)，無疑將進(jìn)一步完善類腦智能生態(tài)，有力地推動通用人工智能的發(fā)展。國內(nèi)也有不少科研機(jī)構(gòu)和企業(yè)在這條賽道上持續(xù)突破，用類腦技術(shù)推動智能應(yīng)用變革。

北京靈汐科技是國內(nèi)領(lǐng)先的類腦計算企業(yè)，靈汐科技研發(fā)經(jīng)理楊哲宇博士也是本次天眸芯論文的共同第一作者之一。靈汐科技已經(jīng)發(fā)布并量產(chǎn)了具有完全自主產(chǎn)權(quán)的商用類腦芯片——領(lǐng)啟KA200(-S)。該款芯片采用了異構(gòu)融合、眾核并行、存算一體的架構(gòu)，單芯片集成25萬神經(jīng)元和2500萬突觸，可擴(kuò)展支持200萬神經(jīng)元和20億突觸的集成計算。目前已在云邊端AI應(yīng)用領(lǐng)域取得了不錯的落地。據(jù)悉未來還會繼續(xù)推動類腦技術(shù)在機(jī)器人及具身智能、大模型、智算中心等新興應(yīng)用領(lǐng)域的應(yīng)用。

SynSense時識科技今年也戰(zhàn)略收購了瑞士類腦視覺傳感器公司iniVation，成為全球首家完整擁有類腦傳感和類腦計算技術(shù)的公司，可以充分發(fā)揮類腦感算的高效協(xié)同作用。SynSense時識科技目前正在推進(jìn)工業(yè)安防、眼動追蹤、消費(fèi)電子、航空航天和自動駕駛等領(lǐng)域的類腦技術(shù)落地。

人工智能的飛速發(fā)展有目共睹，人工智能的應(yīng)用已經(jīng)從早年前的理論和小型測試發(fā)展到現(xiàn)在的企業(yè)級用例。類腦技術(shù)正是為了解決人工智能思考的難題，模擬人類大腦處理信息的機(jī)制使得相關(guān)芯片及相應(yīng)的硬件系統(tǒng)能夠像人類一樣思考，成為真正意義上的人工智能。現(xiàn)在不斷突破的類腦技術(shù)正推動著智能應(yīng)用走向顛覆性的變革。

小結(jié)

前沿技術(shù)的突破為類腦技術(shù)的落地提供了強(qiáng)有力的支持，類腦技術(shù)與視覺傳感的融合打破了傳統(tǒng)視覺傳感的局限，為下一代智能視覺傳感指明了一條清晰的技術(shù)道路?？梢哉f，類腦技術(shù)正在為智能應(yīng)用開辟新的道路。