視海芯圖Transformer加速SoC助力AR/VR設(shè)備性能升級(jí)

5月12日，第十三屆松山湖中國(guó)IC創(chuàng)新高峰論壇在廣東東莞松山湖凱酒店舉行，本屆活動(dòng)繼續(xù)由中國(guó)半導(dǎo)體行業(yè)協(xié)會(huì)IC設(shè)計(jì)分會(huì)（ICCAD）、芯原微電子、松山湖管委會(huì)主辦，東莞松山湖集成電路設(shè)計(jì)服務(wù)中心，東莞市生技置業(yè)有限公司承辦。電子發(fā)燒友網(wǎng)受邀參與活動(dòng)并作現(xiàn)場(chǎng)報(bào)道。

成都視海芯圖微電子有限公司創(chuàng)始人許達(dá)文認(rèn)為，很多AI模型的主干網(wǎng)絡(luò)正從CNN轉(zhuǎn)變?yōu)門ransformer，Transformer可以解決終端芯片訪存密集型、不規(guī)則訪存，以及NPU利用率低的難題。

視海芯圖推出了Transformer加速SoC——SH1580芯片，采用12nm工藝，具備自研NPU、高性能主核、高性能圖像處理的特點(diǎn)。SH1580芯片具備2TOPS@INT8有效算力，在圖像處理方面，支持AI-HDR、3D-ToF圖像處理等。

許達(dá)文介紹，SH1580芯片的核心技術(shù)為PTPU架構(gòu)，具備定制電路支持Transformer存儲(chǔ)結(jié)構(gòu)和訪存優(yōu)化的特點(diǎn)，另外視海芯圖還設(shè)計(jì)了可重構(gòu)數(shù)據(jù)流，同時(shí)高效支持CNN和Transformer。

在AR/VR的應(yīng)用中，為了能夠讓數(shù)字世界跟物理世界實(shí)現(xiàn)深層次的融合，需要把數(shù)字信息映射到物理世界中。這就需要場(chǎng)景識(shí)別功能，還需要支持混合性輸入，包括圖像輸入、語(yǔ)音輸入?！疤貏e是圖像輸入這塊，往往要輸入、接收2D、3D圖像。這么復(fù)雜的一些場(chǎng)景和算法的話，它就需要一個(gè)配套的算法來(lái)支撐。”許達(dá)文表示。而基于Transformer為架構(gòu)的模型能夠結(jié)束一部分問(wèn)題。

在AR/VR設(shè)備中，SH1580芯片在SLAM中可以做特征點(diǎn)匹配LoFTR、地點(diǎn)識(shí)別SVT-Net，另外在AR/VR設(shè)備的應(yīng)用中還能實(shí)現(xiàn)語(yǔ)義分割 SegFormer以及三維重建 Point-Bert。傳統(tǒng)CNN算法很難做稀疏紋理匹配，但是Transformer可以做到準(zhǔn)確的無(wú)紋理特征識(shí)別。

值得一提的是，AR/VR設(shè)備對(duì)于需要有低功耗有著一定的需求。SH1580芯片基于12nm工藝。采用電源與芯片架構(gòu)，idle功耗為46mW，超低功耗模式可以做到6mW。該產(chǎn)品在AR眼鏡上已有應(yīng)用案例。