MIPI D-PHY IP為AI推理帶來(lái)片上圖像

隨著越來(lái)越多的不同應(yīng)用對(duì)AI處理的需求增長(zhǎng)，包括在消費(fèi)級(jí)和企業(yè)級(jí)設(shè)備中對(duì)低功耗芯片應(yīng)用的廣泛需求，邊緣AI推斷正受到越來(lái)越多的關(guān)注。大部分注意力都集中在優(yōu)化這些較小部件的神經(jīng)網(wǎng)絡(luò)處理引擎及其運(yùn)行所需的模型上，但優(yōu)化在許多情況下具有更廣泛的意義。在圖像識(shí)別用例中，圖像必須來(lái)自某個(gè)地方，通常來(lái)自具有MIPI接口的傳感器。因此，Perceive公司將來(lái)自Mixel的低功耗MIPI D-PHY IP集成到最新的Ergo 2 Edge AI處理器上，為AI推理帶來(lái)片上圖像是有道理的。

分辨率和幀速率呈上升趨勢(shì)

人工智能處理器已經(jīng)得到了增強(qiáng)，6現(xiàn)在可以通過高分辨率傳感器以較高的幀速率處理更大的圖像。能夠在場(chǎng)景實(shí)時(shí)變化之前快速推斷和做出決定是至關(guān)重要的。鑒于此，Ergo 2中的圖像處理模塊受到了極大重視。

Ergo 2 Edge AI處理器系統(tǒng)示意圖，由Perceive提供

具有大量像素的大圖像對(duì)設(shè)備開發(fā)人員來(lái)說(shuō)是一個(gè)巨大的挑戰(zhàn)。在某種意義上，圖像識(shí)別這一說(shuō)法并不恰當(dāng)。AI推理增加價(jià)值的大多數(shù)用例都要求查看一個(gè)感興趣的區(qū)域，或者其中的幾個(gè)區(qū)域，其中相對(duì)較少的像素包裹在一個(gè)充滿大多數(shù)無(wú)趣像素的大得多的圖像中。更快更準(zhǔn)確地發(fā)現(xiàn)那些感興趣的區(qū)域?qū)Q定應(yīng)用程序的運(yùn)行狀況。

Ergo 2圖像處理單元具有雙重同時(shí)管道，可以隔離感興趣的像素，使AI模型更容易處理感知。第一個(gè)管道支持4個(gè)感興趣的區(qū)域，最大圖像大小為4672 x 3506像素，每秒24幀(fps)。第二個(gè)管道可以以60 fps的速度在2048 x 1536像素的圖像中瞄準(zhǔn)單個(gè)區(qū)域。IPU還可以處理圖像范圍內(nèi)的任務(wù)，如縮放、范圍壓縮、旋轉(zhuǎn)、失真和鏡頭陰影校正等。

丟失的幀會(huì)影響感知

在這些快速、高分辨率的圖像中，過多的噪聲或抖動(dòng)會(huì)由于數(shù)據(jù)錯(cuò)誤而導(dǎo)致幀丟失。圖像流中丟失的幀可能會(huì)影響推斷操作的準(zhǔn)確性，導(dǎo)致錯(cuò)過或不正確的感知。在具有挑戰(zhàn)性的環(huán)境中，可靠的圖像傳輸是在邊緣進(jìn)行準(zhǔn)確感知的必要條件。

Mixel MIPI D-PHY IP的一個(gè)典型特征是其時(shí)鐘轉(zhuǎn)發(fā)同步鏈路，提供高抗干擾性和高抖動(dòng)容忍度。在Ergo 2中，有三種不同的MIPI IP解決方案在工作:四通道CSI-2 TX、兩通道CSI-2 RX和四通道CSI-2 RX。每個(gè)IP塊集成了一個(gè)發(fā)射器或接收器和一個(gè)32位的CSI-2控制器核心。鏈接速度高達(dá)2.5 Gbps，下面是典型的眼圖。

第一步成功與否是關(guān)鍵

在大型SoC中出現(xiàn)缺陷是很嚴(yán)重的，重新設(shè)計(jì)可能代價(jià)非常高。然而，更大的SoC項(xiàng)目往往有更大的設(shè)計(jì)團(tuán)隊(duì)，更長(zhǎng)的時(shí)間表和更高的預(yù)算。在一個(gè)較小的芯片上，一個(gè)失敗可以扼殺一個(gè)項(xiàng)目，調(diào)試和重新啟動(dòng)的成本迅速上升到超過最初的開發(fā)成本。

盡管在半導(dǎo)體行業(yè)中，首次成功并不是必然的，但Perceive能夠通過Mixel IP實(shí)現(xiàn)這一目標(biāo)。Mixel支持Perceive的合規(guī)性測(cè)試，使完整的集成設(shè)計(jì)能夠在SoC轉(zhuǎn)向大批量生產(chǎn)之前承受嚴(yán)格的MIPI接口表征。Mixel MIPI D-PHY IP包含驅(qū)動(dòng)前和驅(qū)動(dòng)后環(huán)回和內(nèi)置的自檢功能，用于測(cè)試發(fā)送和接收接口。

Perceive集成Mixel的MIPI D-PHY IP的結(jié)果是達(dá)到了Ergo 2的功率、性能和成本目標(biāo)。反過來(lái)，Perceive的客戶可以在更小的、功耗有限的設(shè)備上實(shí)現(xiàn)Ergo 2，其中電池壽命是一個(gè)關(guān)鍵指標(biāo)，但AI推理性能必須不受影響。這是一個(gè)很好的例子，通過精心設(shè)計(jì)的集成，將圖像放在芯片上用于AI推理，有助于在小系統(tǒng)級(jí)別上節(jié)省成本。

審核編輯 ：李倩