傳感器、AI和ML視覺(jué)處理助力視覺(jué)系統(tǒng)設(shè)計(jì)

隨著圖像傳感器和新型傳感器的大幅進(jìn)步，視覺(jué)系統(tǒng)正迅速變得無(wú)所不在。 ? 雖然傳感器本身通常是采用成熟節(jié)點(diǎn)芯片開發(fā)的，但它越來(lái)越多地與在最先進(jìn)節(jié)點(diǎn)開發(fā)的視覺(jué)處理器相連。這使得每瓦性能達(dá)到了最高水平，而且還可以設(shè)計(jì)使用AI預(yù)訓(xùn)練模型的AI加速器，同時(shí)仍然保持足夠小的尺寸與合適的溫度范圍，可用于AR/VR頭盔、手機(jī)和汽車艙內(nèi)傳感器，在這些場(chǎng)景中通常同時(shí)采用多個(gè)攝像頭。 ?

嵌入式視覺(jué)峰會(huì)總主席、Edge AI和視覺(jué)聯(lián)盟創(chuàng)始人、BDTI總裁Jeff Bier說(shuō)：“十年前，還沒(méi)有廣泛使用的計(jì)算機(jī)視覺(jué)處理器。今天，有幾十個(gè)。這很重要，因?yàn)橛?jì)算機(jī)視覺(jué)算法非常適合用并行處理進(jìn)行加速。因此，與通用處理器相比，采用專門架構(gòu)的處理器可以輕松實(shí)現(xiàn)100倍的性能和效率。處理器效率的巨大提升使得在數(shù)千個(gè)新應(yīng)用中部署計(jì)算機(jī)視覺(jué)成為可能?！?? 在過(guò)去，所有這些都必須從零開始開發(fā)。但這些系統(tǒng)正在成熟。如今，半導(dǎo)體和AI公司正在提供現(xiàn)成的視覺(jué)處理模型和訓(xùn)練過(guò)的數(shù)據(jù)集的平臺(tái)，開發(fā)者可以將其作為新系統(tǒng)的基礎(chǔ)。這在醫(yī)學(xué)領(lǐng)域很明顯，例如，計(jì)算機(jī)視覺(jué)正在幫助放射科醫(yī)生解讀X光片。

Flex Logix的高級(jí)營(yíng)銷總監(jiān)Sam Fuller說(shuō)：“AI的出現(xiàn)使人們能夠理解圖像，并開始減輕人們的負(fù)擔(dān)，比如放射科醫(yī)生，使他們更有效率。在算法開發(fā)及產(chǎn)品轉(zhuǎn)化方面，還有很多工作要做。” ? Mixel的創(chuàng)始人兼CEO Ashraf Takla表示：“AI/ML和邊緣計(jì)算的應(yīng)用發(fā)展勢(shì)頭良好，可以最小化視頻數(shù)據(jù)的傳輸量，從而降低功耗并提高系統(tǒng)效率?！?? 更小、更智能、更高效的攝像頭隨處可見(jiàn)。視覺(jué)系統(tǒng)涵蓋了從手機(jī)攝像頭到工業(yè)自動(dòng)化、汽車、醫(yī)療、安全、監(jiān)控、無(wú)人機(jī)、機(jī)器人、AR/VR等各個(gè)領(lǐng)域。對(duì)視覺(jué)和圖像系統(tǒng)組件的需求在逐年增加。 ? 視覺(jué)處理半導(dǎo)體市場(chǎng)分為視覺(jué)處理器（VPU）和圖像信號(hào)處理器（ISP）。Mordor Intelligence的數(shù)據(jù)顯示，這兩個(gè)市場(chǎng)的CAGR預(yù)計(jì)都為7%。亞太地區(qū)的需求量最大，其次是北美和歐洲。ST、TI、Sigma、Semiconductor Components Industries和Fujitsu是一些較大的半導(dǎo)體公司，但許多新老玩家都在視覺(jué)處理市場(chǎng)。Flex Logix、Ambarella、SiMa.ai、Hailo.ai和Brainchip都取得了長(zhǎng)足進(jìn)步。一些EDA公司正在提供具有視覺(jué)和AI功能的IP。 ? IC Insights預(yù)測(cè)，圖像傳感器的需求也不能忽視，但由于智能手機(jī)需求的下滑，CMOS可能會(huì)遭遇暫時(shí)的需求放緩。 ?

圖1：由于在家辦公的需求有所緩解，智能手機(jī)和筆記本銷量下滑，預(yù)計(jì)CMOS圖像傳感器的需求將放緩。（數(shù)據(jù)來(lái)源：IC Insights） ? 與此同時(shí)，根據(jù)SkyQuest技術(shù)咨詢公司的數(shù)據(jù)，全球圖像傳感器市場(chǎng)預(yù)計(jì)將在2022-2028年期間以8.43%的CAGR增長(zhǎng)，到2028年將達(dá)到301.2億美元。圖像傳感器市場(chǎng)占有率排名前六的公司是Sony、Samsung、OmniVision、ST、ONSemi和Panasonic。 ?

新型圖像傳感器??

在電子視覺(jué)系統(tǒng)中，圖像傳感器使用光學(xué)、像素和感光元件（光電二極管或光電門）將光轉(zhuǎn)換為電信號(hào)或比特。然后，數(shù)據(jù)pipeline將信號(hào)發(fā)送到處理器，在處理器中將信號(hào)轉(zhuǎn)換為數(shù)字圖像。 ? 圖像傳感器在傳感器上有一層光學(xué)器件來(lái)聚焦光線，但根據(jù)用例，還可以在上面添加另一層更復(fù)雜的光學(xué)器件。OmniVision的IoT/新興部門營(yíng)銷總監(jiān)Devang Patel說(shuō)：“這意味著基本上傳感器只發(fā)送原始數(shù)據(jù)，然后有一個(gè)主處理器。例如，Qualcomm或ambarella處理器將完成所有后端處理，轉(zhuǎn)換為YUV、JPEG進(jìn)行視頻錄制，” ? 兩種常見(jiàn)的圖像傳感器類型，CMOS（complementary metal oxide semiconductor）和CCD（charge coupled device）將光轉(zhuǎn)換成電荷，并將其處理成電信號(hào)。CCD使用的是高壓模擬電路，正如TEL所描述的，它的像素陣列有一個(gè)桶狀結(jié)構(gòu)，將電荷移動(dòng)到頂層行，作為一個(gè)讀數(shù)寄存器。然后，讀數(shù)寄存器將電荷輸出到傳感器外的處理器。 ? CCD有兩種類型，F(xiàn)SI（frontside illumination）和BSI（backside illumination）傳感器。區(qū)別在于光電二極管襯底在傳感器中的位置。 ? OmniVision的Patel說(shuō)：“所有高性能傳感器幾乎都是BSI?！??

圖2: BSI和FSI圖像傳感器示意圖（來(lái)源：Cmglee）

? CMOS傳感器的生產(chǎn)成本比CCD低，因?yàn)镃MOS可以在現(xiàn)有的半導(dǎo)體制造設(shè)備上制造。CMOS的能耗也更低。CMOS圖像傳感器中的每個(gè)像素都有自己的光電二極管直接輸出信號(hào)。 ? 相比之下，CCD基于NMOS，被認(rèn)為比CMOS噪聲更小。因此，它們是科學(xué)設(shè)備和高分辨率掃描儀的首選。CMOS被用于大多數(shù)其他應(yīng)用，因?yàn)樗诠暮统杀旧险純?yōu)，且一直在提高精度或分辨率。 ?

捕獲圖像數(shù)據(jù)的基本單位是像素。增加圖像傳感器的像素是提高圖像分辨率的一種方法。較小的像素意味著在提高分辨率的同時(shí)，可以在相同的區(qū)域內(nèi)放入更多的像素，這稱為像素間距，目前圖像傳感器上的像素密度在增加。 ? 但增加像素會(huì)影響圖像傳感器的測(cè)試。近年來(lái)，CMOS圖像傳感器（CIS）設(shè)備的像素?cái)?shù)呈爆炸式增長(zhǎng)，結(jié)果是CIS設(shè)備的測(cè)試往往需要更長(zhǎng)時(shí)間。 ?

真正影響測(cè)試的是傳感器的縮小。OmniVision多年來(lái)一直在銷售微型2層圖像傳感器?！爱?dāng)你做得越來(lái)越小的時(shí)候，測(cè)試就會(huì)面臨挑戰(zhàn)，因?yàn)闇y(cè)試設(shè)備和硬件隨之面臨著挑戰(zhàn)?！?? 圖像的使用者可以是人、計(jì)算機(jī)或某種機(jī)器。因此，圖像傳感器的選擇取決于最終用途和最終用戶。如果終端使用者不是人類，或者目的是檢測(cè)特定的事件，則正在考慮使用諸如事件傳感器之類的新型視覺(jué)傳感器。在光線較暗的情況下和車內(nèi)監(jiān)控，事件傳感器只檢測(cè)到強(qiáng)度的變化，像素會(huì)被變化激活。否則，不需要收集其他圖像數(shù)據(jù)。 ?

圖3：CMOS圖像傳感器（CIS）

將光通過(guò)像素，通過(guò)光電二極管轉(zhuǎn)換成電信號(hào)輸出（來(lái)源：TEL Nanotec Museum） ? 圖像傳感器在200mm和300mm晶圓廠的成熟節(jié)點(diǎn)上制造。一些圖像和視頻傳感器包括圖像或視頻處理模塊。這些是SoC。另一種沒(méi)有視頻處理器的圖像傳感器被稱為RAW。 ? OmniVision的Patel表示：“就普及程度而言，RAW傳感器代表了全球大多數(shù)（視覺(jué)）傳感器。視頻處理器是很多公司的專利，他們有自己的算法、配方和操作方法。由于這些原因，使用外部VPU總是更好。你還可以使用高級(jí)處理節(jié)點(diǎn)來(lái)集成更高級(jí)的圖像處理算法。這就是你所看到的，但市場(chǎng)上仍有一些SoC傳感器可用?！?? 有時(shí)，由于其他原因，最好將圖像傳感器與處理元件分離。Patel說(shuō)：“在汽車領(lǐng)域，有一些用例更傾向于將視頻處理分開。汽車的后視攝像頭在后備箱的位置，但可以在中控上顯示視頻。那是一段很長(zhǎng)的距離。設(shè)計(jì)師更愿意使用數(shù)字輸出，或傳統(tǒng)的模擬輸出，如NTSC或PAL視頻輸出，這樣你就可以使用較長(zhǎng)的線束來(lái)顯示。”

? 信號(hào)/圖像數(shù)據(jù)是使用并行和串行輸出從圖像傳感器上移走的。這似乎違反直覺(jué)，但串行輸出正變得比并行更受歡迎，其中MIPI占主導(dǎo)地位。 ? Mixel的Takla說(shuō)：“在大多數(shù)視覺(jué)應(yīng)用中，功率和延遲是關(guān)鍵參數(shù)。MIPI的最初目標(biāo)是傳感器、處理器和顯示器之間的視頻數(shù)據(jù)通信，因此我們針對(duì)這類應(yīng)用進(jìn)行了優(yōu)化。正因?yàn)槿绱?，MIPI標(biāo)準(zhǔn)的發(fā)展使得功耗、延遲最小化，并解決了典型視頻鏈接的不對(duì)稱特性。我們看到C-PHY正在普及，主要是在傳感器中。顯示器方面的應(yīng)用正在增長(zhǎng)，但卻滯后于傳感器?！?? 串行接口在視覺(jué)上勝過(guò)并行接口。Patel說(shuō)：“對(duì)于并行接口，如果是8位或10位輸出，基本上有12行，然后一些其他的信號(hào)，這是傳統(tǒng)的數(shù)據(jù)總線。串行接口大致是MIPI聯(lián)盟的。它們基本上使用串行差分引腳和輸出。一條線路包括兩個(gè)數(shù)據(jù)對(duì)，然后是時(shí)鐘對(duì)，所以是四個(gè)引腳，但實(shí)際上，與并行相比，這四個(gè)引腳能夠輸出更高的吞吐量?！?? 并行輸出有一個(gè)TTL（transistor-transistor logic）擺動(dòng)，增加了傳輸時(shí)間。Patel說(shuō)：“當(dāng)你從零電壓切換到更高的電壓時(shí)，無(wú)論是1.2還是1.5，信號(hào)的上升和下降都需要時(shí)間。

挑戰(zhàn)在于你能達(dá)到的速度，但從簡(jiǎn)單的角度來(lái)看，并行是最簡(jiǎn)單的輸出方式，因?yàn)樾袠I(yè)中的大多數(shù)微控制器都有某種類型的并行輸入數(shù)據(jù)總線。你可以直接把這些連接起來(lái)。” ? 當(dāng)涉及到高分辨率、高幀輸出時(shí)，當(dāng)速度提高時(shí)，并行又出現(xiàn)了不足?！叭绻阆朐诟叻直媛氏螺敵龈邘?，比如在30幀或60幀下輸出4K或2K，并行端口將很難輸出如此高的幀率。那會(huì)是很大的功率。所以這些都是通過(guò)串行接口，也就是MIPI接口來(lái)處理的。我們看到越來(lái)越多的新微控制器也加入了MIPI接口?！??

在視覺(jué)或圖像信號(hào)處理器內(nèi)部，數(shù)據(jù)處理可能與SoC內(nèi)部不同。Arteris IP的CMO Michal Siwinski說(shuō)：“你將視覺(jué)作為一種傳感器，這實(shí)際上是非常數(shù)據(jù)密集型的，能夠獲取這種信息，并確保能夠捕獲它，信息是連接的，數(shù)據(jù)從芯片的這部分流向其他部分，這樣你就可以計(jì)算它，解析它，并從中學(xué)習(xí)。視覺(jué)可能比其他類型的傳感器產(chǎn)生更多的數(shù)據(jù)。

由于我們能夠很好地處理這個(gè)問(wèn)題，其他的事情基本上都很簡(jiǎn)單。我們基本上提供了底層的SoC基礎(chǔ)設(shè)施。” ? VPU和ISP，視覺(jué)IP?? 電信號(hào)一旦離開圖像傳感器，就在VPU或ISP或兩者中進(jìn)行處理。 ? 典型的計(jì)算機(jī)視覺(jué)應(yīng)用就是攝像頭（帶圖像傳感器）。攝像頭有一些預(yù)處理。它捕獲數(shù)據(jù)幀，檢測(cè)對(duì)象，跟蹤識(shí)別，然后進(jìn)行一些后處理。系統(tǒng)設(shè)計(jì)者已經(jīng)使用MPU、CPU和GPU來(lái)處理圖像。圖形處理器是為3D和游戲圖形設(shè)計(jì)的，最初在處理圖像方面有一些優(yōu)勢(shì)。但現(xiàn)在有VPU，利用AI加速器處理圖像。AI只從信號(hào)中提取必要的數(shù)據(jù)，并可以為圖像識(shí)別編程，或幫助終端用戶找到有意義的數(shù)據(jù)或提高其用例的圖像質(zhì)量。 ? VPU的例子有： ?

Flex Logix的InterX內(nèi)置了AI模型。圖像處理是Flex Logix AI推理產(chǎn)品的細(xì)分市場(chǎng)之一。該公司的營(yíng)銷高管說(shuō)：“我們非常專注于高清實(shí)時(shí)圖像處理。我們已經(jīng)開發(fā)了針對(duì)這一領(lǐng)域優(yōu)化的芯片（機(jī)器視覺(jué)、計(jì)算機(jī)視覺(jué)）?！?/p>

Renesas的RZ/V系列是MPU，使用Renesas的專有AI加速器，低功耗DRP-AI（Dynamically Reconfigurable Processor）加速器。RZ/V2M具有支持4K/30fps的高性能ISP；RZ/V2L有一個(gè)3D圖形引擎。OpenCV加速器使它與各種圖像處理設(shè)備兼容。兩個(gè)主要的64位CPU是Arm的Cortex-A55（1.2GHz）或Arm Cortex-A53（1.0GHz）Dual。子CPU是Arm Cortex-M33（200MHz）Single。Renesas的企業(yè)基礎(chǔ)設(shè)施事業(yè)部副總裁Shigeki Kato在一份聲明中表示：“對(duì)于想要實(shí)現(xiàn)機(jī)器學(xué)習(xí)的嵌入式系統(tǒng)開發(fā)者來(lái)說(shuō)，挑戰(zhàn)之一是要跟上不斷發(fā)展的最新AI模型。通過(guò)新的DRP-AI TVM工具，我們?yōu)樵O(shè)計(jì)師提供了擴(kuò)展AI框架和AI模型的選項(xiàng)，這些AI框架和AI模型可以轉(zhuǎn)換為可執(zhí)行格式，允許他們使用新的AI模型為嵌入式設(shè)備帶來(lái)最新的圖像識(shí)別能力?！?/p>

英特爾的Movidius（VPU）包括一個(gè)神經(jīng)計(jì)算引擎。

ST為STM32Cube提供了AI和計(jì)算機(jī)視覺(jué)功能包。FP-AI-VISION1功能包運(yùn)行在基于Arm核的STM32 MCU上。

傳統(tǒng)上，ISP用于數(shù)碼相機(jī)中處理為人類觀看而優(yōu)化的數(shù)字圖像。ISP可以應(yīng)用白平衡過(guò)濾器、原始數(shù)據(jù)校正、鏡頭校正、動(dòng)態(tài)范圍校正、降噪、銳化、數(shù)字圖像穩(wěn)定和各種其他調(diào)整。ISP也正在適應(yīng)計(jì)算機(jī)視覺(jué)應(yīng)用。ISP可以是將用于SoC或圖像傳感器本身的IC或IP核，通常與VPU結(jié)合使用。一個(gè)ISP的例子是Arm的Mali-C52和Mali-C32 ISP，用于IoT設(shè)備的實(shí)時(shí)、更高的圖像質(zhì)量。 ? VPU和ISP一起使用，可以產(chǎn)生比單獨(dú)使用VPU更高效的計(jì)算機(jī)視覺(jué)處理。 ? 此外，EDA行業(yè)還提供視覺(jué)系統(tǒng)的IP和創(chuàng)建和測(cè)試視覺(jué)系統(tǒng)設(shè)計(jì)的工具。按供應(yīng)商分類，應(yīng)用包括: ?

Cadence：Tensilica Vision DSP用于汽車SoC和其他用例。

Synopsis：DesignWare ARC EV處理器，用于嵌入式視覺(jué)應(yīng)用的可編程和可配置IP核。

Ansys：用于檢查計(jì)算機(jī)視覺(jué)系統(tǒng)的工具，例如它的SCADE vision，它可以檢測(cè)視覺(jué)系統(tǒng)的問(wèn)題。在汽車領(lǐng)域，SCADE Vision|Driving Perception Software Testing可自動(dòng)識(shí)別自動(dòng)駕駛汽車基于AI的感知系統(tǒng)的脆弱性。Ansys AVxcelerate Sensors|AV Sensor Simulation Software測(cè)試自動(dòng)駕駛汽車中的ADAS傳感器。

預(yù)先訓(xùn)練的AI圖像推理模型是提取圖像意義的一種經(jīng)濟(jì)有效的方法。Flex Logix為完成特定任務(wù)的視覺(jué)應(yīng)用提供預(yù)先訓(xùn)練的模型，如硬帽檢測(cè)、車牌讀取、車輛檢測(cè)、無(wú)人機(jī)、PCB缺陷檢測(cè)等。這種名為EasyVision的AI模型與Flex Logix的InferX AI邊緣加速器協(xié)同工作。 ? Fuller說(shuō)：“算法已經(jīng)存在，訓(xùn)練也已經(jīng)進(jìn)行，但你還想把它構(gòu)建成一種健壯且具有成本效益的東西。這就是這種服務(wù)非常有意義的地方，因?yàn)榭茖W(xué)開發(fā)轉(zhuǎn)化為工程產(chǎn)品，是一個(gè)仍然需要完成的過(guò)程，也是我們真正專注于幫助客戶完成的事情?！??

邊緣視覺(jué)處理??

雖然圖像傳感器可能不會(huì)內(nèi)置在邊緣的處理器中，但圖像傳感器正在與新的處理器和SoC組合，在邊緣使用AI進(jìn)行圖像處理。如前所述，F(xiàn)lex Logix是開發(fā)邊緣圖像處理能力的初創(chuàng)公司之一。其他還有SiMa.ai，該公司利用Synopsys的DesignWare ARC嵌入式視覺(jué)處理器和Arm的計(jì)算IP，創(chuàng)建了計(jì)算機(jī)視覺(jué)的MLSoC平臺(tái)。其他致力于視覺(jué)前沿AI的初創(chuàng)公司包括Ambarella、Brainchip和Hailo。

帶有AI的視覺(jué)邊緣設(shè)備的一個(gè)例子是Au-Zone的微型AR/VR相機(jī)，采用了NXP的i.MX?RT1064 MCU（基于Arm Cortex-M7視覺(jué)），最高可達(dá)600MHz。Au-Zone的攝像頭也是為IoT設(shè)計(jì)的。NXP的i.MX?RT1064 MCU是NXP用于IoT和邊緣AI的RT Crossover系列的一部分，其中包括音頻和視覺(jué)應(yīng)用。

但終極邊緣仍然是AR/VR。經(jīng)過(guò)20多年的研發(fā)，這一市場(chǎng)才剛剛開始進(jìn)入消費(fèi)電子行業(yè)的視野，這在很大程度上是由于其所用芯片在速度、功耗和價(jià)格開始進(jìn)入合理區(qū)間。

小型化，多層堆疊????

攝像頭及其集成電路正變得越來(lái)越小、越來(lái)越復(fù)雜，圖像傳感器也變得更多層。其中一個(gè)驅(qū)動(dòng)力是眼鏡或頭戴式設(shè)備中的AR/VR。例如，需要多個(gè)微型攝像頭聚焦于人類互動(dòng)的某個(gè)特定方面?？赡苄枰慌_(tái)單獨(dú)的攝像頭來(lái)聚焦一個(gè)人的嘴唇、眼睛和手勢(shì)。

隨著AR/VR技術(shù)的發(fā)展，眼鏡的邊框需要多個(gè)攝像頭。OmniVision的Patel說(shuō)：“性能和尺寸的需求非常重要。我們正在對(duì)OG0TB的全球快門圖像傳感器進(jìn)行采樣，該傳感器使用三層疊加?！?/p>

圖4：OmniVision的三層圖像傳感器OG0TB，除了像素晶圓，它還具有模擬、邏輯、ADC、MIPI/CPHY（來(lái)源:OmniVision）

OmniVision的Patel說(shuō)：“通過(guò)三層堆疊，我們可以制作1.6*1.6毫米的攝像頭，而這種尺寸可以讓你把它們放在下一代AR/VR設(shè)備中。在未來(lái)，這些層可能使傳感器避免傳輸不需要的數(shù)據(jù)。長(zhǎng)期愿景是我們經(jīng)歷層層疊加的原因之一。你可以想象，在未來(lái)，我們可以把一些模塊、CNN網(wǎng)絡(luò)，或其他一些數(shù)字功能，你需要把所有的原始數(shù)據(jù)發(fā)送給他們。但如果目的只是為了眼球追蹤，為什么要發(fā)送所有的原始數(shù)據(jù)。相反，只發(fā)送x、y坐標(biāo)。如果傳感器本身有這個(gè)處理模塊，我們就能實(shí)現(xiàn)這個(gè)目標(biāo)，這將有助于使用主機(jī)上的帶寬，因?yàn)槟憧梢韵胂笥卸嗌贁z像頭在爭(zhēng)奪這個(gè)接口?！?/p>

處理多攝像頭數(shù)據(jù)的AI正在被設(shè)計(jì)成芯片。Renesas剛剛在其RZ/V系列中推出了一款支持AI的微處理器，可以對(duì)來(lái)自多個(gè)攝像頭的圖像數(shù)據(jù)進(jìn)行AI處理，以提高視覺(jué)AI應(yīng)用的圖像識(shí)別精度，如配有AI的網(wǎng)關(guān)、視頻服務(wù)器、安檢門、POS終端和機(jī)械臂。

在更大的系統(tǒng)中，比如汽車、無(wú)人機(jī)、機(jī)器人，多攝像頭和視覺(jué)系統(tǒng)是常態(tài)，盡管它們并不總是微型的。Arteris IP的高級(jí)技術(shù)營(yíng)銷經(jīng)理Paul Graykowski表示，“通常有不止一個(gè)視覺(jué)系統(tǒng)。通常情況下，你是通過(guò)一系列攝像頭等方式傳送數(shù)據(jù)，你必須確保有足夠的帶寬和延遲來(lái)處理這種情況?！?/p>

如果是無(wú)人機(jī)，它使用攝像頭作為視覺(jué)傳感器來(lái)避障?！叭绻陲w行，處理數(shù)據(jù)的速度不夠快，就會(huì)發(fā)生碰撞。我們必須確保在數(shù)據(jù)路徑中有緊密耦合，以確保我們?yōu)檫@些處理器提供實(shí)時(shí)數(shù)據(jù)。我們顯然也不希望他們被閑置。當(dāng)你在處理視覺(jué)時(shí)，優(yōu)化性能是關(guān)鍵，及時(shí)地獲得數(shù)據(jù)，這樣你就可以對(duì)數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，然后做出相應(yīng)的反應(yīng)。無(wú)論是ADAS、無(wú)人機(jī)還是機(jī)器人，在任何類型的視覺(jué)系統(tǒng)中，獲得實(shí)時(shí)數(shù)據(jù)是非常重要的?！?/p>

盡可能接近實(shí)時(shí)的反應(yīng)是系統(tǒng)的理想和目的。

Graykowski說(shuō)：“它能夠優(yōu)化NoC的配置，并具有靈活性，可以指定‘我必須將數(shù)據(jù)從A點(diǎn)移動(dòng)到B點(diǎn)，它必須在這個(gè)時(shí)間到達(dá)那里’，以及所有這些服務(wù)質(zhì)量參數(shù)，以確保實(shí)現(xiàn)目標(biāo)?！?/p>

但實(shí)時(shí)并不總是必需的。有時(shí)候讓系統(tǒng)“思考”是可以的。系統(tǒng)設(shè)計(jì)師需要知道什么數(shù)據(jù)需要被感知、通過(guò)AI加速器移動(dòng)、通過(guò)CPU進(jìn)行響應(yīng)，所有這些都是近乎實(shí)時(shí)的。無(wú)人機(jī)就是一個(gè)很好的例子。無(wú)人機(jī)可能需要一段時(shí)間來(lái)改變路線，因?yàn)樗鼤?huì)考慮各種可能性。不過(guò)，一架在空中的無(wú)人機(jī)可能不會(huì)像一輛在地面上的汽車那樣面臨迫在眉睫的危險(xiǎn)，它在ADAS中做實(shí)時(shí)處理以避免碰撞。

“視覺(jué)擁有來(lái)自多個(gè)來(lái)源的大量數(shù)據(jù)。它基本上是從所有這些來(lái)源獲取數(shù)據(jù)，并很快將其送到處理單元或AI單元，這樣它們就可以對(duì)其進(jìn)行分析。一旦他們有了分析并確定了發(fā)生了什么，這將被傳遞給CPU去做一些思考。你需要一個(gè)非?？焖俚臄?shù)據(jù)鏈來(lái)及時(shí)移動(dòng)數(shù)據(jù)，因?yàn)榇蠖鄶?shù)視覺(jué)系統(tǒng)都是實(shí)時(shí)對(duì)事物做出反應(yīng)。這是圍繞視覺(jué)進(jìn)行優(yōu)化的關(guān)鍵，及時(shí)移動(dòng)數(shù)據(jù)。顯然，面積、功率和性能總是要考慮的因素，但現(xiàn)實(shí)情況是，你必須確保你設(shè)計(jì)的NoC不會(huì)耗盡你的AI引擎，這樣它們才能進(jìn)行所需的計(jì)算?！?/p>

圖像傳感器越來(lái)越小，像素和層數(shù)越來(lái)越多，而視覺(jué)處理SoC現(xiàn)在增加了AI加速器和邊緣AI處理。攝像頭越來(lái)越多、越來(lái)越小、越來(lái)越智能和高效。視覺(jué)系統(tǒng)涵蓋了從手機(jī)攝像頭到工業(yè)自動(dòng)化、汽車、醫(yī)療、安全等各個(gè)領(lǐng)域。

但是，系統(tǒng)使用者是計(jì)算機(jī)、機(jī)器還是人對(duì)系統(tǒng)設(shè)計(jì)有很大的影響，因?yàn)橄到y(tǒng)設(shè)計(jì)可以舍棄不必要的數(shù)據(jù)。此外，傳感器、AI和ML視覺(jué)處理的新選擇將幫助團(tuán)隊(duì)進(jìn)行更精簡(jiǎn)的視覺(jué)系統(tǒng)設(shè)計(jì)，并獲得更多更高質(zhì)量的圖像。

[參考文章]

AI Feeds Vision Processor, Image Sensor Boom — Susan Rambo

編輯：黃飛