推動邊緣視覺計算, NPU IP is all you need?

從可視門鈴到現(xiàn)代汽車，依賴攝像頭的應用種類不斷增加。對于許多這類系統(tǒng)而言，實時獲得高分辨率圖像正是保障系統(tǒng)有效運行的關鍵。畢竟，如果門鈴無法清晰地識別偷走門口快遞的小偷，或者汽車無法準確檢測道路障礙物，它們的價值將大大降低。如今，深度學習模型已被越來越多的開發(fā)者用來增強這些產(chǎn)品所需的視覺處理能力。

視覺處理應用逐漸開始利用人工智能（AI）來提高圖像質(zhì)量或?qū)崿F(xiàn)物體檢測等高級AI功能。原本，計算機視覺應用僅依靠高級數(shù)字信號來處理操作（DSP），現(xiàn)如今已經(jīng)開始將DSP和AI結(jié)合起來運用。目前，神經(jīng)處理器IP解決方案也已問世，它具有超低功耗和超小尺寸，支持包括Transformer在內(nèi)的最新AI神經(jīng)網(wǎng)絡，每秒可執(zhí)行高達2萬億次運算（TOPS）。本文將進一步討論新思科技具有1,024個MAC的ARC NPX6-1K NPU處理器IP如何幫助開發(fā)者在芯片設計中引入更多的智能功能。

AI Transformer + 神經(jīng)網(wǎng)絡 = 令人驚嘆的視覺處理

各類產(chǎn)品對人工智能的需求與日俱增，在計算成像領域尤為明顯。智能手機已經(jīng)普遍集成了攝像頭，且能夠提供高質(zhì)量的圖像，這也為將攝像頭集成到從門鈴到醫(yī)療設備等各種產(chǎn)品鋪平了道路。計算成像有兩個分支：

• 計算攝影，涉及使用數(shù)字計算來捕獲和處理圖像。
  

• 計算機視覺，涉及打造能像人類一樣處理、分析和理解視覺數(shù)據(jù)的數(shù)字系統(tǒng)

事實證明，AI驅(qū)動的計算機視覺技術是實時提供準確、高分辨率圖像的關鍵技術。過去，卷積神經(jīng)網(wǎng)絡（CNN）是計算機視覺應用領域的主流算法。神經(jīng)網(wǎng)絡一直普遍用于物體檢測，如今在圖像質(zhì)量改進方面發(fā)揮著重要作用，接管多項曾經(jīng)由數(shù)字信號處理器完成的任務。例如，神經(jīng)網(wǎng)絡可以嵌入關于什么是優(yōu)質(zhì)圖像的知識，通過超分辨率網(wǎng)絡將視頻流分辨率提高4倍，并可用于減少噪點和提高弱光性能。AI驅(qū)動的計算機視覺技術還擁有包括模糊降低、高動態(tài)范圍和寬動態(tài)范圍等功能。

如今，最高精度的方案是Transformer。該AI模型最初用于自然語言處理，比如翻譯和問答。Transformer基于自注意力機制，相比CNN，它更擅長學習復雜的模式，實現(xiàn)準確的物體檢測，也能更好地理解情境。如果結(jié)合使用這兩種深度學習模型，可以顯著增強計算機視覺和圖像處理精度。

將AI驅(qū)動的視覺處理集成到更廣泛的應用中

全新ARC NPX6-1K NPU IP具有1,024個MAC，為開發(fā)者提供了一個很好的入口點，讓開發(fā)者能夠為功耗和面積受限的視覺處理設計添加最新神經(jīng)網(wǎng)絡（特別是Transformer）的支持。該IP還提供了另一個版本，即ARC NPX-1KFS NPU IP，其中提供了先進的硬件安全功能，有助于汽車設計更快通過ISO 26262認證。NPX6-1K和1KFS處理器能夠與新思科技ARC VPX2 DSP處理器IP緊密集成，從而為DSP 和神經(jīng)網(wǎng)絡Transformer 提供市場上最節(jié)省面積和功耗的AI+DSP 解決方案。NPX6和VPX解決方案組合可以向上擴展，并且可以混合和匹配使用不同的配置，從而支持大型DSP+小型AI，或是大型AI+小型DSP等。

具有1,024個MAC的神經(jīng)網(wǎng)絡處理器支持多種用例。以下是其中一些示例：

• 在攝像頭應用中，在圖像信號處理器（ISP）之前處理原始數(shù)據(jù)，以實現(xiàn)更好的降噪，從而提高圖像質(zhì)量，而不是使用ISP處理原始數(shù)據(jù)，然后在后期處理過程中應用AI
  

• 通過運行神經(jīng)網(wǎng)絡算法，可以將顯示的圖像精度提高4倍，同時大幅降低功耗和面積

• 在視覺應用中直接處理來自圖像傳感器的流數(shù)據(jù)，從而大幅減少無DRAM架構(gòu)的面積和功耗

• 使用成本較低的攝像頭鏡頭，然后借助神經(jīng)網(wǎng)絡算法來提高圖像質(zhì)量，或在汽車應用中，提高諸如物體檢測等功能的準確性

• 將AI集成到汽車雷達和激光雷達設計中，以支持物體檢測和自動剎車等應用

• 為汽車環(huán)境中使用的虛擬機提供支持，幫助分隔安全關鍵型和非安全關鍵型任務，并簡化認證要求

除上述用例外，還有許多其他使用場景，ARC NPX6-1K等處理器的出現(xiàn)開辟了將AI集成到眾多新應用中的可能性。

屢獲殊榮的可擴展NPU IP

隨著新成員的加入，ARC NPX NPU IP系列現(xiàn)已從1K擴展到96K MAC，并能夠在單個SoC上提供高達3,500 TOPS的性能。新思科技ARC MetaWare MX開發(fā)工具包提供一站式工具鏈，可加速IP的應用開發(fā)，并自動為算法分配MAC資源，以實現(xiàn)高效處理。今年早春的2023年邊緣人工智能與視覺產(chǎn)品年度大獎中，此IP榮獲由邊緣人工智能與視覺聯(lián)盟頒發(fā)的“最佳邊緣人工智能處理器”獎項。