使用神經(jīng)處理單元集群轉(zhuǎn)換邊緣AI

隨著人工智能領(lǐng)域獲得牽引力，這些設(shè)備變得越來越計(jì)算和耗電。隨后，邊緣設(shè)備上的處理負(fù)載隨著系統(tǒng)架構(gòu)的性能和復(fù)雜性而顯著增加。因此，在系統(tǒng)中灌輸了更高分辨率的圖像和更復(fù)雜的算法，隨著對AI處理的需求不斷增長，以實(shí)現(xiàn)高TOPS性能，這需要進(jìn)一步優(yōu)化。

Synopsys 發(fā)布了神經(jīng)處理單元 （NPU）、知識產(chǎn)權(quán) （IP） 內(nèi)核和工具鏈，以滿足 AI 片上系統(tǒng) （SoC） 中日益復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型的性能需求。其新的設(shè)計(jì)軟件 ARC NPX6 和 NPX6FS NPU IP 可處理實(shí)時(shí)計(jì)算的需求，同時(shí)為 AI 應(yīng)用消耗超低功耗。此外，該公司的新 MetaWare MX 開發(fā)工具提供了一個(gè)完整的編譯環(huán)境，具有自動(dòng)化神經(jīng)網(wǎng)絡(luò)算法分區(qū)，可最大限度地提高最新 NPU 上應(yīng)用軟件開發(fā)的資源效率。

使用新的設(shè)計(jì)軟件 ARC NPX6 和 NPX6FS NPU IP 以及元軟件 MX 開發(fā)工具包，設(shè)計(jì)人員可以利用最新的神經(jīng)網(wǎng)絡(luò)模型，滿足不斷升級的性能期望，并加快其下一代智能 SoC 的上市時(shí)間。ARC NPX6 NPU IP 系列包括許多處理深度學(xué)習(xí)算法覆蓋的產(chǎn)品，包括對象識別、圖像質(zhì)量增強(qiáng)和場景分割等計(jì)算機(jī)視覺任務(wù)，以及音頻和自然語言處理等大型 AI 應(yīng)用。設(shè)計(jì)中的單個(gè)內(nèi)核可以從 4K MAC 擴(kuò)展到 96K MAC，以實(shí)現(xiàn)超過 250 TOPS 和超過 440 TOPS 的單個(gè) AI 引擎性能，并且很少。

NPX6 NPU IP 包含對多達(dá) 8 個(gè) NPU 的多 NPU 群集的硬件和軟件支持，稀疏性為 3500 TOPS。由于硬件和軟件中的高級帶寬功能以及內(nèi)存層次結(jié)構(gòu)（每個(gè)內(nèi)核中包含L1內(nèi)存以及用于訪問常見L2內(nèi)存的高性能，低延遲連接），可以擴(kuò)展到大量MAC數(shù)量。對于受益于神經(jīng)網(wǎng)絡(luò)內(nèi)部 BF16 或 FP16 的應(yīng)用，提供了可選的張量浮點(diǎn)單元。

MetaWare MX 開發(fā)工具包為應(yīng)用軟件開發(fā)提供了軟件編程環(huán)境，包括神經(jīng)網(wǎng)絡(luò)軟件開發(fā)工具包 （NN SDK） 和虛擬模型支持。NN SDK 會(huì)自動(dòng)將使用流行框架（如巨炬、張量流或 ONNX）訓(xùn)練的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為 NPX 優(yōu)化的可執(zhí)行代碼。

這個(gè)概念是，NPX6 NPU處理器IP隨后可用于制造各種產(chǎn)品，從幾個(gè)TOPS到數(shù)千個(gè)TOPS，所有這些都可以使用單個(gè)工具鏈編寫。

NPX6 網(wǎng)絡(luò)輸出電源的主要特性：

可擴(kuò)展的實(shí)時(shí) AI/神經(jīng)處理器 IP，具有多達(dá) 3，500 個(gè) TOPS 的性能，支持 CNN、RNN/LSTM、變壓器、推薦器網(wǎng)絡(luò)和其他神經(jīng)網(wǎng)絡(luò)。

功率效率（高達(dá) 30 TOPS/W）在業(yè)界無與倫比。

卷積加速器的 1-24 個(gè)內(nèi)核，增加了 4K MAC/內(nèi)核

張量加速器，支持張量運(yùn)算符集體系結(jié)構(gòu)并允許變量激活 （TOSA）

軟件開發(fā)套件

用于自動(dòng)混合模式量化的工具

降低帶寬的架構(gòu)和軟件工具特性

通過并行處理各個(gè)層來減少延遲。

設(shè)計(jì)軟件 ARC VPX 矢量 DSP 無縫集成。

生產(chǎn)力很高。張量流和巨炬框架，以及ONNX交換標(biāo)準(zhǔn)，由元軟件MX開發(fā)工具包支持。

此外，ARC NPX6FS NPU IP 符合 ISO 26262 ASIL D 標(biāo)準(zhǔn)，用于隨機(jī)硬件故障檢測和系統(tǒng)功能安全開發(fā)流程。這些處理器具有符合 ISO 26262 的特定安全機(jī)制，可處理下一代區(qū)域性設(shè)計(jì)的混合關(guān)鍵性和虛擬化需求，以及全面的安全文檔。

ARC 元軟件 MX 開發(fā)工具包包括神經(jīng)網(wǎng)絡(luò)軟件開發(fā)工具包 （SDK）、編譯器和調(diào)試器、虛擬平臺 SDK、運(yùn)行時(shí)和庫以及高級仿真模型。它提供了一個(gè)統(tǒng)一的工具鏈環(huán)境來加速應(yīng)用程序開發(fā)，并在MAC資源之間智能地劃分算法以實(shí)現(xiàn)最佳處理。MetaWare MX 安全開發(fā)工具包包含安全手冊和安全指南，可幫助開發(fā)人員滿足 ISO 26262 標(biāo)準(zhǔn)，并為安全關(guān)鍵型汽車應(yīng)用的 ISO 26262 合規(guī)性測試做準(zhǔn)備。

利用 NPU 集群加速邊緣 AI 應(yīng)用

為了滿足人工智能應(yīng)用不斷增長的性能和復(fù)雜需求，恩智浦NPU IP核提供高性能、可擴(kuò)展的實(shí)時(shí)人工智能和神經(jīng)處理IP，具有多達(dá)3500個(gè)TOPS，支持各種神經(jīng)網(wǎng)絡(luò)，如CNN、RNN/LSTM、變壓器和推薦器網(wǎng)絡(luò)。

此外，它通過并行處理各個(gè)層來減少延遲。此外，高生產(chǎn)力的元軟件 MX 開發(fā)工具包支持張量流和巨魔框架以及 ONNX 交換格式。

審核編輯：郭婷