如何設(shè)計更智能的Edge AI

作為一名擁有 40 多年半導(dǎo)體業(yè)務(wù)研發(fā)總監(jiān)和 CMO 經(jīng)驗的工程師，我認為我自己和我的同行是合乎邏輯的。然而，我們當(dāng)中有多少人可以誠實地說我們沒有被諸如“我的小部件比你的快？”這樣的說法所誘惑?？峙逻@只是人性，尤其是當(dāng)我們對你的專業(yè)知識沒有信心來調(diào)查這些說法時。

問題始終是一個定義：我如何定義“更快”或“更低功率”或“更便宜”？這是基準試圖解決的問題——它是關(guān)于具有一致的上下文和外部標(biāo)準，以確保您將同類與同類進行比較。任何使用基準測試的人都非常清楚這一點（aiMotive 誕生于一家領(lǐng)先的 GPU 基準測試公司）。

在嘗試比較汽車 AI 應(yīng)用的硬件平臺時，解決這種轟炸式索賠的需求從未像現(xiàn)在這樣緊迫。

10 TOPS 什么時候不是 10 TOPS？

無論是否有專用的 NPU，大多數(shù) SoC 都將其執(zhí)行 NN 工作負載的能力稱為 TOPS：每秒 Tera 操作。這只是 NPU（或整個 SoC）原則上每秒可以執(zhí)行的算術(shù)運算總數(shù)，無論全部集中在專用 NPU 中還是分布在多個計算引擎中，例如 GPU、CPU 矢量協(xié)處理器、或其他加速器。

但是，沒有任何硬件執(zhí)行引擎能以 100% 的效率執(zhí)行任何工作負載的各個方面。對于神經(jīng)網(wǎng)絡(luò)推理，某些層（例如池化或激活）在數(shù)學(xué)上與卷積非常不同。在卷積本身（或其他層，如池化）可以開始之前，數(shù)據(jù)必須重新排列或從一個地方移動到另一個地方。其他時候，NPU 可能需要等待來自控制它的主機 CPU 的新指令或數(shù)據(jù)，每個層甚至每個數(shù)據(jù)塊。這些都導(dǎo)致完成的計算更少，從而限制了理論上的最大容量。

硬件利用率——不是它看起來的樣子

許多 NPU 供應(yīng)商會引用硬件利用率來表明他們的 NPU 執(zhí)行給定 NN 工作負載的情況。這基本上是說，“這就是我的 NPU 的理論容量有多少被用于執(zhí)行 NN 工作負載?！?當(dāng)然，這告訴我我需要知道什么。

不幸的是沒有。硬件利用率的問題是定義之一：數(shù)量完全取決于 NPU 供應(yīng)商選擇如何定義它。事實上，硬件利用率和 TOPS 的問題在于它們只告訴你硬件引擎理論上能夠?qū)崿F(xiàn)什么，而不是它實現(xiàn)的程度。

這可能會導(dǎo)致一些誤導(dǎo)性信息。下面的圖 1 顯示了我們在額定 4 TOPS 的 aiWare3P NPU 與另一個額定為 8 TOPS 的知名 NPU 之間進行的比較。

圖 1：兩個汽車推理 NPU 的利用率與效率比較

對于兩個不同的知名基準，競爭對手 X NPU 聲稱 8 TOPS 容量，而 aiWare3P 的 4 TOPS。這應(yīng)該意味著它將提供大約 2 倍于 aiWare3P 的 fps 性能。然而，實際上，情況正好相反：aiWare3P 的性能提高了 2 到 5 倍，盡管它只是聲稱的 TOPS 的一半！

結(jié)論：TOPS 是衡量 AI 硬件能力的一種非常糟糕的方法；硬件利用率幾乎與 TOPS 一樣具有誤導(dǎo)性。

NPU 效率和自主性：優(yōu)化 PPA 的關(guān)鍵

這就是為什么我認為您必須根據(jù)執(zhí)行一組代表性工作負載時的效率而不是原始理論硬件容量來評估 NPU 能力。效率定義為為一幀執(zhí)行特定 CNN 需要多少操作，占聲稱的 TOPS 總數(shù)的百分比。該數(shù)字僅基于定義任何 CNN 的基礎(chǔ)數(shù)學(xué)算法計算得出，無論 NPU 實際如何評估它。它比較了實際與聲稱的性能，這才是真正重要的。

展示出高效率的 NPU 意味著它將充分利用用于實現(xiàn)它的每平方毫米硅片，這意味著更低的芯片成本和更低的功耗。效率可為汽車 SoC 或 ASIC 提供最佳 PPA（性能、功率和面積）。

NPU 的自治性是另一個重要因素。NPU 在主機 CPU 上放置多少 CPU 負載才能達到最高性能？這與內(nèi)存子系統(tǒng)有什么關(guān)系？NPU 必須被視為任何 SoC 或 ASIC 中的大塊——它對芯片和子系統(tǒng)其余部分的影響不容忽視。

結(jié)論

在設(shè)計任何 SoC 或 ASIC 汽車時，AI 工程師必須專注于構(gòu)建能夠可靠執(zhí)行其算法的生產(chǎn)平臺，同時實現(xiàn)卓越的 PPA：最低功耗、最低成本、更高性能。他們還必須在設(shè)計周期的早期就選擇硬件平臺，通常是在開發(fā)最終算法之前。

效率是實現(xiàn)這一目標(biāo)的最佳方式；TOPS 和硬件利用率都不是好的衡量標(biāo)準。如果要滿足苛刻的生產(chǎn)目標(biāo)，評估 NPU 的自主性也至關(guān)重要。

審核編輯：郭婷