開發(fā)TinyML系統(tǒng)必須考慮的四大指標(biāo)

最近，隨著機器學(xué)習(xí)（ML, Machine Learning）的進步出現(xiàn)了分歧，分為兩個規(guī)模：一個是傳統(tǒng)的大型ML（云ML），模型越來越大，以實現(xiàn)準(zhǔn)確性方面的最佳性能；另外一個是新興的微型機器學(xué)習(xí)（TinyML）領(lǐng)域，其中模型被縮小以適應(yīng)受限設(shè)備以超低功耗執(zhí)行。由于TinyML是一個新興領(lǐng)域，本篇文章將討論在開發(fā)TinyML和當(dāng)前行業(yè)標(biāo)準(zhǔn)納入TinyML設(shè)備基準(zhǔn)測試的系統(tǒng)時要考慮的各種參數(shù)。

系統(tǒng)指標(biāo)要求根據(jù)正在開發(fā)的用例會有很大差異。我們來看下四個指標(biāo)：準(zhǔn)確性、功耗、延遲和內(nèi)存要求。

準(zhǔn)確性

在過去十年中，準(zhǔn)確性一直被用作衡量機器學(xué)習(xí)模型性能的主要指標(biāo)，較大的模型往往優(yōu)于較小的。在TinyML系統(tǒng)中，準(zhǔn)確性也是一個關(guān)鍵指標(biāo)，但與云ML相比，與其他指標(biāo)的平衡更為必要。

功耗

由于TinyML系統(tǒng)預(yù)計將長時間使用電池運行，因此考慮TinyML模型的功耗（通常為mW量級）至關(guān)重要。TinyML模型的功耗將取決于可用的硬件指令集，例如，由于采用了氦氣指令集，ARM Cortex-M85比ARM Cortex-M7更節(jié)能。此外，功耗還取決于用于運行模型的底層軟件，即推理引擎。例如，與參考內(nèi)核相比，使用CMSIS-NN庫可顯著提高性能。

延遲

TinyML系統(tǒng)在端點運行并且不需要云連接，因此，此類系統(tǒng)的推理速度明顯優(yōu)于基于云的系統(tǒng)。在某些用例中，擁有超高的推理速度對于生產(chǎn)就緒至關(guān)重要（ms為單位）。與功耗指標(biāo)類似，延遲取決于底層硬件和軟件。

內(nèi)存

內(nèi)存是TinyML的一大障礙，它擠壓了ML模型以適應(yīng)資源受限的MCU（內(nèi)存小于1MB的MCU更常見）。所以，降低內(nèi)存需求一直是一個挑戰(zhàn)。在模型開發(fā)過程中，會使用許多技術(shù)，例如：剪枝和量化。此外，底層軟件發(fā)揮著重要作用，因為更好的推理引擎可以更有效地優(yōu)化模型（更好的內(nèi)存管理和用于執(zhí)行層的庫）。

由于這四個參數(shù)是相關(guān)的（往往是準(zhǔn)確性和內(nèi)存之間的負相關(guān)，但內(nèi)存、延遲和功耗之間存在正相關(guān)），改進一個參數(shù)可能會影響其他參數(shù)。在開發(fā)TinyML系統(tǒng)時，仔細考慮這些因素很重要。一般的經(jīng)驗法則是根據(jù)用例定義所需的必要模型準(zhǔn)確性，將各種開發(fā)的模型與其他三個指標(biāo)進行比較。如下圖所示，給定已訓(xùn)練的各種模型的虛擬示例。

不同標(biāo)記形狀表示具有不同超參數(shù)的模型架構(gòu)（超參數(shù)，是指機器學(xué)習(xí)算法中的調(diào)優(yōu)參數(shù)，需要人為設(shè)定）。這些超參數(shù)往往會隨著架構(gòu)大小的增加而提高準(zhǔn)確性，但卻犧牲了其他3個指標(biāo)。根據(jù)系統(tǒng)定義的用例，顯示一個典型的相關(guān)區(qū)域，由此，只有一個模型具有90%的精度，如果需要更高的精度，則應(yīng)重新考慮整個系統(tǒng)以適應(yīng)其他指標(biāo)的增加。

在此，提一下“基準(zhǔn)測試”（benchmark），它是設(shè)置可重復(fù)標(biāo)準(zhǔn)以比較不同技術(shù)、架構(gòu)、軟件等的必要工具。在AI/ML中，準(zhǔn)確性是衡量不同模型的關(guān)鍵指標(biāo)。在嵌入式系統(tǒng)中，常見的基準(zhǔn)測試包括CoreMark和EEMBC的ULPMark用以測量性能和功耗。就TinyML而言，MLCommons作為行業(yè)標(biāo)準(zhǔn)越來越受到關(guān)注，它可以評估前面討論的四個指標(biāo)，并且由于TinyML系統(tǒng)的異構(gòu)性，為了確保公平性，使用了4個具有4個不同AI模型的AI用例，并且必須達到一定水平的準(zhǔn)確性才能獲得基準(zhǔn)測試資格。

作為端點AI領(lǐng)域的行業(yè)領(lǐng)導(dǎo)者，瑞薩計劃將率先支持Cortex-M85內(nèi)核的MCU推向市場，TinyML系統(tǒng)將進一步開發(fā)各種用例，讓我們的生活更輕松。