開(kāi)發(fā)TinyML系統(tǒng)必須考慮的四大指標(biāo)

最近，隨著機(jī)器學(xué)習(xí)（ML, Machine Learning）的進(jìn)步出現(xiàn)了分歧，分為兩個(gè)規(guī)模：一個(gè)是傳統(tǒng)的大型ML（云ML），模型越來(lái)越大，以實(shí)現(xiàn)準(zhǔn)確性方面的最佳性能；另外一個(gè)是新興的微型機(jī)器學(xué)習(xí)（TinyML）領(lǐng)域，其中模型被縮小以適應(yīng)受限設(shè)備以超低功耗執(zhí)行。由于TinyML是一個(gè)新興領(lǐng)域，本篇文章將討論在開(kāi)發(fā)TinyML和當(dāng)前行業(yè)標(biāo)準(zhǔn)納入TinyML設(shè)備基準(zhǔn)測(cè)試的系統(tǒng)時(shí)要考慮的各種參數(shù)。

系統(tǒng)指標(biāo)要求根據(jù)正在開(kāi)發(fā)的用例會(huì)有很大差異。我們來(lái)看下四個(gè)指標(biāo)：準(zhǔn)確性、功耗、延遲和內(nèi)存要求。

準(zhǔn)確性

在過(guò)去十年中，準(zhǔn)確性一直被用作衡量機(jī)器學(xué)習(xí)模型性能的主要指標(biāo)，較大的模型往往優(yōu)于較小的。在TinyML系統(tǒng)中，準(zhǔn)確性也是一個(gè)關(guān)鍵指標(biāo)，但與云ML相比，與其他指標(biāo)的平衡更為必要。

功耗

由于TinyML系統(tǒng)預(yù)計(jì)將長(zhǎng)時(shí)間使用電池運(yùn)行，因此考慮TinyML模型的功耗（通常為mW量級(jí)）至關(guān)重要。TinyML模型的功耗將取決于可用的硬件指令集，例如，由于采用了氦氣指令集，ARM Cortex-M85比ARM Cortex-M7更節(jié)能。此外，功耗還取決于用于運(yùn)行模型的底層軟件，即推理引擎。例如，與參考內(nèi)核相比，使用CMSIS-NN庫(kù)可顯著提高性能。

延遲

TinyML系統(tǒng)在端點(diǎn)運(yùn)行并且不需要云連接，因此，此類系統(tǒng)的推理速度明顯優(yōu)于基于云的系統(tǒng)。在某些用例中，擁有超高的推理速度對(duì)于生產(chǎn)就緒至關(guān)重要（ms為單位）。與功耗指標(biāo)類似，延遲取決于底層硬件和軟件。

內(nèi)存

內(nèi)存是TinyML的一大障礙，它擠壓了ML模型以適應(yīng)資源受限的MCU（內(nèi)存小于1MB的MCU更常見(jiàn)）。所以，降低內(nèi)存需求一直是一個(gè)挑戰(zhàn)。在模型開(kāi)發(fā)過(guò)程中，會(huì)使用許多技術(shù)，例如：剪枝和量化。此外，底層軟件發(fā)揮著重要作用，因?yàn)楦玫耐评硪婵梢愿行У貎?yōu)化模型（更好的內(nèi)存管理和用于執(zhí)行層的庫(kù)）。

由于這四個(gè)參數(shù)是相關(guān)的（往往是準(zhǔn)確性和內(nèi)存之間的負(fù)相關(guān)，但內(nèi)存、延遲和功耗之間存在正相關(guān)），改進(jìn)一個(gè)參數(shù)可能會(huì)影響其他參數(shù)。在開(kāi)發(fā)TinyML系統(tǒng)時(shí)，仔細(xì)考慮這些因素很重要。一般的經(jīng)驗(yàn)法則是根據(jù)用例定義所需的必要模型準(zhǔn)確性，將各種開(kāi)發(fā)的模型與其他三個(gè)指標(biāo)進(jìn)行比較。如下圖所示，給定已訓(xùn)練的各種模型的虛擬示例。

不同標(biāo)記形狀表示具有不同超參數(shù)的模型架構(gòu)（超參數(shù)，是指機(jī)器學(xué)習(xí)算法中的調(diào)優(yōu)參數(shù)，需要人為設(shè)定）。這些超參數(shù)往往會(huì)隨著架構(gòu)大小的增加而提高準(zhǔn)確性，但卻犧牲了其他3個(gè)指標(biāo)。根據(jù)系統(tǒng)定義的用例，顯示一個(gè)典型的相關(guān)區(qū)域，由此，只有一個(gè)模型具有90%的精度，如果需要更高的精度，則應(yīng)重新考慮整個(gè)系統(tǒng)以適應(yīng)其他指標(biāo)的增加。

在此，提一下“基準(zhǔn)測(cè)試”（benchmark），它是設(shè)置可重復(fù)標(biāo)準(zhǔn)以比較不同技術(shù)、架構(gòu)、軟件等的必要工具。在AI/ML中，準(zhǔn)確性是衡量不同模型的關(guān)鍵指標(biāo)。在嵌入式系統(tǒng)中，常見(jiàn)的基準(zhǔn)測(cè)試包括CoreMark和EEMBC的ULPMark用以測(cè)量性能和功耗。就TinyML而言，MLCommons作為行業(yè)標(biāo)準(zhǔn)越來(lái)越受到關(guān)注，它可以評(píng)估前面討論的四個(gè)指標(biāo)，并且由于TinyML系統(tǒng)的異構(gòu)性，為了確保公平性，使用了4個(gè)具有4個(gè)不同AI模型的AI用例，并且必須達(dá)到一定水平的準(zhǔn)確性才能獲得基準(zhǔn)測(cè)試資格。

作為端點(diǎn)AI領(lǐng)域的行業(yè)領(lǐng)導(dǎo)者，瑞薩計(jì)劃將率先支持Cortex-M85內(nèi)核的MCU推向市場(chǎng)，TinyML系統(tǒng)將進(jìn)一步開(kāi)發(fā)各種用例，讓我們的生活更輕松。