如何在微控制器中構(gòu)建神經(jīng)網(wǎng)絡(luò)

描述

我們將使用 TensorFflow 訓(xùn)練神經(jīng)網(wǎng)絡(luò)并在微控制器中實(shí)現(xiàn)它。我們的神經(jīng)網(wǎng)絡(luò)將預(yù)測 sin(x)。使用相同的過程，我們可以用正確的數(shù)據(jù)預(yù)測不同的輸出。

人工神經(jīng)網(wǎng)絡(luò)在維基百科中被定義為“受構(gòu)成動物大腦的生物神經(jīng)網(wǎng)絡(luò)模糊啟發(fā)的計(jì)算系統(tǒng)。此類系統(tǒng)通過考慮示例來“學(xué)習(xí)”執(zhí)行任務(wù)，通常無需使用特定于任務(wù)的規(guī)則進(jìn)行編程。

所以第一部分是我們必須教神經(jīng)網(wǎng)絡(luò) sin(x) 函數(shù)是怎樣的。

?

我們在 colab 中使用 TensorFlow，這里是鏈接https://colab.research.google.com/drive/1ABDULCjzvNZJ6TwHpTvAJnKeyM-_kfPR

我們需要訓(xùn)練數(shù)據(jù)，所以我們得到 x, y 對訓(xùn)練：

?

x, y 對用于測試我們的神經(jīng)網(wǎng)絡(luò)：

?

神經(jīng)網(wǎng)絡(luò)中的基本計(jì)算單位是神經(jīng)元或節(jié)點(diǎn)，它從其他一些節(jié)點(diǎn)或外部源接收輸入并計(jì)算輸出。每個輸入都有一個關(guān)聯(lián)的權(quán)重 (a)，這是根據(jù)其對其他輸入的相對重要性加上常量分配的，稱為偏差 (b)。該節(jié)點(diǎn)將非線性函數(shù)應(yīng)用于其輸入的加權(quán)和，稱為激活函數(shù)。在我們的例子中，我們使用 softsign 函數(shù)作為激活函數(shù)。

?

我們現(xiàn)在定義一個簡單的神經(jīng)網(wǎng)絡(luò)，節(jié)點(diǎn)按層排列。相鄰層的節(jié)點(diǎn)之間有連接或邊緣。所有這些連接都有與之關(guān)聯(lián)的權(quán)重。我們使用四層，一個輸入層，兩個隱藏層和一個輸出層。

• 輸入節(jié)點(diǎn)——輸入節(jié)點(diǎn)將外部世界的信息提供給網(wǎng)絡(luò)，統(tǒng)稱為“輸入層”。在任何輸入節(jié)點(diǎn)中都不會執(zhí)行任何計(jì)算。
• 隱藏節(jié)點(diǎn)——隱藏節(jié)點(diǎn)與外界沒有直接聯(lián)系（因此得名“隱藏”）。它們執(zhí)行計(jì)算并將信息從輸入節(jié)點(diǎn)傳輸?shù)捷敵龉?jié)點(diǎn)。隱藏節(jié)點(diǎn)的集合形成一個“隱藏層”。它可以有零個或多個隱藏層。
• 輸出節(jié)點(diǎn)——輸出節(jié)點(diǎn)統(tǒng)稱為“輸出層”，負(fù)責(zé)計(jì)算和將信息從網(wǎng)絡(luò)傳輸?shù)酵饨纭?/font>

我們在輸入層有一個節(jié)點(diǎn)，在第一個隱藏層有 10 個節(jié)點(diǎn)，在第二個隱藏層有 3 個節(jié)點(diǎn)，在輸出層有一個節(jié)點(diǎn)。這是圖表：

?

在 TensorFlow 中定義為：

?

。

?

我們評估模型，誤差非常低。

?

為了在微控制器中實(shí)現(xiàn)模型，我們需要架構(gòu)，我們之前定義了三層和每個節(jié)點(diǎn)的權(quán)重。

?

正如我們所料，我們有三層，這些是權(quán)重：

?

輸入層只有一個輸入 x 我們要計(jì)算 y = sin(x)。

第一隱藏層有10個節(jié)點(diǎn)，每個節(jié)點(diǎn)執(zhí)行操作：

?

所以第一個數(shù)組有 10 個元素，每個節(jié)點(diǎn)一個“a”，第二個 10 個元素的數(shù)組是“b”。

?

第二個隱藏層有 3 個節(jié)點(diǎn)和 10 個輸入，所以我們有一個 3x10 數(shù)組用于每個節(jié)點(diǎn)的“a”，以及 3 個數(shù)組用于“b”。

?

?

輸出層是一個有 3 個輸入的節(jié)點(diǎn)，所以我們有 3 個“a”和一個“b”。

?

?

我使用 platformio + vs 代碼。對于 MT3620，您需要從此處安裝平臺支持https://github.com/Wiz-IO/platform-azure

現(xiàn)在我們可以在微控制器中實(shí)現(xiàn)它。我已經(jīng)在 MT3620 板的 M7 內(nèi)核和 ESP32 中實(shí)現(xiàn)了它。

我們只需要兩個函數(shù)，一個用于層，我們傳遞每個節(jié)點(diǎn)的輸入數(shù)、層中的節(jié)點(diǎn)數(shù)、權(quán)重、偏差和輸入：

?

一個用于激活函數(shù)，softsign 函數(shù)：

?

我們使用串行端口請求輸入，然后將其傳遞給第一個隱藏層，結(jié)果傳遞給第二個隱藏層，輸出傳遞給輸出層：

?

最后，我們將預(yù)測與 sin 函數(shù)的輸出進(jìn)行比較。

?

可以在 ESP32 中使用相同的代碼并獲得相同的結(jié)果。