恩智浦eIQ Time Series Studio工具使用教程之模型訓練

大家好，eIQ Time SeriesStudio又和大家見面啦！本章為大家?guī)砉ぞ吆诵牟糠?模型訓練。

Training模塊，用于Dataset模塊加載數(shù)據(jù)集后的模型訓練。Training功能是核心技術，包括數(shù)據(jù)預處理、算法超參數(shù)自動化搜索、基準測試以及針對有限的Flash和RAM大小進行最佳精度擬合優(yōu)化。模型性能也可以通過各種基準指標進行評估。

功能布局

下圖顯示了“Training”模塊的布局，分為三個部分：

左側(cè)框架顯示了訓練的所有記錄

中間的框架顯示了訓練的配置信息和優(yōu)化過程

右側(cè)框架顯示了指定模型的驗證集的基準結(jié)果

左側(cè)框包含兩部分：Training Records和Models。

Training Records：記錄了用戶創(chuàng)建的所有訓練任務。

Models：記錄了特定訓練任務生成的算法模型；默認情況下，模型按得分降序排列。得分取決于 RAM/Flash 占用大小以及基準測試的一些常見評估指標。

中間框包含兩部分：Training Info和Training。

Training Info：記錄了訓練的時間、進度和配置信息，包括日期、最大 RAM、最大 Flash、是否使用快速搜索、on-Device learn(僅用于異常檢測)、訓練/驗證集比例和訓練所用的數(shù)據(jù)文件。

Training：記錄了自動機器學習的平衡準確率、Flash 和 RAM 使用的變化曲線。

右側(cè)框架中的信息因不同的任務類型而異，將在后續(xù)內(nèi)容中詳細介紹（基準信息）。

訓練過程

介紹如何開始、暫停、停止和管理訓練。

點擊“Start New Training”按鈕，會出現(xiàn)一個彈框供用戶配置。在點擊“Start”按鈕之前，請檢查針對不同算法任務可配置的選項。通常，用戶可以在不更改配置的情況下進行訓練并獲得最佳結(jié)果。

配置選項

異常檢測的配置選項如下。異常檢測算法基于半監(jiān)督機器學習，它支持在設備上進行增量學習。

如果算法僅用于預測，請不要使能“On-Device Learn”這將會導致更大的 RAM/Flash占用

如果使用的數(shù)據(jù)集存在變化，可以啟用“On-Device Learn”以允許在設備上進行訓練

如果想快速獲得訓練結(jié)果，請啟用“Quick Search”。此模式的搜索范圍不如默認模式大

以下是分類和回歸的配置選項：

共同的選項：

配置Train/Val Ratio，如果train/emulation準確率不匹配或超出范圍，則調(diào)整數(shù)據(jù)文件中訓練集和驗證集的比例并再次訓練和仿真。

訓練配置完成或設置為默認值后，單擊“Start”按鈕開始訓練，等待訓練完成。

完成培訓的時間取決于：

數(shù)據(jù)集的大小

選擇了什么樣的算法任務

不同的訓練配置也可能導致不同的時間開銷

訓練開始時，訓練進度條會不斷更新，計時器會一直計時，直到100%完成。

暫停/停止訓練 在訓練過程中，可以選擇點擊“Stop”按鈕停止訓練或點擊“Pause”按鈕暫停訓練，左側(cè)模型列表中存在的算法，可以被使用。

暫停后，可以在左側(cè)模型列表中查看任意模型的訓練結(jié)果，或者點擊“Resume”按鈕繼續(xù)訓練。

訓練記錄管理

任務完成后，此次的訓練信息將被記錄到訓練記錄中，訓練出的算法模型將會按照性能排序出現(xiàn)在模型列表中。

點擊“flowchart”和“report”按鈕，查看或下載相應模型的流程圖和報告，以供進一步參考。

從列表中選擇任意算法并點擊，可獲取如下基準詳細信息。在訓練圖中，紫色箭頭坐標指示當前選定的算法模型，用戶可以查看自動機器學習訓練曲線以及每個模型對應的平衡準確率、Flash和RAM使用情況。

另外，可以點擊“Delete”按鈕刪除相應的訓練記錄，刪除后該訓練記錄下的所有模型信息也會同時被刪除。

模型列表與代碼許可

為了滿足用戶對算法透明度的要求，我們會根據(jù)發(fā)布版本保持所有支持模型的列表更新：

該表格重點展示了以下信息：

每項任務對應的模型

用于訓練的Python代碼源

Python代碼的許可證類型

C代碼來源

基準信息

支持時間序列的數(shù)據(jù)集的算法有三類，分別是異常檢測、分類和回歸。基準信息因算法類型的不同而不同。

異常檢測基準信息

Balanced Accuracy: 從類別中獲得平衡準確率。

F1: F1分數(shù)是反映分類器全局性能的指標，其值范圍為0到1。

Recall:召回率是分類器找出所有正樣本的能力，值的范圍是0~1。

Flash:所選算法所需的最小Flash。

RAM:所選算法所需的最小RAM.

Execution Time: 基于LPC55S36（Cortex-M33，150 MHz，啟用硬浮點）平臺進行一次推理的估計時間，同時您可以通過點擊時鐘按鈕來獲取執(zhí)行時間。

將鼠標懸浮在指標上，可查看它的解釋說明和對應的計算公式。

驗證集結(jié)果分析:

在訓練過程中，部分數(shù)據(jù)會不時用于驗證。訓練曲線反映了這些結(jié)果，并作為準確性指標來衡量模型的性能。

x 軸表示驗證樣本的索引（對于異常檢測，所有樣本都用于驗證，而分類則根據(jù)訓練/驗證比例來驗證）

y 軸表示概率，其值標準化為0到1之間

綠點表示預測正確的樣本點，紅色表示預測異常的樣本點

學習曲線:

對于支持“On-DeviceLearn”的模型，提供了學習曲線，展示了在訓練過程中添加更多樣本的效果。

混淆矩陣:

對于異常檢測，混淆矩陣表包含正常和異常結(jié)果：

同時，您可以通過點擊百分比（%）按鈕來獲取百分比結(jié)果：

也可以通過點擊箭頭按鈕來查看統(tǒng)計結(jié)果：

分類算法基準信息 對于分類任務，一些評估指標與異常檢測一致，例如平衡準確率、RAM、Flash和F1。

混淆矩陣:

對于分類，混淆矩陣表重新縮放以適應所有類別，如下圖所示：

回歸算法基準信息

R2:決定系數(shù)：

其公式可在回歸仿真指標部分找到。

算法驗證結(jié)果:

對每個target，都繪制了驗證集的預測目標值。

x軸表示驗證樣本的索引。訓練/驗證比例決定了用于驗證的樣本數(shù)量

y軸表示預測值

虛線表示真實值

評估指標:

對于回歸任務，給出了所有回歸目標的MSE、RMSE、MAE、R2和SMAPE值。

MSE:均方誤差

RMSE:均方根誤差

MAE:平均絕對誤差

R2:決定系數(shù)

SMAPE:對稱平均絕對百分比誤差

*注：公式中Yi 是第i個樣本點的真實值，Xi 為第i個樣本點的預測值。