測評分享 | 如何在先楫HPM6750上運行輕量級AI推理框架TinyMaix

本期內(nèi)容由先楫開發(fā)者社區(qū)大咖@xusiwei1236分享基于先楫HPM6750的輕量級AI推理框架，趕緊來瞧瞧~

一、TinyMaix是什么？
TinyMaix是國內(nèi)sipeed團隊開發(fā)一個輕量級AI推理框架，官方介紹如下：TinyMaix 是面向單片機的超輕量級的神經(jīng)網(wǎng)絡(luò)推理庫，即 TinyML 推理庫，可以讓你在任意單片機上運行輕量級深度學習模型。甚至在 Arduino ATmega328 (32KB Flash, 2KB RAM) 上都能基于 TinyMaix 進行手寫數(shù)字識別。TinyMaix官網(wǎng)提供了詳細介紹，可以在本文末尾的參考鏈接中找到鏈接。
二、TinyMaix移植
本節(jié)介紹如何將TinyMaix移植到HPM6750，詳細步驟如下：
2.1 開發(fā)環(huán)境搭建先楫官方支持SDK開發(fā)環(huán)境和RT-Thread開發(fā)環(huán)境，兩種開發(fā)環(huán)境的搭建方法均可在官方提供的開發(fā)板用戶手冊（HPM6750EVKMINI USER GUIDE.pdf 或 HPM6750EVK USER GUIDE.pdf 文件）中找到，也可以參考我此前發(fā)布的帖子，具體見本文最后的參考鏈接?？紤]到TinyMaix對于現(xiàn)已支持的MCU，基準測試都是基于裸機進行的，因此這里使用的是HPM SDK開發(fā)環(huán)境。另外，基于裸機的移植在RTOS環(huán)境下一般也可以運行。因此，對于MCU芯片的計算類開源項目的移植（例如這里的TinyMaix），最好是基于裸機進行。使用的HPM SDK版本為0.14.0，使用的SEGGER Embedded Studio版本信息為：

SEGGER Embedded Studio for RISC-VRelease 6.40 Build 2022102501.51567Windows x64
2014-2022 SEGGER Microcontroller GmbH 1997-2022 Rowley Associates Ltd.
segger-cc: version 15.0.0segger-ld: version 4.36.0segger-rtl: version 4.20.0
GCC/BINUTILS: built using the GNU RISC-V Toolchain version GCC 12.20/Binutils 2.39 source distribution
Clang/LLVM:builtusingtheversion15.0.0sourcedistribution

2.2 TinyMaix移植步驟由于TinyMaix本身的源代碼文件不多，整個移植過程相對還是比較簡單的。整體基本上分為三步：

• 目錄規(guī)劃；
• 修改源碼；
• 編譯運行；

下面介紹具體操作步驟。2.2.1 目錄規(guī)劃考慮到TinyMaix和hpm_sdk都是使用CMake構(gòu)建的，為了不對TinyMaix進行過多侵入性修改，這里采取的策略是——添加一個中間層。具體是將HPM6750平臺的CMakeLists.txt文件放在TinyMaix源碼目錄的上一層，如下所示：

hpm_sdk/app/├── CMakeLists.txt # HPM6750平臺的CMakeLists.txt├── src│ └── benchmark.c└── TinyMaix/ # TinyMaix源碼目錄

2.2.2 修改源碼

這里在src/benchmark.c文件內(nèi)容如下：

#include #include "board.h"
#define MODEL_MNIST 1#define MODEL_CIFAR10 2#define MODEL_VWW 3#define MODEL_MBNET 4
#define CONFIG_MODEL MODEL_CIFAR10 // 修改這一行切換 測試程序
#define main benchmark_main#if (CONFIG_MODEL == MODEL_MNIST)#include "mnist/main.c"#elif (CONFIG_MODEL == MODEL_CIFAR10)#include "cifar10/main.c"#elif (CONFIG_MODEL == MODEL_VWW)#include "vww/main.c"#elif (CONFIG_MODEL == MODEL_MBNET)#include "mbnet/label.c"#include "mbnet/main.c"#endif#undef main
int main(void){ board_init();
printf("benchmark start...\n"); benchmark_main(0, NULL);
__asm__("wfi");return 0;}

為了不直接拷貝基準測試代碼，簡化代碼結(jié)構(gòu)，這里使用了不太常見的：直接#include 某個.c文件；在#include "xxx/main.c"前面，定義宏#define main benchmark_main，之后取消宏定義；這樣實現(xiàn)了將TinyMaix原有的測試代碼作為benchmark.c一部分，而又不與這里的main函數(shù)相沖突的目的。PS：這里為了簡便，并沒有把TinyMaix放到hpm_sdk的middleware目錄，實際項目中使用的話最好將TinyMaix放到middleware目錄。另外，還需要修改`tm_port.h文件：

diff --git a/include/tm_port.h b/include/tm_port.hindex 357fc6b..5d1768c 100644--- a/include/tm_port.h+++ b/include/tm_port.h@@ -31,7 +31,7 @@ limitations under the License.#define TM_OPT_LEVEL TM_OPT0#define TM_MDL_TYPE TM_MDL_INT8#define TM_FASTSCALE (0) //enable if your chip don't have FPU, may speed up 1/3, but decrease accuracy-#define TM_LOCAL_MATH (0) //use local math func (like exp()) to avoid libm+#define TM_LOCAL_MATH (1) //use local math func (like exp()) to avoid libm#define TM_ENABLE_STAT (1) //enable mdl stat functions#define TM_MAX_CSIZE (1000) //max channel num //used if INT8 mdl //cost TM_MAX_CSIZE*4 Byte#define TM_MAX_KSIZE (5*5) //max kernel_size //cost TM_MAX_KSIZE*4 Byte@@ -49,9 +49,10 @@ limitations under the License.#define TM_DBGL() TM_PRINTF("###L%d\n",__LINE__);
/******************************* DBG TIME CONFIG ************************************/-#include -#include -#define TM_GET_US() ((uint32_t)((uint64_t)clock()*1000000/CLOCKS_PER_SEC))+#include "board.h"+#define TM_GET_US() (uint32_t)(HPM_MCHTMR->MTIME * 1000000uLL / clock_get_frequency(clock_mchtmr0))
#define TM_DBGT_INIT() uint32_t _start,_finish;float _time;_start=TM_GET_US();#defineTM_DBGT_START()_start=TM_GET_US();

2.2.3 編譯運行HPM6750項目的生成命令：

generate_project -b hpm6750evkmini -t flash_xip -f

HPM6750項目的編譯、運行，具體可以開發(fā)環(huán)境搭建文章，鏈接見本文末尾。手寫數(shù)字識別（mnist模型），運行后，串口輸出結(jié)果如下：

三、基準測試

下面是TinyMaix四種常用的基準測試模型的基準測試，四個模型分別為：

• mnist——手寫數(shù)字識別模型，輸入28x28x1
• cifar——10分類模型，輸入32x32x3
• vww——人體檢測二分類模型，輸入96x96x3，輸出有無人
• mbnet——1000分類模型，輸入128x128x3

3.1 場景1: TM_MDL_INT8 + TM_OPT0

3.2 場景2: TM_MDL_INT8 + TM_OPT1
3.3 場景3: TM_MDL_FP32 + TM_OPT0

3.4 注意事項

• 在SEGGER Embedded Studio中, 可以通過如下菜單Project 'xxx' Options -> Code -> Code Generation -> Optimization Level修改優(yōu)化等級；
• 在SEGGER Embedded Studio中, 默認的堆大小設(shè)置為16384 字節(jié)（16KB），不夠運行vww96 和 mbnet128 模型，你可以通過菜單 Code -> Runtime Memory Area -> Heap Size修改具體配置大小，例如可以為524288（512KB）；
• 對于FP32模型，需要將RISC-V ISA設(shè)置從默認的rv32imac改為rv32gc（Code -> Code Generation -> RIS-V ISA），確保編譯器可以生成浮點數(shù)操作指令。