立創(chuàng)·梁山派開發(fā)板-21年電賽F題-送藥小車-K210的KPU數(shù)字識(shí)別訓(xùn)練

送藥小車代碼倉(cāng)庫：https://gitee.com/lcsc/medical_car

更好的觀看體驗(yàn)請(qǐng)去：12_K210的KPU數(shù)字識(shí)別訓(xùn)練

送藥小車立創(chuàng)開源平臺(tái)資料：https://oshwhub.com/li-chuang-kai-fa-ban/21-dian-sai-f-ti-zhi-neng-song-yao-xiao-che

K210的KPU數(shù)字識(shí)別訓(xùn)練

K210自帶 KPU（通用的神經(jīng)網(wǎng)絡(luò)處理器），非常適合用來作數(shù)字識(shí)別。要采集的數(shù)據(jù)集圖像尺寸為 224*224（這是目前最常用的網(wǎng)絡(luò)數(shù)據(jù)大?。?，為了讓結(jié)果更準(zhǔn)確，所以要訓(xùn)練的數(shù)據(jù)集要盡可能多，每種數(shù)字的數(shù)據(jù)量盡可能相等。但 k210 的算力也是有限的，他所能運(yùn)行的模型也是有限的，對(duì)于 k210：運(yùn)行 c 代碼時(shí)最大可以加載 6MB 左右的模型，運(yùn)行 maixpy 的最小固件時(shí)，能加載 3MB 左右的模型，運(yùn)行 maixpy 的最大固件時(shí)，能夠加載約 2MB 左右的模型。（值得注意的一點(diǎn)，模型大小和數(shù)據(jù)集沒有必然關(guān)系，所以不用擔(dān)心數(shù)據(jù)集采集太多導(dǎo)致K210的內(nèi)存裝載不下的問題，選好Alpha參數(shù)就能確定模型的大?。?/p>

簡(jiǎn)單來說，實(shí)現(xiàn)K210的數(shù)字識(shí)別就是三步：

采集數(shù)據(jù)集

對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注

開始訓(xùn)練并得到

采集數(shù)據(jù)集

因?yàn)槲覀冞\(yùn)算是在 K210 本地的，圖像來源也是 K210 自帶的攝像頭，為了讓結(jié)果更準(zhǔn)確，可以用 python 編寫一個(gè) K210 的拍照程序，采集固定的 224*224 圖像并保存到 TF 卡里面。最好是搭好小車框架后，選好攝像頭的安裝位置和角度，將拍照程序保存到 K210 的運(yùn)行 sd 卡里面。當(dāng)按下按鈕的時(shí)候就進(jìn)行當(dāng)前圖像的保存。

拍照的代碼如下所示(具體代碼在2_Code->application->sensor->k210->pyconde-take_picture.py)：

import sensor, image, time, lcd, struct, ustruct, _thread
from maix import KPU,GPIO, I2S, FFT
import gc,os
from machine import Timer,PWM,I2C
from fpioa_manager import fm

lcd.init()                          # Init lcd display
lcd.clear(lcd.RED)                  # Clear lcd screen.

sensor.reset()                      # Reset and initialize the sensor.
sensor.reset(freq=24000000, dual_buff=1)                # 設(shè)置攝像頭頻率 24M 開啟雙緩沖模式 會(huì)提高幀率 但內(nèi)存占用增加
sensor.set_auto_exposure(1)         # 設(shè)置自動(dòng)曝光
sensor.set_auto_gain(False) # 顏色跟蹤必須關(guān)閉自動(dòng)增益
sensor.set_auto_whitebal(False) # 顏色跟蹤必須關(guān)閉白平衡
sensor.set_pixformat(sensor.RGB565) # Set pixel format to RGB565 (or GRAYSCALE)
sensor.set_framesize(sensor.QVGA)   # Set frame size to QVGA (320x240)

sensor.set_windowing((224,224)) # 分辨率為B224X224

sensor.set_vflip(1)

sensor.skip_frames(time = 2000)     # Wait for settings take effect.
clock = time.clock()                # Create a clock object to track the FPS.

#要拍攝不同的數(shù)字就切換這里的數(shù)字
need_number_ficture= 1
#保存文件名計(jì)數(shù)
save_count =0

#注冊(cè)IO，注意高速GPIO口才有中斷
fm.register(35, fm.fpioa.GPIO0)
fm.register(16, fm.fpioa.GPIOHS0)
#構(gòu)建案件對(duì)象
KEY=GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)

#按鍵標(biāo)志位
key_node = 0
key_press_long = 0

#中斷回調(diào)函數(shù)
def fun(KEY):
    global state,key_node,need_number_ficture
    temp_count = 0

    time.sleep_ms(10) #消除抖動(dòng)
    while KEY.value()== 0:
        key_node = 1
        time.sleep_ms(10) #長(zhǎng)按延時(shí)
        #長(zhǎng)按檢測(cè)計(jì)數(shù)
        temp_count=temp_count+1
    if temp_count >= 50:
        key_node = 0

        beep.duty(50)
        time.sleep_ms(500)
        beep.duty(0)
        time.sleep_ms(100)

        need_number_ficture=need_number_ficture+1
        if(need_number_ficture == 9):
            need_number_ficture=0



#開啟中斷，下降沿觸發(fā)
KEY.irq(fun, GPIO.IRQ_FALLING)

#先把文件路徑切換到文件卡里面
os.chdir("/sd")
#os.mkdir("img/0")
#os.mkdir("img/1")
#os.mkdir("img/2")
#os.mkdir("img/3")
#os.mkdir("img/4")
#os.mkdir("img/5")
#os.mkdir("img/6")
#os.mkdir("img/7")
#os.mkdir("img/8")




#PWM通過定時(shí)器配置，接到IO15引腳
tim = Timer(Timer.TIMER0, Timer.CHANNEL0, mode=Timer.MODE_PWM)
beep = PWM(tim, freq=1000, duty=0, pin=9)


clock = time.clock()                # 創(chuàng)建一個(gè)clock對(duì)象，用來計(jì)算幀率
while True:
    clock.tick()                    # 更新計(jì)算幀率的clock
    img=sensor.snapshot()
    #按鍵按下進(jìn)入
    if key_node == 1:

        save_count=save_count+1
        img.save("img/"+str(need_number_ficture)+"/"+str(save_count)+".jpg")

        beep.duty(50)
        time.sleep_ms(100)
        beep.duty(0)
        time.sleep_ms(100)

        key_node = 0 #清除按鍵標(biāo)志位
    # 在圖像上畫字符串
    img.draw_string(0, 10,str(need_number_ficture)+"/"+str(save_count)+".jpg", color = (200, 0, 0), scale = 2, mono_space = False,
                    char_rotation = 0, char_hmirror = False, char_vflip = False,
                    string_rotation = 0, string_hmirror = False, string_vflip = False)
    lcd.display(img)

下面來解釋一下上面這段代碼做了什么：

導(dǎo)入必要的庫：導(dǎo)入需要的庫和模塊（就像C語言的.h頭文件一樣），如sensor, image, time, lcd, GPIO, Timer, PWM, I2C等。

初始化LCD屏幕：使用lcd.init()初始化LCD屏幕，并使用lcd.clear(lcd.RED)清空屏幕，防止出現(xiàn)誤顯示問題。

設(shè)置攝像頭：使用sensor.reset()重置攝像頭并進(jìn)行初始化。然后，設(shè)置攝像頭的相關(guān)參數(shù)，比如時(shí)鐘頻率、設(shè)置雙緩沖來增加幀率，關(guān)閉自動(dòng)曝光、關(guān)閉自動(dòng)增益、關(guān)閉自動(dòng)白平衡、設(shè)置像素格式、幀大小、窗口大小、垂直翻轉(zhuǎn)（這個(gè)和用的攝像頭有關(guān)）等。

初始化變量：初始化必要的變量，如當(dāng)前拍攝的數(shù)字（need_number_ficture）、保存計(jì)數(shù)（save_count）、按鍵標(biāo)志位（key_node）等。

設(shè)置GPIO和按鍵中斷：注冊(cè)GPIO，并創(chuàng)建一個(gè)按鍵對(duì)象KEY。定義一個(gè)中斷回調(diào)函數(shù)fun(KEY)，用于在按鍵按下時(shí)改變當(dāng)前拍攝的數(shù)字。最后，配置按鍵中斷，使其在下降沿觸發(fā)。

設(shè)置蜂鳴器：使用Timer和PWM初始化蜂鳴器，并連接到指定的引腳。

主循環(huán)：在主循環(huán)中，首先更新幀率計(jì)算的clock。然后，從攝像頭捕獲一幀圖像。如果按鍵被按下（key_node為1），則將當(dāng)前幀圖像保存到SD卡的相應(yīng)目錄（對(duì)應(yīng)于當(dāng)前拍攝的數(shù)字）。同時(shí)，蜂鳴器發(fā)出提示音（提示我們拍照OK了）。最后，在圖像上繪制當(dāng)前拍攝數(shù)字和已保存的圖片計(jì)數(shù)，并將圖像顯示在LCD屏幕上，方便提示我們拍攝下一張照片。

對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注

這個(gè)就需要用到一個(gè)大神開發(fā)的軟件了（現(xiàn)在最新版自帶Python環(huán)境，無需麻煩的環(huán)境配置了），下載地址，找下面的百度網(wǎng)盤下載鏈接，找到里面的V4.0.0下載下來安裝后就可以使用了。用讀卡器把 K210的TF 卡里面采集到的訓(xùn)練集保存到電腦上。

打開Mx-yolo里面工具集中的圖片標(biāo)注助手，打開保存采集數(shù)據(jù)的文件夾。詳細(xì)教程請(qǐng)查看這個(gè)鏈接。

開始訓(xùn)練

訓(xùn)練可以選在線的也可以用本地的，但是如果像是電賽這種時(shí)間很緊張的比賽，為了防止到時(shí)候千軍萬馬過獨(dú)木橋，導(dǎo)致你的訓(xùn)練任務(wù)一直在排隊(duì)，最好先設(shè)置好自己的本地環(huán)境。按照上面的介紹安裝mx-yolo。

模型訓(xùn)練的次數(shù)需要在保證模型收斂的前提下進(jìn)行合理的選擇。如果訓(xùn)練次數(shù)過少，可能會(huì)導(dǎo)致模型欠擬合，無法很好地?cái)M合訓(xùn)練數(shù)據(jù)。如果訓(xùn)練次數(shù)過多，可能會(huì)導(dǎo)致模型過擬合，無法很好地泛化到新的數(shù)據(jù)。因此，需要根據(jù)具體的問題和數(shù)據(jù)集進(jìn)行調(diào)整。一般來說，可以通過觀察模型在訓(xùn)練集和驗(yàn)證集上的表現(xiàn)來確定合適的訓(xùn)練次數(shù)。當(dāng)模型在驗(yàn)證集上的表現(xiàn)不再提升時(shí)，可以停止訓(xùn)練，以避免過擬合。

Alpha 主要影響所生成模型的大小，選 0.25 模型大小約 219k，選 0.5 模型大小約 831k，選 0.75 模型大小約 1.85M，選 1.0 模型大小約 3.24M。當(dāng)運(yùn)行 maixpy 的最大固件時(shí)，k210 最大只能加載約 2MB 左右的模型，所以選 0.75 就行了。

Batch Size 一般選 8 就行了。這個(gè)參數(shù)是指每次迭代訓(xùn)練時(shí)，所選取的樣本數(shù)。Batch Size 的大小會(huì)影響模型訓(xùn)練的速度和穩(wěn)定性。較大的 Batch Size 可以加快模型訓(xùn)練的速度，因?yàn)槊看蔚幚淼臉颖緮?shù)量更多。但是，如果 Batch Size 過大，可能會(huì)導(dǎo)致內(nèi)存不足或顯存不足的問題。此外，較大的 Batch Size 還可能導(dǎo)致模型過度擬合訓(xùn)練數(shù)據(jù)。較小的 Batch Size 可以提高模型訓(xùn)練的穩(wěn)定性，因?yàn)槊看蔚幚淼臉颖緮?shù)量較少，可以更好地避免過擬合。但是，較小的 Batch Size 也會(huì)導(dǎo)致訓(xùn)練時(shí)間變長(zhǎng)，因?yàn)樾枰啻蔚拍芴幚硗晁袠颖尽?/p>

數(shù)據(jù)增強(qiáng)建議開啟，他主要是做了一些隨機(jī)裁剪，隨機(jī)旋轉(zhuǎn)，縮放，翻轉(zhuǎn)等。

訓(xùn)練結(jié)束后他會(huì)自動(dòng)把模型轉(zhuǎn)換為K210能使用的模型，主要文件都在result_root_dirdetector_result目錄下面，它還會(huì)給一張測(cè)試報(bào)告，確保模型損失已經(jīng)到了0.1以下。在測(cè)試報(bào)告中，epoch代表訓(xùn)練次數(shù)，model loss是模型損失，train代表訓(xùn)練集，是用來訓(xùn)練模型的數(shù)據(jù)集。valid代表驗(yàn)證集，是用來評(píng)估模型性能和調(diào)整超參數(shù)的數(shù)據(jù)集。這兩條線越來越往下就是越來越好了。

文件下的boot.py是他給的測(cè)試程序，labels.txt是標(biāo)簽順序，mx.kmodel是K210實(shí)際要用的模型文件（這個(gè)文件在使用的時(shí)候需要保存到K210要使用的TF卡里面）。簡(jiǎn)單來說，把boot.py，lables.txt，mx.kmodel一起放到K210的sd卡里，重新上電就可以運(yùn)行了。

審核編輯 黃宇