機(jī)智云物聯(lián)網(wǎng)云平臺(tái)+STM32+樹莓派的草莓采摘機(jī)器人控制系統(tǒng)

本文介紹的草莓采摘機(jī)器人控制系統(tǒng)是由江西理工大學(xué)機(jī)械工程專業(yè)的程鵬勝設(shè)計(jì)開發(fā)完成。針對(duì)某草莓種植基地模塊化種植的高架草莓人工采摘耗時(shí)長(zhǎng)成本大的問題，提出了一種全向移動(dòng)的草莓采摘機(jī)器人系統(tǒng)方案。系統(tǒng)的硬件電路主要包括以STM32F407ZGT6為核心的主控制器、電源電路、WIFI模塊、激光測(cè)距單元、電機(jī)驅(qū)動(dòng)模塊。系統(tǒng)的軟件設(shè)計(jì)主要包括RT-thread實(shí)時(shí)操作系統(tǒng)在單片機(jī)上的移植調(diào)試、樹莓派3B+視覺識(shí)別、樹莓派與單片機(jī)數(shù)據(jù)傳輸?shù)耐ㄓ嵳{(diào)試、機(jī)智云物聯(lián)網(wǎng)和WIFI模塊在單片機(jī)上的接入以及樹莓派上位機(jī)控制軟件的實(shí)現(xiàn)。通過利用深度學(xué)習(xí)算法實(shí)現(xiàn)草莓的識(shí)別與定位，將采摘信息以及采摘機(jī)器人的狀態(tài)使用物聯(lián)網(wǎng)技術(shù)傳輸?shù)皆贫耍瑢?shí)現(xiàn)草莓采摘機(jī)器人的自主采摘和云端監(jiān)測(cè)，最終完成一整套穩(wěn)定控制的草莓采摘系統(tǒng)。

01

系統(tǒng)整體方案設(shè)計(jì)

本系統(tǒng)設(shè)計(jì)對(duì)于高架草莓的采摘搭建了移動(dòng)式草莓采摘機(jī)器人樣機(jī)，整個(gè)系統(tǒng)由全向移動(dòng)底盤、機(jī)械臂、視覺系統(tǒng)、運(yùn)動(dòng)控制器組成。系統(tǒng)設(shè)計(jì)圖如圖1.1所示。

圖1.1系統(tǒng)設(shè)計(jì)圖系統(tǒng)框架如圖1.2所示，采摘機(jī)器人結(jié)構(gòu)簡(jiǎn)圖如圖1.3所示。主要研究了采摘機(jī)器人的全向移動(dòng)底盤、機(jī)械手及其控制、視覺識(shí)別系統(tǒng)和整機(jī)的控制系統(tǒng)。

圖1.2 草莓采摘機(jī)器人系統(tǒng)框圖

圖1.3 整機(jī)采摘機(jī)器人結(jié)構(gòu)圖

根據(jù)某草莓種植基地采用一行式的種植方式，模擬搭建草莓架如圖1.4所示。前期調(diào)試采用仿真草莓，后期整機(jī)調(diào)試采用真實(shí)的草莓果實(shí)采摘作業(yè)中僅對(duì)獨(dú)立生長(zhǎng)的草莓進(jìn)行采摘 并未對(duì)相互接觸的草莓進(jìn)行分離采摘。整機(jī)采摘機(jī)器人的動(dòng)作流程如圖1.4所示。根據(jù)種植基地的種植特點(diǎn)草莓種植行列規(guī)范，實(shí)驗(yàn)樣機(jī)僅對(duì)單列種植進(jìn)行實(shí)驗(yàn)，對(duì)于多行的采摘在后續(xù)的工業(yè)樣機(jī)中根據(jù)導(dǎo)航方式實(shí)現(xiàn)。

圖1.4 草莓架與采摘機(jī)器人

圖1.5 整機(jī)采摘機(jī)器人的動(dòng)作流程

02

控制系統(tǒng)設(shè)計(jì)

（一）硬件部分介紹草莓采摘機(jī)器人設(shè)計(jì)的硬件控制系統(tǒng)框圖如圖2.1所示，包括核心控制單元、傳感器、驅(qū)動(dòng)器等。核心控制單元包括單片機(jī)和樹莓派，樹莓派負(fù)責(zé)視覺數(shù)據(jù)的處理和指令下發(fā)，單片機(jī)接收并執(zhí)行指令，此外，還處理一些簡(jiǎn)單的傳感器數(shù)據(jù)。傳感器包括激光測(cè)距、陀螺儀、編碼器、薄膜壓力傳感器。驅(qū)動(dòng)器包括電機(jī)驅(qū)動(dòng)和機(jī)械手的舵機(jī)驅(qū)動(dòng)，物聯(lián)網(wǎng)單元中的WIFI模塊負(fù)責(zé)將采摘數(shù)據(jù)以及機(jī)器人的狀態(tài)上傳到云端。

圖2.1 硬件平臺(tái)系統(tǒng)框圖

◆ 主控芯片

根據(jù)移動(dòng)機(jī)器人的硬件要求選擇控制器的主控芯片。鑒于實(shí)驗(yàn)平臺(tái)能耗以及控制器的數(shù)據(jù)處理能力等問題，選用STM32F407ZGT6芯片作為控制器芯片。并且采用樹莓派3B+，用來運(yùn)行圖像處理程序，以及將計(jì)算結(jié)果進(jìn)行機(jī)械臂的逆解計(jì)算后發(fā)送給單片機(jī)。樹莓派3B+實(shí)物圖如圖2.2所示。

圖2.2 樹莓派3B+實(shí)物圖

◆無線模塊

為方便查看采摘機(jī)器人的工作狀態(tài)以及采摘數(shù)量，本文采用無線網(wǎng)連接的方式進(jìn)行實(shí)現(xiàn)，選用ATK-ESP8266模塊作為機(jī)器人數(shù)據(jù)收發(fā)的節(jié)點(diǎn)。ATK-ESP8266模塊支持TTL串口通信，同時(shí)兼容3.3V和5V的電壓，對(duì)于不同電壓要求的單片機(jī)連接方便。模塊實(shí)物如圖2.3所示，各引腳的功能如表1所示。使用該模塊首先將IO_0拉低進(jìn)入固件燒寫模式，燒錄完成后能通過手機(jī)或電腦搜索到該模塊的信號(hào)，最后把模塊的發(fā)送引腳和接收引腳與單片機(jī)的發(fā)送和接收交叉連接即可通訊。

圖2.3 ATK-ESP8266模塊實(shí)物圖

表1 ATK-ESP8266模塊引腳功能

◆硬件模塊設(shè)計(jì)

使用STM32F407ZGT6芯片作為控制器的核心芯片，設(shè)計(jì)了一個(gè)完全匹配本文實(shí)驗(yàn)平臺(tái)的PCB底板，PCB底板和核心板的連接引腳圖以及底板三維圖如圖2.4所示。底板上設(shè)置了多個(gè)傳感器的接口如編碼器、串口、陀螺儀和舵機(jī)控制板的I2C總線接口，以及用來外接引腳的排針排母。編碼器接口使用了XH2.54的標(biāo)準(zhǔn)接口使實(shí)驗(yàn)平臺(tái)的整體布局更加美觀。

圖2.4 主控制器

（二）軟件部分介紹

本控制系統(tǒng)軟件設(shè)計(jì)部分由硬件控制和數(shù)據(jù)處理兩部分組成，其中硬件部分采用了實(shí)時(shí)操作系統(tǒng)，該系統(tǒng)能夠在數(shù)據(jù)或命令產(chǎn)生時(shí)對(duì)數(shù)據(jù)快速的處理。當(dāng)有多個(gè)任務(wù)同時(shí)出現(xiàn)，會(huì)按照任務(wù)的優(yōu)先級(jí)控制實(shí)時(shí)任務(wù)的運(yùn)行，具有及時(shí)響應(yīng)和高可靠性的特點(diǎn)。對(duì)于采摘機(jī)器人系統(tǒng)來說，不僅需要對(duì)機(jī)器人本體控制還要具有上傳機(jī)器人信息以及作業(yè)情況的功能，物聯(lián)網(wǎng)平臺(tái)就成了一個(gè)重要的工具，實(shí)現(xiàn)物聯(lián)網(wǎng)一般需要數(shù)據(jù)云，上傳數(shù)據(jù)的終端設(shè)備，以及獲取數(shù)據(jù)的設(shè)備三個(gè)基本元素組成。本文利用智能硬件常用的機(jī)智云物聯(lián)網(wǎng)平臺(tái)進(jìn)行配置，并采用WIFI無線連接的形式接入機(jī)智云，上云的數(shù)據(jù)包括了機(jī)器人本體的信息以及采摘數(shù)量。

◆物聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)

機(jī)智云物聯(lián)網(wǎng)平臺(tái)是一款應(yīng)用于智能硬件開發(fā)與云計(jì)算應(yīng)用的平臺(tái)。它為開發(fā)人員提供了一個(gè)智能的硬件開發(fā)工具以及一個(gè)開放的云計(jì)算平臺(tái)。該系統(tǒng)具有完整的SDK和API的服務(wù)功能，大大減少了硬件的開發(fā)難度和費(fèi)用。本文設(shè)計(jì)的草莓采摘機(jī)器人，利用ESP-8266無線網(wǎng)絡(luò)模塊實(shí)現(xiàn)連接機(jī)智云服務(wù)器，實(shí)現(xiàn)采摘機(jī)器人本機(jī)信息以及采摘數(shù)量上報(bào)到手機(jī)或電腦客戶端，另外上報(bào)信息的種類可以根據(jù)需要進(jìn)行擴(kuò)展。

開發(fā)機(jī)智云平臺(tái)的物聯(lián)網(wǎng)功能首先在機(jī)智云網(wǎng)站新建產(chǎn)品，接著新增數(shù)據(jù)點(diǎn)，數(shù)據(jù)點(diǎn)就是在移動(dòng)端能看到的信息，本文共設(shè)置了五個(gè)數(shù)據(jù)點(diǎn)分別為：采摘數(shù)量、相機(jī)狀態(tài)，機(jī)器人電量、機(jī)械手狀態(tài)，機(jī)器人姿態(tài)。創(chuàng)建數(shù)據(jù)點(diǎn)的信息如圖2.5所示。其中設(shè)置采摘最大統(tǒng)計(jì)數(shù)量為65536，并且為可寫模式，也即在收獲一定數(shù)量后可以手動(dòng)清零數(shù)量。電量的數(shù)據(jù)類型為報(bào)警模式當(dāng)電壓低于11.7v時(shí)進(jìn)入報(bào)警狀態(tài)，機(jī)器人姿態(tài)的角度范圍為0度到360度，相機(jī)狀態(tài)和機(jī)械手狀態(tài)均用布爾值來表示。

圖2.5 數(shù)據(jù)點(diǎn)的信息

完成數(shù)據(jù)點(diǎn)的設(shè)置后在網(wǎng)頁進(jìn)行在線調(diào)試，模擬設(shè)備上報(bào)在移動(dòng)端查看數(shù)據(jù)，在模擬設(shè)備端調(diào)整數(shù)據(jù)后移動(dòng)端端數(shù)據(jù)就會(huì)有相應(yīng)改變，模擬設(shè)備端數(shù)據(jù)上報(bào)為{變量名：變量值}的形式。例如在模擬設(shè)備端設(shè)置電池狀態(tài)為1，相機(jī)狀態(tài)為1，機(jī)械手狀態(tài)為1， 機(jī)器人姿態(tài)為0，采摘數(shù)量為20得到的效果如圖2.6所示，由可知移動(dòng)端更新正常，數(shù)據(jù)點(diǎn)可以正常使用。

圖2.6 數(shù)據(jù)上報(bào)

完成調(diào)試后利用機(jī)智云的MCU開發(fā)工具生成STM32的硬件代碼，由于生成的代碼 是hal庫(kù)的代碼，機(jī)器人底層控制代碼利用標(biāo)準(zhǔn)庫(kù)編寫，因此需要進(jìn)行移植。根據(jù)機(jī)智云網(wǎng)絡(luò)協(xié)議，首先建立1毫秒的時(shí)間基準(zhǔn)，然后將智能云數(shù)據(jù)接收功能添加到串口接收中斷處理功能中，并將其修改成真正的傳輸接口功能。最后在新建一個(gè)線程定時(shí)上報(bào)數(shù)據(jù)，至此機(jī)智云移植完成。除此之外，啟動(dòng)機(jī)智云的傳輸需要在系統(tǒng)初始化中設(shè)置ESP-8266為Soft-AP模式，機(jī)智云APP中才能搜索到設(shè)備進(jìn)行連接。

03

草莓采摘機(jī)器人實(shí)驗(yàn)與分析

通過對(duì)五次的采摘過程進(jìn)行記錄統(tǒng)計(jì)每個(gè)過程的耗時(shí)如表2所示，圖像識(shí)別的過程的平均時(shí)長(zhǎng)為0.23s，機(jī)械臂移動(dòng)到目標(biāo)點(diǎn)并采摘放置的平均時(shí)間為6.8s，總時(shí)長(zhǎng)在7s左右。將采摘后的草莓放置到果籃的過程耗時(shí)較長(zhǎng)，原因是果籃在機(jī)械手的正后方，放置草莓需要將機(jī)械手回轉(zhuǎn)180°。

表2 采摘耗時(shí)分段表

采用mm2020mm的型材搭建了草莓架，草莓架長(zhǎng)度方向?yàn)?000mm，高度方向?yàn)?500mm。本實(shí)驗(yàn)只考慮室內(nèi)采摘的情況。采摘過程如圖3所示，a表示了采摘機(jī)器 人移動(dòng)到草莓的正前方；b中機(jī)械手移動(dòng)到果實(shí)的正上方；c中末端執(zhí)行器夾爪 閉合；d果莖被剪斷；e機(jī)械手放低姿態(tài)；f和g機(jī)械手旋轉(zhuǎn)至果籃上方；h機(jī)械手末端執(zhí)行器打開草莓落入果籃中，至此一個(gè)草莓采摘周期完成。

圖3 采摘過程圖

04

總結(jié)

本設(shè)計(jì)完成了采用麥克納姆全向移動(dòng)底盤的四自由度機(jī)械手并包含視覺識(shí)別的草莓采摘機(jī)器人樣機(jī)，實(shí)現(xiàn)了移動(dòng)平臺(tái)的自由行走，綜合閾值法和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)以及機(jī)械手對(duì)草莓的收獲。在草莓采摘機(jī)器人軟硬件的設(shè)計(jì)，對(duì)草莓采摘機(jī)器人的硬件模塊以及主控芯片進(jìn)行選型，同時(shí)對(duì)電源電路、驅(qū)動(dòng)電路、編碼器的連接電路等進(jìn)行PCB設(shè)計(jì)和打樣。底層硬件程序框架采用了RT-Thread實(shí)時(shí)操作系統(tǒng)，視覺識(shí)別程序運(yùn)行在樹莓派中并使用無線模塊將采摘信息和機(jī)器人狀態(tài)上傳至機(jī)智云物聯(lián)網(wǎng)，可在電腦端和手機(jī)端同時(shí)查看。