RDK X3暴改機(jī)器人：手搓能爬樓的AI快遞員會(huì)爬樓能?chē)Z嗑

隨著城市化進(jìn)程的加快，高樓越來(lái)越多，高層建筑的多層和高人口密度讓物品配送變得復(fù)雜。雖然配送機(jī)器人可以解決“最后一公里”的問(wèn)題，但現(xiàn)有的機(jī)器人主要依賴(lài)電梯跨樓層。電梯高峰時(shí)段效率低，且占用電梯資源，遇到?jīng)]有電梯的樓宇更是束手無(wú)策。因此，既能搭電梯又能爬樓的配送機(jī)器人，正是市場(chǎng)上急需的創(chuàng)新。

一、項(xiàng)目介紹：

這款作品是基于 RDK X3開(kāi)發(fā)板打造的跨樓層智能配送機(jī)器人，能輕松切換行駛模式和爬樓模式。配備可伸縮的爬樓輪結(jié)構(gòu)，不論樓梯多陡或多窄，它都能“爬得上去”，跨層配送so easy！不僅如此，機(jī)器人還內(nèi)建視覺(jué)識(shí)別和語(yǔ)音識(shí)別功能，可以和你“無(wú)聲無(wú)息”地互動(dòng)，快遞送到手，連說(shuō)話(huà)都能省力！——哈爾濱工程大學(xué) 碧海小隊(duì)

二、創(chuàng)新點(diǎn)：

目前市場(chǎng)上的配送機(jī)器人依賴(lài)電梯跨樓層，還需要人工手動(dòng)輸入地址，這讓配送變得既不高效又不智能。為了彌補(bǔ)這些不足，本作品著重解決了這些“老大難”問(wèn)題：

1. 爬樓難題： 針對(duì)現(xiàn)有機(jī)器人無(wú)法爬樓梯的缺點(diǎn)，我們?cè)O(shè)計(jì)了一個(gè)四片分離式變形輪，電動(dòng)推桿一拉一縮，輪轂翻轉(zhuǎn)伸展，輕松上下樓梯。簡(jiǎn)直是機(jī)器人中的“樓梯小能手”！
2. 智能配送： 擺脫手動(dòng)輸入地址的繁瑣，我們通過(guò)OCR、NLP、ASR技術(shù)，操作人員只需拍照或者說(shuō)話(huà)，機(jī)器人就能自動(dòng)獲取配送地址。語(yǔ)音反饋當(dāng)前任務(wù)信息，跟機(jī)器人聊天就能完成配送任務(wù)，人機(jī)交互走向“智慧時(shí)代”！
3. 路徑規(guī)劃： 通過(guò)激光雷達(dá)建圖與障礙物檢測(cè)，對(duì)A*算法進(jìn)行了優(yōu)化，提高了路徑規(guī)劃效率和質(zhì)量，讓機(jī)器人不再繞路而是“直達(dá)目標(biāo)”。

三、原理分析 ：

變形輪

為了提高配送效率并避免占用電梯空間，機(jī)器人需要能夠上下樓梯和行走。我們?cè)O(shè)計(jì)了可擴(kuò)式四輪結(jié)構(gòu)，結(jié)合電動(dòng)推桿和電機(jī)的運(yùn)動(dòng)，使機(jī)器人能夠輕松應(yīng)對(duì)樓梯。

當(dāng)需要爬樓梯時(shí)，電動(dòng)推桿調(diào)整輪轂角度并向外擴(kuò)張，提供支撐力；下樓時(shí)，輪轂自動(dòng)調(diào)整，保持穩(wěn)定。通過(guò)這種設(shè)計(jì)，機(jī)器人能適應(yīng)不同樓梯的高度和角度，確保順利完成樓層間的配送任務(wù)。

具體來(lái)說(shuō)，每個(gè)移動(dòng)單元由三篇分離式輪轂組成，為了應(yīng)對(duì)不同高度和寬度 的樓梯，我們采用四桿機(jī)構(gòu)，通過(guò)四桿機(jī)構(gòu)的的運(yùn)動(dòng)調(diào)整輪轂伸縮的距離及角度。

上樓梯時(shí)：向里側(cè)電動(dòng)推桿施加正向電流，使得電動(dòng)推桿伸長(zhǎng)，通過(guò)左側(cè)三 角板帶動(dòng)連桿向上運(yùn)動(dòng)，從而將輪轂翻轉(zhuǎn)一定角度并向外擴(kuò)張一定距離以適應(yīng)樓 梯的高度和寬度。

下樓梯時(shí)：向外側(cè)電動(dòng)推桿施加反向電流，使得推桿收縮，通過(guò)右側(cè)三角板 帶動(dòng)連桿向下運(yùn)動(dòng)，從而將輪轂反方向翻轉(zhuǎn)一定角度并向外擴(kuò)張一定距離以適應(yīng) 樓梯的高度和寬度。

行走時(shí)：上側(cè)電機(jī)通過(guò)皮帶帶動(dòng)右側(cè)輪轂及三角板一起旋轉(zhuǎn)，從而使得機(jī)器 人向前運(yùn)動(dòng)

路徑規(guī)劃原理

A算法是一種啟發(fā)式搜索算法，通過(guò)從起點(diǎn)開(kāi)始擴(kuò)展鄰域節(jié)點(diǎn)，比較節(jié)點(diǎn)的代價(jià)值，選擇代價(jià)最小的節(jié)點(diǎn)繼續(xù)擴(kuò)展，直到找到目標(biāo)點(diǎn)，從而避開(kāi)障礙物，找到最佳路徑。傳統(tǒng)的A算法存在節(jié)點(diǎn)過(guò)多、路徑冗余以及不夠平滑等問(wèn)題，這不僅影響機(jī)器人的穩(wěn)定性，還降低了路徑規(guī)劃的效率。我們做了以下優(yōu)化。

1、傳統(tǒng)的 A-star算法只考慮了距離問(wèn)題，沒(méi)有考慮環(huán)境地圖上的許多實(shí)際因 素。因此 我們?cè)趥鹘y(tǒng) A*算法評(píng)價(jià)函數(shù)的基礎(chǔ)上，通過(guò)引入節(jié)點(diǎn)到起始點(diǎn)和目標(biāo) 點(diǎn)連線的夾角，對(duì)評(píng)價(jià)函數(shù)進(jìn)行改進(jìn)。

2、引入雙向搜索策略。在大規(guī)模搜索空間下，傳統(tǒng)的 A*算法采用的單向搜索策略存在搜索效率低 搜索節(jié)點(diǎn)數(shù)量多等問(wèn)題。

當(dāng)計(jì)算出的中間點(diǎn)位于障礙物內(nèi)部時(shí)，無(wú)法有效搜索到起點(diǎn)和目標(biāo)點(diǎn)，因此需要選擇新的中間點(diǎn)。具體步驟如下：

1. 確定中間點(diǎn)的位置。
2. 在中間點(diǎn)處繪制一條水平線和一條豎直線。
3. 計(jì)算水平線和豎直線穿越障礙物的跨越長(zhǎng)度。
4. 選擇跨越長(zhǎng)度較長(zhǎng)的方向，并找出最早穿越障礙物的點(diǎn)。
5. 將最早穿越障礙物的點(diǎn)作為優(yōu)化后的中間點(diǎn)。

3、去除冗余節(jié)點(diǎn)，在路徑規(guī)劃中，冗余節(jié)點(diǎn)可能導(dǎo)致內(nèi)存占用過(guò)多和頻繁調(diào)整機(jī)器人運(yùn)動(dòng)。為了解決這個(gè)問(wèn)題，我們采用了一種路徑優(yōu)化方法來(lái)去除冗余節(jié)點(diǎn)。具體步驟如下：

1. 將起始點(diǎn)作為開(kāi)始節(jié)點(diǎn)。
2. 沿路徑預(yù)定方向逐一連接起始點(diǎn)與路徑中的各個(gè)節(jié)點(diǎn)。
3. 如果連接線段與障礙物相交，保留相交節(jié)點(diǎn)的前一個(gè)節(jié)點(diǎn)，移除與該節(jié)點(diǎn)之間的所有節(jié)點(diǎn)，并繼續(xù)連接后續(xù)節(jié)點(diǎn)。
4. 如果連接線段不與障礙物相交，直到目標(biāo)點(diǎn)，保留目標(biāo)點(diǎn)并移除起始點(diǎn)與目標(biāo)點(diǎn)之間的節(jié)點(diǎn)。
5. 將保留的節(jié)點(diǎn)依次連接，形成優(yōu)化后的路徑。

人機(jī)交互部分

本項(xiàng)目的人機(jī)交互部分包括視覺(jué)識(shí)別和語(yǔ)音識(shí)別。首先，通過(guò)OCR技術(shù)識(shí)別配送單據(jù)并提取信息，再利用NLP技術(shù)獲取最終配送地址。也可以通過(guò)語(yǔ)音指令下單，語(yǔ)音識(shí)別技術(shù)將語(yǔ)音轉(zhuǎn)為文本，NLP技術(shù)提取出地址信息，并通過(guò)語(yǔ)音合成技術(shù)將地址反饋給操作員確認(rèn)。

四、硬件系統(tǒng)設(shè)計(jì) ：

4.1硬件選型

4.1.1 RoboMaster M2006本作品中，電機(jī)采用 RoboMaster M2006直流無(wú)刷電機(jī)，其作用主要是控制 機(jī)器人的移動(dòng)，控制機(jī)器人運(yùn)動(dòng)到達(dá)指定位置并實(shí)時(shí)反饋運(yùn)動(dòng)狀態(tài)信息。 RoboMaster M2006使用C610電調(diào)進(jìn)行驅(qū)動(dòng)，使用CAN通信協(xié)議發(fā)送接收數(shù)據(jù)， 電機(jī)內(nèi)置位置傳感器，實(shí)時(shí)反饋轉(zhuǎn)子機(jī)械角度、轉(zhuǎn)速和轉(zhuǎn)矩等信息。

4.1.2電動(dòng)推桿 在本作品中，一個(gè)變形輪需要兩個(gè)電動(dòng)推桿，電動(dòng)推桿又有兩種狀態(tài)——伸 出和縮回。一根推桿的伸縮控制變形輪的變大程度，另一根推桿的伸縮控制變形 輪的旋轉(zhuǎn)角度。作用是通過(guò)推桿的伸縮使輪子達(dá)到特定的擴(kuò)大程度和旋轉(zhuǎn)角度。

4.1.3 TFT-LCD觸摸屏 在本作品中，LCD觸摸屏的主要作用是顯示經(jīng) RDK X3 分析處理后的配送 地址，取件碼等信息。本作品采用的是正點(diǎn)原子 2.8寸的 TFTLCD液晶屏。

4.3硬件電路設(shè)計(jì)

本系統(tǒng)的硬件連接方式如下：樹(shù)莓派負(fù)責(zé)讀取相機(jī)圖像數(shù)據(jù)和地圖建模，并將里程計(jì)數(shù)據(jù)發(fā)送給STM32來(lái)控制機(jī)器人移動(dòng)。RDK X3主要處理語(yǔ)音交互和視覺(jué)識(shí)別，并在屏幕和觸摸屏上顯示結(jié)果。STM32控制機(jī)器人的底盤(pán)運(yùn)動(dòng)，通過(guò)CAN總線控制電機(jī)轉(zhuǎn)動(dòng)，通過(guò)PWM波控制電動(dòng)推桿的伸縮，并與樹(shù)莓派實(shí)時(shí)通信，反饋機(jī)器人運(yùn)動(dòng)狀態(tài)信息。

五、軟件設(shè)計(jì)與流程

5.1建圖與規(guī)劃流程

SLAM建圖使用三種地圖：點(diǎn)云圖、柵格圖和八叉樹(shù)地圖。雖然激光雷達(dá)只能在二維場(chǎng)景中建圖，但它具有較高精度和更遠(yuǎn)的建圖范圍，且受外界環(huán)境影響較小。路徑規(guī)劃中采用2D占用柵格圖模式。激光雷達(dá)提供精確的二維信息，而深度相機(jī)提供三維信息。為了提高地圖精度，本設(shè)計(jì)結(jié)合了激光雷達(dá)和RGBD相機(jī)的信息來(lái)建立柵格圖，使用激光雷達(dá)和深度相機(jī)的融合數(shù)據(jù)，生成2D柵格地圖，并與Cartgrapher算法建立的地圖融合，得到最終的綜合地圖。

5.2人機(jī)交互流程 本項(xiàng)目的人機(jī)交互過(guò)程如圖所示，通過(guò)視覺(jué)或語(yǔ)音方式識(shí)別出最終配送地點(diǎn) 并傳輸給樹(shù)莓派作為最終導(dǎo)航地點(diǎn)。

5.3底盤(pán)控制軟件流程 在本作品中，底盤(pán)控制采用 STM32單片機(jī)作為主控芯片，其程序結(jié)構(gòu)圖如 圖所示。當(dāng)機(jī)器人在運(yùn)動(dòng)的過(guò)程中，會(huì)不斷檢測(cè)前方是否有樓梯，沒(méi)有檢測(cè)到樓 梯，變形輪不變形維持原狀；當(dāng)檢測(cè)到樓梯，根據(jù)測(cè)量的樓梯尺寸，STM32控制 變形輪變形到特定的擴(kuò)大程度和旋轉(zhuǎn)角度后，開(kāi)始爬樓。

六、系統(tǒng)測(cè)試

6.1機(jī)械結(jié)構(gòu)測(cè)試

驗(yàn)證機(jī)械結(jié)構(gòu)可行性、操作穩(wěn)定性及功能完備性。測(cè)試確認(rèn)：

變形輪通過(guò)電動(dòng)推桿伸縮實(shí)現(xiàn)輪轂角度與擴(kuò)張距離調(diào)節(jié)，滿(mǎn)足樓梯尺寸自適應(yīng)需求。

結(jié)構(gòu)設(shè)計(jì)合理，通過(guò)仿真與實(shí)際測(cè)試驗(yàn)證，可穩(wěn)定完成爬樓與行走模式切換。

6.2目標(biāo)檢測(cè)測(cè)試

流程與結(jié)果：

數(shù)據(jù)集構(gòu)建：采集圖像并標(biāo)注，轉(zhuǎn)換為YOLOv5s適配格式（圖片+txt）。

模型訓(xùn)練：基于YOLOv5s，訓(xùn)練后輸出評(píng)估指標(biāo)：

1. Precision: 0.6086
2. Recall: 0.5641
3. mAP@0.5: 0.5703
4. mAP@0.5:0.95: 0.3221

實(shí)測(cè)效果：成功檢測(cè)目標(biāo)，滿(mǎn)足基礎(chǔ)需求，但精度待優(yōu)化。

5.3底盤(pán)控制測(cè)試

電動(dòng)推桿：PWM控制精度達(dá)標(biāo)，可精準(zhǔn)調(diào)節(jié)變形輪擴(kuò)張與角度。

里程計(jì)：STM32實(shí)時(shí)讀取速度、加速度、位置信息，誤差<5%。

結(jié)論：底盤(pán)控制穩(wěn)定，滿(mǎn)足多模式運(yùn)動(dòng)需求。

5.4 SLAM建圖測(cè)試

方法對(duì)比：

激光雷達(dá)：建圖范圍廣，但易受環(huán)境縫隙干擾。

RGBD相機(jī)：受光照影響，邊界模糊。

融合方案：激光雷達(dá)+RGBD投影融合，生成高精度2D柵格地圖，消除縫隙干擾，邊界清晰。

5.5路徑規(guī)劃測(cè)試

改進(jìn)A*算法（對(duì)比傳統(tǒng)A*）：

搜索節(jié)點(diǎn)數(shù)減少30%，路徑長(zhǎng)度縮短15%，規(guī)劃時(shí)間降低25%。

冗余節(jié)點(diǎn)去除后，路徑平滑度提升，內(nèi)存占用減少20%。

5.6人機(jī)交互測(cè)試

OCR+NLP：成功從虛擬配送單提取地址，準(zhǔn)確率>85%。

ASR+NLP：語(yǔ)音指令中地址抽取準(zhǔn)確率>80%，支持模糊語(yǔ)義（如“送到三號(hào)樓二層”）。

語(yǔ)音反饋：合成語(yǔ)音播報(bào)任務(wù)信息，用戶(hù)可確認(rèn)指令正確性。

關(guān)鍵結(jié)論

• 各模塊功能均通過(guò)測(cè)試，滿(mǎn)足跨樓層配送需求。
• 目標(biāo)檢測(cè)與路徑規(guī)劃精度待優(yōu)化，可通過(guò)擴(kuò)展數(shù)據(jù)集與算法調(diào)參進(jìn)一步提升。

隨著城市化進(jìn)程的加快，高樓越來(lái)越多，高層建筑的多層和高人口密度讓物品配送變得復(fù)雜。雖然配送機(jī)器人可以解決“最后一公里”的問(wèn)題，但現(xiàn)有的機(jī)器人主要依賴(lài)電梯跨樓層。電梯高峰時(shí)段效率低，且占用電梯資源，遇到?jīng)]有電梯的樓宇更是束手無(wú)策。因此，既能搭電梯又能爬樓的配送機(jī)器人，正是市場(chǎng)上急需的創(chuàng)新。

一、項(xiàng)目介紹：

這款作品是基于 RDK X3開(kāi)發(fā)板打造的跨樓層智能配送機(jī)器人，能輕松切換行駛模式和爬樓模式。配備可伸縮的爬樓輪結(jié)構(gòu)，不論樓梯多陡或多窄，它都能“爬得上去”，跨層配送so easy！不僅如此，機(jī)器人還內(nèi)建視覺(jué)識(shí)別和語(yǔ)音識(shí)別功能，可以和你“無(wú)聲無(wú)息”地互動(dòng)，快遞送到手，連說(shuō)話(huà)都能省力！——哈爾濱工程大學(xué) 碧海小隊(duì)

二、創(chuàng)新點(diǎn)：

目前市場(chǎng)上的配送機(jī)器人依賴(lài)電梯跨樓層，還需要人工手動(dòng)輸入地址，這讓配送變得既不高效又不智能。為了彌補(bǔ)這些不足，本作品著重解決了這些“老大難”問(wèn)題：

1. 爬樓難題： 針對(duì)現(xiàn)有機(jī)器人無(wú)法爬樓梯的缺點(diǎn)，我們?cè)O(shè)計(jì)了一個(gè)四片分離式變形輪，電動(dòng)推桿一拉一縮，輪轂翻轉(zhuǎn)伸展，輕松上下樓梯。簡(jiǎn)直是機(jī)器人中的“樓梯小能手”！
2. 智能配送： 擺脫手動(dòng)輸入地址的繁瑣，我們通過(guò)OCR、NLP、ASR技術(shù)，操作人員只需拍照或者說(shuō)話(huà)，機(jī)器人就能自動(dòng)獲取配送地址。語(yǔ)音反饋當(dāng)前任務(wù)信息，跟機(jī)器人聊天就能完成配送任務(wù)，人機(jī)交互走向“智慧時(shí)代”！
3. 路徑規(guī)劃： 通過(guò)激光雷達(dá)建圖與障礙物檢測(cè)，對(duì)A*算法進(jìn)行了優(yōu)化，提高了路徑規(guī)劃效率和質(zhì)量，讓機(jī)器人不再繞路而是“直達(dá)目標(biāo)”。

三、原理分析 ：

變形輪

為了提高配送效率并避免占用電梯空間，機(jī)器人需要能夠上下樓梯和行走。我們?cè)O(shè)計(jì)了可擴(kuò)式四輪結(jié)構(gòu)，結(jié)合電動(dòng)推桿和電機(jī)的運(yùn)動(dòng)，使機(jī)器人能夠輕松應(yīng)對(duì)樓梯。

當(dāng)需要爬樓梯時(shí)，電動(dòng)推桿調(diào)整輪轂角度并向外擴(kuò)張，提供支撐力；下樓時(shí)，輪轂自動(dòng)調(diào)整，保持穩(wěn)定。通過(guò)這種設(shè)計(jì)，機(jī)器人能適應(yīng)不同樓梯的高度和角度，確保順利完成樓層間的配送任務(wù)。

具體來(lái)說(shuō)，每個(gè)移動(dòng)單元由三篇分離式輪轂組成，為了應(yīng)對(duì)不同高度和寬度 的樓梯，我們采用四桿機(jī)構(gòu)，通過(guò)四桿機(jī)構(gòu)的的運(yùn)動(dòng)調(diào)整輪轂伸縮的距離及角度。

上樓梯時(shí)：向里側(cè)電動(dòng)推桿施加正向電流，使得電動(dòng)推桿伸長(zhǎng)，通過(guò)左側(cè)三 角板帶動(dòng)連桿向上運(yùn)動(dòng)，從而將輪轂翻轉(zhuǎn)一定角度并向外擴(kuò)張一定距離以適應(yīng)樓 梯的高度和寬度。

下樓梯時(shí)：向外側(cè)電動(dòng)推桿施加反向電流，使得推桿收縮，通過(guò)右側(cè)三角板 帶動(dòng)連桿向下運(yùn)動(dòng)，從而將輪轂反方向翻轉(zhuǎn)一定角度并向外擴(kuò)張一定距離以適應(yīng) 樓梯的高度和寬度。

行走時(shí)：上側(cè)電機(jī)通過(guò)皮帶帶動(dòng)右側(cè)輪轂及三角板一起旋轉(zhuǎn)，從而使得機(jī)器 人向前運(yùn)動(dòng)

路徑規(guī)劃原理

A算法是一種啟發(fā)式搜索算法，通過(guò)從起點(diǎn)開(kāi)始擴(kuò)展鄰域節(jié)點(diǎn)，比較節(jié)點(diǎn)的代價(jià)值，選擇代價(jià)最小的節(jié)點(diǎn)繼續(xù)擴(kuò)展，直到找到目標(biāo)點(diǎn)，從而避開(kāi)障礙物，找到最佳路徑。傳統(tǒng)的A算法存在節(jié)點(diǎn)過(guò)多、路徑冗余以及不夠平滑等問(wèn)題，這不僅影響機(jī)器人的穩(wěn)定性，還降低了路徑規(guī)劃的效率。我們做了以下優(yōu)化。

1、傳統(tǒng)的 A-star算法只考慮了距離問(wèn)題，沒(méi)有考慮環(huán)境地圖上的許多實(shí)際因 素。因此 我們?cè)趥鹘y(tǒng) A*算法評(píng)價(jià)函數(shù)的基礎(chǔ)上，通過(guò)引入節(jié)點(diǎn)到起始點(diǎn)和目標(biāo) 點(diǎn)連線的夾角，對(duì)評(píng)價(jià)函數(shù)進(jìn)行改進(jìn)。

2、引入雙向搜索策略。在大規(guī)模搜索空間下，傳統(tǒng)的 A*算法采用的單向搜索策略存在搜索效率低 搜索節(jié)點(diǎn)數(shù)量多等問(wèn)題。

當(dāng)計(jì)算出的中間點(diǎn)位于障礙物內(nèi)部時(shí)，無(wú)法有效搜索到起點(diǎn)和目標(biāo)點(diǎn)，因此需要選擇新的中間點(diǎn)。具體步驟如下：

1. 確定中間點(diǎn)的位置。
2. 在中間點(diǎn)處繪制一條水平線和一條豎直線。
3. 計(jì)算水平線和豎直線穿越障礙物的跨越長(zhǎng)度。
4. 選擇跨越長(zhǎng)度較長(zhǎng)的方向，并找出最早穿越障礙物的點(diǎn)。
5. 將最早穿越障礙物的點(diǎn)作為優(yōu)化后的中間點(diǎn)。

3、去除冗余節(jié)點(diǎn)，在路徑規(guī)劃中，冗余節(jié)點(diǎn)可能導(dǎo)致內(nèi)存占用過(guò)多和頻繁調(diào)整機(jī)器人運(yùn)動(dòng)。為了解決這個(gè)問(wèn)題，我們采用了一種路徑優(yōu)化方法來(lái)去除冗余節(jié)點(diǎn)。具體步驟如下：

1. 將起始點(diǎn)作為開(kāi)始節(jié)點(diǎn)。
2. 沿路徑預(yù)定方向逐一連接起始點(diǎn)與路徑中的各個(gè)節(jié)點(diǎn)。
3. 如果連接線段與障礙物相交，保留相交節(jié)點(diǎn)的前一個(gè)節(jié)點(diǎn)，移除與該節(jié)點(diǎn)之間的所有節(jié)點(diǎn)，并繼續(xù)連接后續(xù)節(jié)點(diǎn)。
4. 如果連接線段不與障礙物相交，直到目標(biāo)點(diǎn)，保留目標(biāo)點(diǎn)并移除起始點(diǎn)與目標(biāo)點(diǎn)之間的節(jié)點(diǎn)。
5. 將保留的節(jié)點(diǎn)依次連接，形成優(yōu)化后的路徑。

人機(jī)交互部分

本項(xiàng)目的人機(jī)交互部分包括視覺(jué)識(shí)別和語(yǔ)音識(shí)別。首先，通過(guò)OCR技術(shù)識(shí)別配送單據(jù)并提取信息，再利用NLP技術(shù)獲取最終配送地址。也可以通過(guò)語(yǔ)音指令下單，語(yǔ)音識(shí)別技術(shù)將語(yǔ)音轉(zhuǎn)為文本，NLP技術(shù)提取出地址信息，并通過(guò)語(yǔ)音合成技術(shù)將地址反饋給操作員確認(rèn)。

四、硬件系統(tǒng)設(shè)計(jì) ：

4.1硬件選型

4.1.1 RoboMaster M2006本作品中，電機(jī)采用 RoboMaster M2006直流無(wú)刷電機(jī)，其作用主要是控制 機(jī)器人的移動(dòng)，控制機(jī)器人運(yùn)動(dòng)到達(dá)指定位置并實(shí)時(shí)反饋運(yùn)動(dòng)狀態(tài)信息。 RoboMaster M2006使用C610電調(diào)進(jìn)行驅(qū)動(dòng)，使用CAN通信協(xié)議發(fā)送接收數(shù)據(jù)， 電機(jī)內(nèi)置位置傳感器，實(shí)時(shí)反饋轉(zhuǎn)子機(jī)械角度、轉(zhuǎn)速和轉(zhuǎn)矩等信息。

4.1.2電動(dòng)推桿 在本作品中，一個(gè)變形輪需要兩個(gè)電動(dòng)推桿，電動(dòng)推桿又有兩種狀態(tài)——伸 出和縮回。一根推桿的伸縮控制變形輪的變大程度，另一根推桿的伸縮控制變形 輪的旋轉(zhuǎn)角度。作用是通過(guò)推桿的伸縮使輪子達(dá)到特定的擴(kuò)大程度和旋轉(zhuǎn)角度。

4.1.3 TFT-LCD觸摸屏 在本作品中，LCD觸摸屏的主要作用是顯示經(jīng) RDK X3 分析處理后的配送 地址，取件碼等信息。本作品采用的是正點(diǎn)原子 2.8寸的 TFTLCD液晶屏。

4.3硬件電路設(shè)計(jì)

本系統(tǒng)的硬件連接方式如下：樹(shù)莓派負(fù)責(zé)讀取相機(jī)圖像數(shù)據(jù)和地圖建模，并將里程計(jì)數(shù)據(jù)發(fā)送給STM32來(lái)控制機(jī)器人移動(dòng)。RDK X3主要處理語(yǔ)音交互和視覺(jué)識(shí)別，并在屏幕和觸摸屏上顯示結(jié)果。STM32控制機(jī)器人的底盤(pán)運(yùn)動(dòng)，通過(guò)CAN總線控制電機(jī)轉(zhuǎn)動(dòng)，通過(guò)PWM波控制電動(dòng)推桿的伸縮，并與樹(shù)莓派實(shí)時(shí)通信，反饋機(jī)器人運(yùn)動(dòng)狀態(tài)信息。

五、軟件設(shè)計(jì)與流程

5.1建圖與規(guī)劃流程

SLAM建圖使用三種地圖：點(diǎn)云圖、柵格圖和八叉樹(shù)地圖。雖然激光雷達(dá)只能在二維場(chǎng)景中建圖，但它具有較高精度和更遠(yuǎn)的建圖范圍，且受外界環(huán)境影響較小。路徑規(guī)劃中采用2D占用柵格圖模式。激光雷達(dá)提供精確的二維信息，而深度相機(jī)提供三維信息。為了提高地圖精度，本設(shè)計(jì)結(jié)合了激光雷達(dá)和RGBD相機(jī)的信息來(lái)建立柵格圖，使用激光雷達(dá)和深度相機(jī)的融合數(shù)據(jù)，生成2D柵格地圖，并與Cartgrapher算法建立的地圖融合，得到最終的綜合地圖。

5.2人機(jī)交互流程 本項(xiàng)目的人機(jī)交互過(guò)程如圖所示，通過(guò)視覺(jué)或語(yǔ)音方式識(shí)別出最終配送地點(diǎn) 并傳輸給樹(shù)莓派作為最終導(dǎo)航地點(diǎn)。

5.3底盤(pán)控制軟件流程 在本作品中，底盤(pán)控制采用 STM32單片機(jī)作為主控芯片，其程序結(jié)構(gòu)圖如 圖所示。當(dāng)機(jī)器人在運(yùn)動(dòng)的過(guò)程中，會(huì)不斷檢測(cè)前方是否有樓梯，沒(méi)有檢測(cè)到樓 梯，變形輪不變形維持原狀；當(dāng)檢測(cè)到樓梯，根據(jù)測(cè)量的樓梯尺寸，STM32控制 變形輪變形到特定的擴(kuò)大程度和旋轉(zhuǎn)角度后，開(kāi)始爬樓。

六、系統(tǒng)測(cè)試

6.1機(jī)械結(jié)構(gòu)測(cè)試

驗(yàn)證機(jī)械結(jié)構(gòu)可行性、操作穩(wěn)定性及功能完備性。測(cè)試確認(rèn)：

變形輪通過(guò)電動(dòng)推桿伸縮實(shí)現(xiàn)輪轂角度與擴(kuò)張距離調(diào)節(jié)，滿(mǎn)足樓梯尺寸自適應(yīng)需求。

結(jié)構(gòu)設(shè)計(jì)合理，通過(guò)仿真與實(shí)際測(cè)試驗(yàn)證，可穩(wěn)定完成爬樓與行走模式切換。

6.2目標(biāo)檢測(cè)測(cè)試

流程與結(jié)果：

數(shù)據(jù)集構(gòu)建：采集圖像并標(biāo)注，轉(zhuǎn)換為YOLOv5s適配格式（圖片+txt）。

模型訓(xùn)練：基于YOLOv5s，訓(xùn)練后輸出評(píng)估指標(biāo)：

1. Precision: 0.6086
2. Recall: 0.5641
3. mAP@0.5: 0.5703
4. mAP@0.5:0.95: 0.3221

實(shí)測(cè)效果：成功檢測(cè)目標(biāo)，滿(mǎn)足基礎(chǔ)需求，但精度待優(yōu)化。

6.3底盤(pán)控制測(cè)試

電動(dòng)推桿：PWM控制精度達(dá)標(biāo)，可精準(zhǔn)調(diào)節(jié)變形輪擴(kuò)張與角度。

里程計(jì)：STM32實(shí)時(shí)讀取速度、加速度、位置信息，誤差<5%。

結(jié)論：底盤(pán)控制穩(wěn)定，滿(mǎn)足多模式運(yùn)動(dòng)需求。

6.4 SLAM建圖測(cè)試

方法對(duì)比：

激光雷達(dá)：建圖范圍廣，但易受環(huán)境縫隙干擾。

RGBD相機(jī)：受光照影響，邊界模糊。

融合方案：激光雷達(dá)+RGBD投影融合，生成高精度2D柵格地圖，消除縫隙干擾，邊界清晰。

6.5路徑規(guī)劃測(cè)試

改進(jìn)A*算法（對(duì)比傳統(tǒng)A*）：

搜索節(jié)點(diǎn)數(shù)減少30%，路徑長(zhǎng)度縮短15%，規(guī)劃時(shí)間降低25%。

冗余節(jié)點(diǎn)去除后，路徑平滑度提升，內(nèi)存占用減少20%。

6.6人機(jī)交互測(cè)試

OCR+NLP：成功從虛擬配送單提取地址，準(zhǔn)確率>85%。

ASR+NLP：語(yǔ)音指令中地址抽取準(zhǔn)確率>80%，支持模糊語(yǔ)義（如“送到三號(hào)樓二層”）。

語(yǔ)音反饋：合成語(yǔ)音播報(bào)任務(wù)信息，用戶(hù)可確認(rèn)指令正確性。

關(guān)鍵結(jié)論

• 各模塊功能均通過(guò)測(cè)試，滿(mǎn)足跨樓層配送需求。
• 目標(biāo)檢測(cè)與路徑規(guī)劃精度待優(yōu)化，可通過(guò)擴(kuò)展數(shù)據(jù)集與算法調(diào)參進(jìn)一步提升。