基于Jetson NANO的助手機(jī)器人

描述

杰森姐妹

Jetson姐妹是兩款基于Jetson Nano開發(fā)系統(tǒng)的輔助機(jī)器人。這些機(jī)器人被設(shè)計(jì)為老年人或獨(dú)居者的助手機(jī)器人。每個機(jī)器人都具有彼此不同的特征，因此每個機(jī)器人都可以提供可以更好地與用戶交互的技能。大姐姐是專為戶外工作而設(shè)計(jì)的機(jī)器人。它更堅(jiān)固，非常適合在家外工作。作為專為戶外工作而設(shè)計(jì)的機(jī)器人，大姐姐可以承載更多的重量，這可以讓用戶將其用作去超市購物的工具或作為伴侶（該機(jī)器人具有差分運(yùn)動學(xué)）。

另一方面，小姐姐是一種更小、更不堅(jiān)固的機(jī)器人，專為小公寓等室內(nèi)設(shè)計(jì)而設(shè)計(jì)（該機(jī)器人具有全向運(yùn)動學(xué)）。由于這些機(jī)器人的可能用途，每個機(jī)器人都包含人工智能 (AI) 算法，使它們能夠識別人、情緒并識別家中的不同位置。由于 Jetson 姐妹的主要想法是與人互動，因此我們加入了與語音助手 Alexa 的聯(lián)系。這樣，用戶可以通過自然語言（語音）控制姐妹們，允許下達(dá)諸如“你可以去廚房”之類的命令。

姐姐嵌入了回聲輸入（圖 2）。而妹妹可以通過 Alexa 生態(tài)系統(tǒng)中的任何其他設(shè)備進(jìn)行控制。

而妹妹可以通過 Alexa 生態(tài)系統(tǒng)中的任何其他設(shè)備進(jìn)行控制。

然而，用如此強(qiáng)大的開發(fā)工具構(gòu)建了一個搶劫并能夠使用語音連接到 Alexa，我想到了......為什么不讓大姐通過低功耗藍(lán)牙 (BLE) 進(jìn)行通信，從而連接可穿戴設(shè)備并將這些信息顯示在 LCD 屏幕上？好吧，從這次叛亂中，大姐姐整合了一個BLE通信系統(tǒng)，它允許通過alexa，知道你的每分鐘節(jié)拍，步數(shù)等。所有這些信息都是從TTGO T-Watch獲得的（雖然這個項(xiàng)目沒有考慮這種可能性使用深度學(xué)習(xí)分析信號，同時我正在這樣做，但由于時間問題，它們沒有顯示）。

Alexa 技能

為了為 Alexa 創(chuàng)建技能，我們在 Alexa Amazon 中注冊了一個帳戶。

在這一步之后，我們通過單擊“創(chuàng)建技能”按鈕來創(chuàng)建我們的技能：

創(chuàng)建技能后，將向用戶提供調(diào)用詞以開始與其交互。例如，如果技能名稱是“robot one”，用戶需要說“Alexa start the robot one”。由于這個項(xiàng)目不是關(guān)于如何做一個alexa技能，而是關(guān)于實(shí)現(xiàn)深度學(xué)習(xí)、機(jī)器人和jetson nano，你可以查看這個教程。

以下是對杰森姐妹各部分的介紹。這兩個系統(tǒng)可以具有相同的視覺硬件，因?yàn)榉诸愃惴í?dú)立于機(jī)器人。出于預(yù)算原因，我不得不進(jìn)行硬件分發(fā)，這意味著一個姐妹將擁有一個 360o 相機(jī)，另一個姐妹將擁有一個深度相機(jī) :'(。

實(shí)感相機(jī)

英特爾? 實(shí)感? 深度攝像頭 D435 是一種立體跟蹤解決方案，可為各種應(yīng)用提供優(yōu)質(zhì)深度。其廣闊的視野非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用，在這些應(yīng)用中，盡可能多地看到場景至關(guān)重要。這款相機(jī)的范圍可達(dá) 10 米，其小巧的尺寸使其可以輕松集成到任何硬件中。它配備了英特爾實(shí)感 SDK 2.0 和多平臺支持。

實(shí)感相機(jī)

英特爾? 實(shí)感? 深度攝像頭 D435 是一種立體跟蹤解決方案，可為各種應(yīng)用提供優(yōu)質(zhì)深度。它的寬視野非常適合機(jī)器人或增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等應(yīng)用，在這些應(yīng)用中，盡可能多地看到場景至關(guān)重要。這款小型相機(jī)的范圍可達(dá) 10 米，可以輕松集成到任何解決方案中，并配備了我們的英特爾實(shí)感 SDK 2.0 和跨平臺支持。

理光THETA V

這個機(jī)器人有一個單廣角鏡頭相機(jī)，這是理光在RICOH THETA Dream and Build Contest中給我頒發(fā)的。相機(jī)的技術(shù)特性可以在以下鏈接中看到。

只需按下快門按鈕，您就可以捕捉到整個周圍的環(huán)境。享受您從未體驗(yàn)過的全新影像世界。

最引起我注意的功能之一是它的處理器 Snapdragon 625。

所以，我想知道我能用這臺相機(jī)做什么，用它來拍照，將它們發(fā)送到網(wǎng)絡(luò)服務(wù)，分析它們并返回分析后的信息……嗯，對我來說這是一種浪費(fèi)。這就是為什么我想到將我的想法分為兩部分，第一部分（簡單的東西）我的機(jī)器人以簡單的方式使用相機(jī)。將它用作另一個攝像頭，這樣我的機(jī)器人就可以對其環(huán)境有全局視野。

硬件說明

在本節(jié)中，我將描述構(gòu)成 Jetson 的兩個姐妹的不同部分。

大姐

至此我們已經(jīng)完成了系統(tǒng)的第一部分，接下來就是大姐的搭建了。為了制作這種結(jié)構(gòu)，我使用了鋁結(jié)構(gòu)（圖 12）：

圖 13 顯示了使用 SolidWorks 工具制作的 3D 設(shè)計(jì)，這是機(jī)器人可以擁有的眾多形狀之一。因?yàn)椋谑褂媚K化系統(tǒng)時，機(jī)器人可以有任何形狀。

下面的圖 14 [A 到 D] 顯示了用于控制機(jī)器人輪子的組件。

大姐分為兩個部分幫助控制機(jī)器人，第一部分負(fù)責(zé) Arduino Mega 2560，第二部分使用 Jetson Nano（圖 10）。Arduino負(fù)責(zé)控制與機(jī)器人底層相關(guān)的一切，即它控制電機(jī)和一些Sharp GP2Y0A2YK0F距離傳感器。這些傳感器用于在檢測到一定距離內(nèi)的物體時為機(jī)器人提供反應(yīng)控制。為了控制電機(jī)機(jī)器人，Jetson Nano 發(fā)送一個 JSON 命令。發(fā)送到 Arduino 的消息被序列化，Arduino 提取不同的元素對其進(jìn)行反序列化。發(fā)送給Arduino的消息如下：

"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}

"Stop_robot": "False", "direction": "True", "linear_speed": "0.2", "angular_speed": "0.0"}

此消息由 4 個字段組成，兩個布爾值和兩個浮點(diǎn)值，布爾字段允許電機(jī)的方向控制（CW 或 CCW）和電機(jī)的停止。另外兩個字段是線速度和角速度。出于安全原因，最大速度被限制為 0.2，這在 PWM 中相當(dāng)于總速度的 20%。

機(jī)器人使用的電機(jī)是兩個吸塵板電機(jī)。

霍爾編碼器連接和電機(jī)電源線的配置如圖 16 所示。

要控制這些電機(jī)，需要為每個電機(jī)配備一個 ESC 控制器。該控制器必須支持 36V 的電壓，因此我們使用了帶有 MODET 晶體管的 ESC，該控制器如下所示（圖 17）。

圖 18 顯示了為控制電機(jī)而進(jìn)行的不同連接（控制電機(jī)和編碼器的電纜顏色是所有電機(jī)的標(biāo)準(zhǔn)顏色）。

然而，這些電機(jī)的一個問題是編碼器，用于控制機(jī)器人的 ESC 具有輸入和輸出。arduino 中斷使用此輸出來計(jì)算電機(jī)的旋轉(zhuǎn)，唯一的問題是如果輪子改變旋轉(zhuǎn)，通過中斷引腳的信號不會改變。

為此需要添加一個外部編碼器，這個編碼器可以幫助機(jī)器人知道輪子的旋轉(zhuǎn)角度和行進(jìn)的距離。用于執(zhí)行此操作的編碼器是AS5048B-TS_EK_AB 。

妹妹

妹妹是使用全向輪式平臺建造的（圖 20 和 21）。

?

軟件說明

在本節(jié)中，我將描述所使用的軟件工具的不同部分，以便 Jetson 工具執(zhí)行不同的交互和多分類任務(wù)。重要的是確定姐妹們使用了三個訓(xùn)練好的模型。其中兩個是靜態(tài)的（情感分類和房子里的地方分類），也就是說只訓(xùn)練一次，第三個模型可以是動態(tài)的。由于用戶可以動態(tài)增加分類的數(shù)量。最后一個模型被稱為“Things of the house”。

?

?

?

深度學(xué)習(xí)部分

這個龐大項(xiàng)目最重要的部分之一是技術(shù)的應(yīng)用和使用 Jetson Nano 的深度學(xué)習(xí)工具。重要的是要指出這些機(jī)器人的想法是它們可以在房子里或街道上工作，最后一個可能是最復(fù)雜的，因?yàn)槲覜]有在戶外工作的激光雷達(dá)：' （。我的機(jī)器人當(dāng)時使用不同的模型來分類，也就是說機(jī)器人使用相同的圖像來確定它所在的位置，人的情緒（如果它檢測到人臉）和檢測家里的物品。

注意：此項(xiàng)目僅適用于此軟件版本：

蟒蛇版本：3.6.9

張量流版本：2.0.0

喀拉斯版本：2.3.1

居所分類

為了使之可行，機(jī)器人必須能夠識別家中的各個地方。為此，機(jī)器人需要一些預(yù)先的過程，即機(jī)器人需要了解它們將展開的位置。為此，需要將機(jī)器人放置在家里的每個房間、廚房、客廳、走廊、房間等。每個地方大約拍攝 200 張圖像。這些圖像是使用360o Ricoh Theta V 相機(jī)騙取的。

這些圖 26 被調(diào)整為 224x224 的大小，一旦調(diào)整大小，數(shù)據(jù)集就被創(chuàng)建，將用于訓(xùn)練網(wǎng)絡(luò)。

圖 27 顯示了在驗(yàn)證階段從房屋中的地點(diǎn)分類獲得的矩陣。從該圖中可以確定，系統(tǒng)正確識別了機(jī)器人所在的位置。

情緒分類

情緒分類是機(jī)器人的一個重要方面，因?yàn)榍榫w會影響人類行為并影響您的健康。正是出于這個原因，我引入了一個情緒分類模型，它可以對 7 種情緒進(jìn)行分類：AF = 害怕，AN = 憤怒，DI = 厭惡，HA = 快樂，NE = 中性，SA = 悲傷和 SU = 驚訝。

?

家里的東西

這是一個負(fù)責(zé)對房屋內(nèi)的物品進(jìn)行分類的模型，這是一個動態(tài)模型。這意味著用戶可以修改它，在模型中添加類。這個模型的活力，主要是因?yàn)椴⒉皇撬械姆孔佣加邢嗤膶ο蟆?/font>

?

圖 30，家庭事物混淆矩陣

?

?

附錄

機(jī)器人要與alexa skill進(jìn)行通信，需要用到ngrok工具。這允許在 alexa 和機(jī)器人之間創(chuàng)建一個通信隧道。

端口：3000

sudo ./ngrok http 3000

NVIDIA 開發(fā)用戶：Jaime Andres Rincon Arango

?

圖 31，HTML 界面。

?

?

結(jié)論和未來的工作

已展示的項(xiàng)目是我正在做的個人項(xiàng)目的一小部分，主要目標(biāo)是將深度學(xué)習(xí)算法集成到 Jetson Nano 中。與此同時，我一直在嘗試將這些機(jī)器人與亞馬遜的 Alexa 語音助手相結(jié)合。然而，由于機(jī)器人需要時間來整理情緒、房子的位置和房子里的東西，所以這種整合并不成功。作為未來的工作，我希望與 Nvidia Isaac 集成，以減少語音交互時的延遲。除了改進(jìn)導(dǎo)航算法外，對內(nèi)部（小姐姐）和外部（大姐姐）使用激光雷達(dá)，并通過強(qiáng)化使機(jī)器人融入學(xué)習(xí)。集成基于多代理系統(tǒng)的系統(tǒng)，使兩姐妹相互協(xié)作，

?

可能的錯誤

如果您在使用 Flask、Keras 和 Tensorflow 時遇到此錯誤，可以在此鏈接中查看解決方案。

AttributeError: '_thread._local' 對象沒有屬性 'value'

注意：已描述的項(xiàng)目不是周末項(xiàng)目。這是一個復(fù)雜的項(xiàng)目，其中集成了不同的 AI 技術(shù)以及不同級別的編程。

?