Alexa控制的樂高生物實(shí)驗(yàn)

描述

Alexa 控制的樂高生物實(shí)驗(yàn)

背景

空間。最后的邊界。在 NASA 準(zhǔn)備重返月球之際，國際空間站在過去 20 年中一直以 17, 000 英里/小時(shí)的速度飛越天空，進(jìn)行了數(shù)不清的科學(xué)研究，造福了地球上的我們。這項(xiàng)研究的一個(gè)關(guān)鍵主題是研究微重力下生命的行為，包括人類水平和微觀尺度。當(dāng)人類夢(mèng)想在其他星球上定居時(shí)，我們必須首先嚴(yán)格了解生物有機(jī)體如何在微重力下運(yùn)作。一些在地球上相對(duì)無害的病原體在微重力環(huán)境下會(huì)變得危險(xiǎn)嗎？人造器官可以在失重環(huán)境中生長和制造嗎？空間究竟如何改變細(xì)胞的功能？哪些醫(yī)學(xué)進(jìn)步可以拯救地球上的生命？

太空實(shí)驗(yàn)很昂貴。一名宇航員的時(shí)間價(jià)值每小時(shí) 60, 000 到 80, 000 美元。許多宇航員本身并不是科學(xué)家，而是工程師和飛行員。他們接受了廣泛的實(shí)驗(yàn)培訓(xùn)和指導(dǎo)程序，但基礎(chǔ)科學(xué)往往不是他們的母語學(xué)科。

此外，未來的火星任務(wù)可能會(huì)發(fā)現(xiàn)它們離地球太遠(yuǎn)，無法與任務(wù)控制中心進(jìn)行實(shí)時(shí)交互以幫助運(yùn)行或進(jìn)行實(shí)驗(yàn)。如果是這種情況，工作人員必須自給自足，并獲得進(jìn)行實(shí)驗(yàn)所需的幫助。

問題陳述

由于在低地球軌道 (LEO) 和長時(shí)間的行星際飛行期間運(yùn)行和監(jiān)測(cè)微重力實(shí)驗(yàn)的復(fù)雜性，宇航員需要一種與實(shí)驗(yàn)交互的直觀方法，從而消除對(duì)特定科學(xué)領(lǐng)域的利基知識(shí)的需求，并促進(jìn)簡單的互動(dòng)與最少的培訓(xùn)。

解決方案概述

為解決此解決方案，我制作了 ALBERT 或 Alexa 控制的 LEGO Biological ExpeRimenT 原型。ALBERT 展示了語音控制實(shí)驗(yàn)界面的有效性，該界面允許宇航員在沒有與任務(wù)控制持續(xù)通信且無需大量培訓(xùn)的情況下直觀地與系統(tǒng)交互。

在目前的形式下，ALBERT 能夠?qū)φZ音命令做出反應(yīng)，以創(chuàng)建新的細(xì)菌生長實(shí)驗(yàn)、選擇、擦拭、儲(chǔ)存和監(jiān)測(cè)瓊脂平板。宇航員只需要插入一根棉簽并說：“Alexa，使用這個(gè)棉簽。” 要檢查實(shí)驗(yàn)，機(jī)組人員可以簡單地問，“Alexa，檢查板 1”。鑒于 ALBERT 是由樂高材料制成的，它確實(shí)嘗試了一些成功的可變性，但是，它反復(fù)能夠創(chuàng)建和存儲(chǔ)盤子。

直觀語音控制的重要性

ALBERT 直觀的語音控制界面對(duì)其主要目標(biāo)至關(guān)重要——簡化復(fù)雜實(shí)驗(yàn)的界面，使幾乎未經(jīng)訓(xùn)練的機(jī)組人員能夠快速、熟練地創(chuàng)建和監(jiān)控科學(xué)研究。當(dāng)前工作的擴(kuò)展將允許與多個(gè)實(shí)驗(yàn)進(jìn)行動(dòng)態(tài)語音交互，圖像處理和數(shù)據(jù)記錄的集成，以及從發(fā)射到著陸的整個(gè)實(shí)驗(yàn)過程的關(guān)鍵簡化。

為什么選擇 Alexa？

Alexa 是 ALBERT 的完美語音輸入方法。通過意圖對(duì)命令進(jìn)行分類，Alexa 理解話語背后目的的能力優(yōu)于簡單的語音識(shí)別系統(tǒng)。此外，Alexa 與許多其他工具和系統(tǒng)集成的能力為其用作具有直觀交互的復(fù)雜系統(tǒng)（例如軌道實(shí)驗(yàn)室或航天器）的統(tǒng)一自然語言界面打開了大門。

應(yīng)用

與為太空探索開發(fā)的許多其他技術(shù)一樣，ALBERT 的影響可以遠(yuǎn)遠(yuǎn)超出國際空間站或行星際飛行器。潛在的其他應(yīng)用包括：

地球上的自動(dòng)化實(shí)驗(yàn)室（像這樣）

展示將實(shí)驗(yàn)室與語音助手（如 Alexa）集成以實(shí)現(xiàn)統(tǒng)一的人機(jī)實(shí)驗(yàn)室或乘員車輛界面的價(jià)值

促進(jìn)可以利用新的深度學(xué)習(xí)和人工智能技術(shù)的全自動(dòng)實(shí)驗(yàn)監(jiān)控工具的開發(fā)

設(shè)計(jì)問題

在構(gòu)建 ALBERT 原型時(shí)，遇到了幾個(gè)關(guān)鍵的設(shè)計(jì)問題。此處簡要總結(jié)了它們以及所選的解決方案。

剛架

項(xiàng)目開始時(shí)的一個(gè)關(guān)鍵問題是確保必要部分（工作站、機(jī)械臂、無菌板存儲(chǔ)和現(xiàn)場實(shí)驗(yàn)存儲(chǔ)）的仔細(xì)定位。這些組件之間的錯(cuò)位會(huì)對(duì)程序的可靠性和可重復(fù)性產(chǎn)生負(fù)面影響。

為了緩解這種情況，所有關(guān)鍵模型都固定在鋁制 TETRIX 框架上。

鋁制 TETRIX 底座

可靠的板定位

樂高齒輪系經(jīng)常會(huì)經(jīng)歷大量的活動(dòng)，使得非常精確的定位變得非常困難。然而，盤子必須始終放置在工作站上的狹窄區(qū)域，以使手臂能夠可靠地抬起和更換蓋子。此外，垂直存儲(chǔ)架幾乎沒有水平位置誤差的余地。

通過將軸作為導(dǎo)軌放置在工作站轉(zhuǎn)盤的底部，我可以確保即使在出現(xiàn)水平操縱器錯(cuò)誤的情況下，也能將盤子向下引導(dǎo)到轉(zhuǎn)盤中。為確保印版能夠始終如一地垂直存放，機(jī)架設(shè)計(jì)中包含了傾斜的導(dǎo)軌。

擦拭盤子

要制作實(shí)驗(yàn)板，拭子不能簡單地接觸瓊脂，而必須在一定面積的表面上擦拭。

我沒有需要第二個(gè)機(jī)械臂來在瓊脂表面上操縱棉簽，而是選擇直接旋轉(zhuǎn)培養(yǎng)皿以在其表面上劃出弧線。只需將帶有橡膠輪胎的電機(jī)連接到工作站，即可輕松旋轉(zhuǎn)盤子，無需復(fù)雜的組裝。

旋轉(zhuǎn)盤子的橡膠輪

控制兩個(gè)子系統(tǒng)

為了限制復(fù)雜性，ALBERT 分為兩個(gè)主要子系統(tǒng)：機(jī)械臂和工作站。ALBERT 的主控制器 EV3 智能程序塊必須能夠與工作站通信以觸發(fā)擦拭和監(jiān)控操作。

ev3dev 操作系統(tǒng)使 EV3 能夠使用nxt-python庫通過 USB 連接遠(yuǎn)程控制 NXT。

兩位夾持器/手腕

要垂直存放板并將它們水平放置在工作站中，需要兩個(gè)手臂位置，水平和垂直。

腕關(guān)節(jié)可以實(shí)現(xiàn)這種旋轉(zhuǎn)，但必須注意將腕關(guān)節(jié)旋轉(zhuǎn)軸與末端執(zhí)行器的中心對(duì)齊。未對(duì)準(zhǔn)會(huì)導(dǎo)致水平和垂直夾持器方向彼此略微偏移，從而在放置板或取下蓋子時(shí)引起問題。

手腕機(jī)構(gòu)

可重復(fù)的基本位置

手臂必須能夠在無菌架、工作站和存儲(chǔ)架上重復(fù)定位。最初，這是通過航位推算完成的，但為了提高性能，EV3 顏色傳感器用于檢測(cè)手臂底座旋轉(zhuǎn)時(shí)的彩色條紋。

使用彩色膠帶作為關(guān)鍵點(diǎn)標(biāo)記

提起培養(yǎng)皿蓋

提起盤蓋很困難。在我的估計(jì)中，公差只有大約 +/- 0.25 厘米，這是很難用樂高齒輪實(shí)現(xiàn)的。雖然 ALBERT 幾次抓住邊緣都能掀開蓋子，但并不一致。蓋子通常會(huì)在夾具中轉(zhuǎn)動(dòng)，防止它被重新裝回盤子上，或者完全滑出夾具。

解決辦法是稍微修改一下盤子的蓋子，增加一個(gè)“把手”，抓手可以很容易地抓住它。這個(gè)手柄由兩個(gè)錐齒輪制成，并用熱膠粘在盤蓋上。

原型管道膠帶手柄和最終的熱粘錐齒輪手柄

軟件架構(gòu)

軟件堆棧分為兩個(gè)主要部分：Alexa 托管的 Node.js 技能和 EV3 上的 Python Alexa Gadget 代碼。

Alexa 技能

Alexa技能代碼可在技能目錄中瀏覽。遵循 LEGO MINDSTORMS Alexa 挑戰(zhàn)的示例任務(wù)模式，定義并實(shí)施了幾個(gè)關(guān)鍵意圖。

MakePlateIntent - 此意圖將“制作盤子”指令發(fā)送到 EV3 小工具

CheckPlateIntent - 此意圖將“檢查車牌”指令連同要檢查的車牌號(hào)一起發(fā)送到 EV3 小工具。在大多數(shù)情況下，這將是一個(gè)，但將來會(huì)擴(kuò)展到具有多個(gè)存儲(chǔ)架的設(shè)備。

GadgetEventHandler - 此處理程序捕獲從 EV3 小工具返回的事件，以報(bào)告板材何時(shí)制作或先前制作的板材的狀態(tài)。

EV3 Python 小工具代碼

小工具代碼旨在從基于云的 Alexa 技能接收小工具命令并激活 ALBERT。這包括一個(gè)將 ALBERT 的功能封裝在albert.py中的類和一個(gè)基于示例代碼的小工具類，在albert_gadget.py中編寫。小工具代碼與用作起點(diǎn)的示例任務(wù)非常相似。ALBERT 控制代碼廣泛使用為操縱器（手臂）定義的關(guān)鍵點(diǎn)，以簡潔地編碼每項(xiàng)任務(wù)所需的運(yùn)動(dòng)序列。然后可以從小工具代碼觸發(fā)這些任務(wù)。主要的小工具事件處理程序很簡單，處理 Alexa 指令并根據(jù)任務(wù)生成事件。

?

def on_custom_mindstorms_gadget_control(self, directive):
    try:
        payload = json.loads(directive.payload.decode("utf-8"))
        print("Control payload: {}".format(payload), file=sys.stderr)
        control_type = payload["type"]
        if control_type == "make_plate":
            # make the plate
            self.albert.make_plate()
            self.plate_counter += 1
            self.send_custom_event('Custom.Mindstorms.Gadget', 'plate_finished', {
                'plate_number': self.plate_counter
            })
        elif control_type == "check_plate":
        # check the plate
        # will need plate number
        number = int(payload["plate_number"])
        if number > self.plate_counter:
            self.send_custom_event('Custom.Mindstorms.Gadget', 'plate_status', {
                'plate_number': -1
            })
        else:
            refl = self.albert.check_plate()
            self.send_custom_event('Custom.Mindstorms.Gadget', 'plate_status', {
                'plate_number': number,
                'reflectivity': round(refl, 2)
            })
    except KeyError:
        print("Missing expected parameters: {}".format(directive), file=sys.stderr)

?

這是albert.py中的一段代碼，用于使用顏色傳感器對(duì)齊底座。注意最后的旋轉(zhuǎn)，將傳感器從彩色膠帶的邊緣移動(dòng)到中心。這可確保底座在從任一方向旋轉(zhuǎn)時(shí)都停在正確的位置。

?

def rotate_base(self, color):
    '''
    Rotate from one color indicator to another.
    Color order is:
    YELLOW <--> BLUE   <--> RED
    STORE  <--> STATION <--> STERILE
    '''
    current_color = self.color_sensor.color
    if current_color == color:
        return
    direction = 1
    if (current_color == STATION_COLOR and color == STERILE_COLOR) or current_color == STORE_COLOR:
        direction = -1
    self.arm_base.on(SPEEDS[0]*direction, block=False)
    while self.color_sensor.color != color:
        pass
    self.arm_base.stop()
    self.arm_base.on_for_rotations(SPEEDS[0], direction*STRIPE_BIAS)

?

連同將肩膀和手腕移動(dòng)到關(guān)鍵點(diǎn)的功能，這使我們可以編寫如下程序功能：

?

def get_plate(self, from_storage=False, upside_down=False):
    '''
    Sequence to get a plate and place it in the workstation.
    Post-conditions
    Gripper: WIDE
    Arm:     DOWN
    Base:    STATION
    '''
    src = STORE_COLOR if from_storage else STERILE_COLOR
    self.move_to_keypoint(KP_UP_HORZ)
    self.rotate_base(src)
    self.set_gripper(GRIP_NARROW)
    self.move_to_keypoint(KP_DOWN_HORZ)
    self.set_gripper(GRIP_CLOSED)
    self.move_to_keypoint(KP_UP_HORZ)
    self.rotate_base(STATION_COLOR)
    dest_up = KP_UP_VERT_INVERT if upside_down else KP_UP_VERT
    dest_down = KP_DOWN_VERT_INVERT if upside_down else KP_DOWN_VERT
    self.move_to_keypoint(dest_up)
    self.move_to_keypoint(dest_down)
    self.set_gripper(GRIP_WIDE)
    self.move_to_keypoint(KP_DOWN_HORZ)

?

可以進(jìn)一步調(diào)用這些來執(zhí)行完整的任務(wù)：

?

def make_plate(self):
    ''' Sequence to make a plate. '''
    self.get_plate()
    self.lift_lid()
    self.swab_plate()
    self.lower_lid()
    self.store_plate()

?

一些支持函數(shù)支持檢查印版時(shí)使用的附加參數(shù)：

?

def check_plate(self):
    ''' Sequence to check plate. '''
    self.get_plate(from_storage=True, upside_down=True)
    self.move_to_keypoint(KP_UP_HORZ)
    refl = self.station.check_status()
    self.move_to_keypoint(KP_DOWN_HORZ)
    self.store_plate(is_upside_down=True)
    return refl

?

workstation.py文件利用nxt-python庫通過USB 連接遠(yuǎn)程控制 NXT。首先，我們可以設(shè)置工作站連接：

?

self.brick = nxt.locator.find_one_brick(method=nxt.locator.Method(bluetooth=False))
self.color = Color20(self.brick, PORT_4)
self.tilt_motor = Motor(self.brick, PORT_B)
self.rotate_motor = Motor(self.brick, PORT_C)

?

拭子和檢查板操作簡單，將頭部移動(dòng)到位并在必要時(shí)旋轉(zhuǎn)培養(yǎng)皿。擦拭功能如下所示：

?

def swab(self):
    self.tilt_motor.turn(TILT_MOTOR_POWER, TILT_DEGREES)
    self.rotate_motor.turn(ROTATE_MOTOR_POWER,PLATE_ROTATION_DEGREES)
    self.tilt_motor.turn(-TILT_MOTOR_POWER, TILT_DEGREES)

?

所有代碼都封裝在類中，方便維護(hù)。

建立你自己的

所有 CAD 模型都是使用Studio創(chuàng)建的。為簡潔起見，省略了分步構(gòu)建說明，因?yàn)槟鷺?gòu)建的 ALBERT 可能具有不同的外形或?qū)嶒?yàn)設(shè)計(jì)。

1. 構(gòu)建手臂

附上手臂 CAD 模型以了解有關(guān)構(gòu)建手臂的詳細(xì)信息。

2.搭建工作站

使用附加的workstation.io文件構(gòu)建工作站。

3. 構(gòu)建 TETRIX 底座和板架

使用plate_holder.io構(gòu)建兩個(gè)板架（鏡像）。

為了創(chuàng)建帶有彩色條紋的平臺(tái)，我使用了一段泡沫芯板。將手臂與每個(gè)無菌架、工作站和存儲(chǔ)架對(duì)齊，并分別在傳感器下方放置一條紅色、藍(lán)色和黃色膠帶。

4. 設(shè)置軟件環(huán)境

1. 從下載頁面下載 ev3dev 。

2. 使用Etcher將映像刷入 SD 卡。

3. 使用 USB A-to-Mini-B 電纜將 EV3 程序塊連接到您的計(jì)算機(jī)并啟用 USB 互聯(lián)網(wǎng)共享。

4. 在您??的計(jì)算機(jī)上，安裝Microsoft 的Visual Studio Code 。

5. 安裝后，打開擴(kuò)展面板 ( Ctrl+Shift+X )。然后搜索并安裝ev3dev-browser擴(kuò)展。

6. 在您的計(jì)算機(jī)上，從GitHub存儲(chǔ)庫下載源代碼。如果您不熟悉 git，只需使用本頁右上角的按鈕將代碼下載為 zip 文件。高級(jí)用戶可以克隆存儲(chǔ)庫。

7. 為了與 NXT 工作站通信，nxt-python必須安裝在 EV3 （不是你的電腦）上。為此，您需要在 EV3 程序塊終端中運(yùn)行一些命令。

要訪問此終端，請(qǐng)展開資源管理器面板底部的“ev3dev 設(shè)備瀏覽器”組 ( Ctrl+Shift+E ) 并通過單擊“單擊此處連接設(shè)備”連接到您的程序塊。

連接后，右鍵單擊 ev3dev 設(shè)備并選擇“打開 SSH 終端”。

在終端中運(yùn)行以下命令（您可以忽略以“#”開頭的行；這些是注釋）

?

# install pip3 (python3 package manager)
sudo apt install python3-pip

# install pyusb for USB connection to NXT
sudo pip3 install pyusb

# install nxt-python (python3 beta)
wget https://github.com/ev3dev/nxt-python/archive/ev3dev-stretch.zip
unzip ev3dev-stretch
cd nxt-python-ev3dev-stretch
python3 setup.py install # you may need to prepend `sudo`

?

5. 設(shè)置 Alexa 小工具

（這些步驟改編自LEGO MINDSTORMS 語音挑戰(zhàn)任務(wù) 1示例）

1.如果您還沒有亞馬遜開發(fā)者賬戶，請(qǐng)創(chuàng)建一個(gè)

2. 進(jìn)入Alexa語音服務(wù)頁面，點(diǎn)擊“產(chǎn)品”按鈕。

3. 點(diǎn)擊頁面右上角的“創(chuàng)建產(chǎn)品”按鈕。

4. 將產(chǎn)品命名為“MINDSTORMS EV3”，ID 為“EV3_01”。產(chǎn)品類型可以是“Alexa Gadget”，類別是“Animatronic or Figure”。填寫說明，如果打算進(jìn)行商業(yè)分發(fā)，則選擇“否”，如果是兒童產(chǎn)品，則選擇“否”。點(diǎn)擊完成產(chǎn)品創(chuàng)建。

5. 在控制臺(tái)的設(shè)備列表中單擊您的新設(shè)備。

6. 在產(chǎn)品頁面上，記下 Amazon ID 和 Alexa Gadget Secret 代碼。稍后您將需要它們。

6. 編寫 Alexa 技能

（這些步驟改編自LEGO MINDSTORMS 語音挑戰(zhàn)任務(wù) 3示例。）

1. 轉(zhuǎn)到Alexa Developer Console ，然后單擊頁面右側(cè)的藍(lán)色“Create Skill”按鈕。

2. 將技能命名為“ALBERT”并使用默認(rèn)選擇的“Custom”模型。在頁面底部，選擇“Alexa-Hosted (Node.js)”。完成點(diǎn)擊技能創(chuàng)建頁面。

3. 通過在左側(cè)菜單中選擇“Interfaces”并打開“Custom Interface Controller”來啟用自定義界面控制器。使用頁面頂部的按鈕保存更新。

4. 接下來，通過單擊左側(cè)菜單中的“JSON 編輯器”項(xiàng)（在“交互模型”標(biāo)題下）設(shè)置交互模型，然后從ALBERT 源代碼的技能文件夾中拖放model.json文件。使用頁面頂部的按鈕保存并構(gòu)建模型。

5. 單擊屏幕頂部的“代碼”選項(xiàng)卡。創(chuàng)建以下文件并將相應(yīng) ALBERT 源文件中的內(nèi)容復(fù)制并粘貼到skill/lambda目錄中。

common.js - 常見的意圖處理，例如尋求幫助或取消操作（來自 Mission 3）

index.js - 包含主要意圖和事件處理程序

package.json - 包信息

util.js - 實(shí)用程序代碼（來自 Mission 3）

6.點(diǎn)擊“保存”，然后點(diǎn)擊“部署”來激活你的技能！

7. 在gadget目錄下創(chuàng)建albert_gadget.ini文件，內(nèi)容如下：

?

[GadgetSettings]
amazonId = YOUR_GADGET_AMAZON_ID
alexaGadgetSecret = YOUR_GADGET_SECRET
[GadgetCapabilities]
Custom.Mindstorms.Gadget = 1.0

?

ID 和 secret 是第 5 步中的值。

7. 下載運(yùn)行

差不多好了！在 VS Code 資源管理器面板 ( Ctrl+Shift+E ) 中，在屏幕底部找到 ev3dev 設(shè)備。單擊 ev3dev 設(shè)備瀏覽器標(biāo)題左邊緣附近的下載按鈕。

如果您沒有看到此按鈕，請(qǐng)確保您已連接到您的 EV3 程序塊

復(fù)制文件后，找到albert/gadget/albert_gadget.py文件，右鍵單擊它，然后選擇“運(yùn)行”。

如果這是您第一次跑步，您需要通過藍(lán)牙將 EV3 與您的 Alexa 設(shè)備配對(duì)。您可以通過 Alexa 應(yīng)用程序執(zhí)行此操作。確保 EV3 的藍(lán)牙已打開。

如果您遇到藍(lán)牙在 EV3 上不可用的問題，請(qǐng)參閱此 Github 問題。TL;DR：在您的 EV3 終端（安裝nxt-python 的同一終端）上運(yùn)行這些行

?

sudo systemctl mask systemd-rfkill.service
sudo systemctl mask systemd-rfkill.socket

?

然后重啟你的 EV3。

關(guān)于我

嘿！我是 Matthew，我正在攻讀機(jī)器學(xué)習(xí)博士學(xué)位。在肯塔基大學(xué)，10 多年前通過 NXT 首次與 LEGO MINDSTORMS 合作。在我的博客https://mruss.dev上更多地了解我。

---

這些說明截至 2019 年 12 月 25 日是最新的。

?