RT-Thread AIOS，讓小車更懂你！

如何在嵌入式系統(tǒng)上玩轉(zhuǎn) AI，到底是獨(dú)立部署？云端部署？一直是一個(gè)爭議不斷地問題。同時(shí)，隨著人形機(jī)器人技術(shù)的快速發(fā)展，移動(dòng)設(shè)備對(duì)智能化的需求也變得尤為迫切。在這樣一個(gè)背景下，RT-Thread AI 團(tuán)隊(duì)經(jīng)歷對(duì)大量芯片廠商和下游應(yīng)用業(yè)務(wù)公司的咨詢和討論，認(rèn)為在可預(yù)見的未來，AI 會(huì)產(chǎn)生一種端側(cè)和云端混合部署的形態(tài)，即大規(guī)模、大參數(shù)模型運(yùn)行在云端，如大語言模型，而中小規(guī)模、中小參數(shù)模型則運(yùn)行在端側(cè)，形成一種分布式 AI 部署的形態(tài)。本章將以智能小車的整個(gè)開發(fā)過程為例，向大家全景展示如何通過這種分布式 AI 的部署方式，最終實(shí)現(xiàn)傳統(tǒng)小車的智能化過程。在這個(gè)過程中，我們將最大限度的保留原有小車硬件資源，而通過 RT-Thread AIOS 架構(gòu)，最終實(shí)現(xiàn)大模型和端側(cè)小模型協(xié)作，將傳統(tǒng)小車智能化。

2硬件與軟件架構(gòu)

硬件上，智能小車的車控部分搭載了意法半導(dǎo)體最基礎(chǔ)的 STM32407VET 芯片，該模塊結(jié)合藍(lán)牙模塊、OLED 顯示屏、激光雷達(dá)等模塊，同時(shí)將 RT-Thread AIOS 框架集成在該芯片上，實(shí)現(xiàn)小車和云端大語言模型的交互。同時(shí)，小車配備了 Vision-Board 開發(fā)板，為智能小車構(gòu)建了一個(gè)高性能的機(jī)器視覺模塊。Vision-Board 開發(fā)板搭載 Cortex-M85 架構(gòu)的 RA8D1 處理器，配備 LCD 顯示屏和攝像頭，能夠進(jìn)行實(shí)時(shí)圖像處理和顯示，通過串口和 STM32407VET 芯片進(jìn)行交互。軟件上，兩款芯片均使用了 RT-Thread 實(shí)時(shí)操作系統(tǒng)作為控制系統(tǒng)，提供了一系列應(yīng)用組件和驅(qū)動(dòng)框架，如 TCP/IP 協(xié)議棧，虛擬文件系統(tǒng)，POSIX 接口，圖形用戶界面，F(xiàn)reeModbus 主從協(xié)議棧，CAN 框架，動(dòng)態(tài)模塊等。通過對(duì)智能小車車控功能語義級(jí)別的學(xué)習(xí)和應(yīng)用，最終通過云端的大模型控制小車實(shí)現(xiàn)各種復(fù)雜功能。在大模型方面，智能小車采用基于開源大模型 SenseVoiceSmall 和通義千問大模型的微調(diào)模型進(jìn)行聯(lián)合處理。其中，SenseVoiceSmall 作為一個(gè)輕量化的語音識(shí)別模型，能夠高效地將語音實(shí)時(shí)轉(zhuǎn)化為文本。通義千問則對(duì)文本內(nèi)容進(jìn)行智能解析和理解，最終轉(zhuǎn)換成小車可執(zhí)行的邏輯和指令。在端側(cè)的計(jì)算機(jī)視覺方面，為達(dá)到智能感知的效果，智能小車采用 openMV 進(jìn)行圖像處理，其搭載的處理器和攝像頭可以輕松勝任小車的諸多功能，通過 openMV 實(shí)現(xiàn)了循跡、色塊追蹤、二維碼識(shí)別、人臉追蹤等功能，同時(shí)可以在 LCD 顯示器上迅速、直觀地看到 openmv 圖像處理的過程。

智能小車支持 C/Python 等多種編程語言，提供豐富的接口，方便開發(fā)者靈活調(diào)用各類功能模塊。

3

一些例子

語音控制基于 SenseVoiceSmall 和通義千問實(shí)現(xiàn)，深度融合了 AI 技術(shù)，用戶通過語音指令對(duì)小車進(jìn)行控制，不僅可以在多種模式之間隨心切換，還能精準(zhǔn)控制小車的運(yùn)動(dòng)狀態(tài)。常用的模式包括循跡、色塊追蹤、二維碼識(shí)別、人臉追蹤、雷達(dá)避障、雷達(dá)跟隨以及雷達(dá)走直線等。

3.1

示例 1：智能小車底盤控制

通過語音識(shí)別切換到尋跡模式后，智能小車通過攝像頭實(shí)時(shí)采集圖像，智能分析路面狀況，精準(zhǔn)識(shí)別并追蹤指定路線。

3.2

示例 2：目標(biāo)追蹤

在色塊追蹤模式中，智能小車能夠識(shí)別特定顏色的物體，并自動(dòng)調(diào)整運(yùn)動(dòng)軌跡以追蹤目標(biāo)。小車還可以識(shí)別并獲得二維碼中的信息。

智能小車具備人臉識(shí)別功能，能夠人臉錄入系統(tǒng)中。錄入后，小車便能自動(dòng)追蹤庫中包含的目標(biāo)人物，智能地跟隨其移動(dòng)。

以上功能充分展示了機(jī)器視覺在智能小車中的靈活應(yīng)用，通過與小車的互動(dòng)，能夠深入理解圖像處理和物體識(shí)別等關(guān)鍵技術(shù)。

3.3

示例 3：激光雷達(dá)應(yīng)用

為了一步提升小車的智能化水平和環(huán)境感知能力，我們?cè)谛≤嚿霞友b了激光雷達(dá)，這使小車能夠?qū)崟r(shí)獲取距離信息，從而更有效地避開障礙物，加裝激光雷達(dá)后，小車的整體性能得到了顯著提升。

例如，基于激光雷達(dá)的避障功能，即使小車在一個(gè)狹小的空間內(nèi)，也可以行動(dòng)自如。

上文中我們提到了人臉追蹤功能，在激光雷達(dá)加持下，即使我們沒有錄入人臉也可以實(shí)現(xiàn)跟蹤，啟動(dòng)雷達(dá)跟蹤可以使小車跟蹤附近的一個(gè)物體并保持一定距離。

另外，雷達(dá)走直線模式通過對(duì)參照物體的識(shí)別來實(shí)現(xiàn)小車的直線運(yùn)動(dòng)。小車能夠以其左側(cè)的物體平面作為參照，保持穩(wěn)定的直線行駛。如果需要更換其他角度作為參照，只需對(duì)代碼進(jìn)行相應(yīng)修改或直接修改雷達(dá)角度即可。

3.4

總結(jié)：

我們已經(jīng)展示的功能顯示了在 RT-Thread AIOS 框架上，可以通過語音交互對(duì)基于 RT-Thread OS 的設(shè)備進(jìn)行智能化，最終使得系統(tǒng)理解指令、執(zhí)行指令實(shí)現(xiàn)指令發(fā)出者的控制目標(biāo)。此外，用戶也可以自行增加定制的源語級(jí)控制函數(shù)到 AIOS 框架中，并通過云端大模型進(jìn)行理解和學(xué)習(xí)，最終通過語音交互進(jìn)行控制，使得系統(tǒng)變得更加靈活、智能。