基于瑞薩RA8 MCU的語音麥輪小車解決方案

今天給大家介紹瑞薩合作伙伴逐飛科技開發(fā)的一款基于RA8系列微處理器的RA8D1為主控的一臺智能語音小車，該小車搭載多種傳感器模塊，能夠實現精確的姿態(tài)控制、姿態(tài)調整、無線圖像傳輸與顯示、語音識別和自動抓取等功能。

語音麥輪小車方案

1

小車硬件框架

硬件部分主要以瑞薩RA8D1 MCU為核心，圍繞其設計的核心板和擴展板擁有豐富的外設接口和擴展能力。主板通過外部的3S鋰電池進行供電，通過高效的LDO為系統(tǒng)提供6V、5V和3.3V等多級電壓輸出，以滿足不同模塊的特定供電要求。為簡化各個模塊的連接，主板的接口按照模塊的接口形式進行劃分，并確保所有模塊的控制線路與核心板已分配引腳進行連接。

2

小車任務概括

小車任務是圍繞智能語音交互完成抓取任務，且設計有人機交互，通過屏幕實現信息的輸入輸出、并且監(jiān)控車模的姿態(tài)、狀態(tài)以及實時顯示由車載攝像頭捕獲的圖像。小車系統(tǒng)內部自動完成的姿態(tài)閉環(huán)控制，能對車模進行精準的操作。支持局域網內無線圖傳以及通過語音命令控制車模。在發(fā)現目標物體后，通過對小車和機械臂的控制，自動實現對空間物體的定位和抓取。

3

小車主要硬件介紹

RA8微處理器

瑞薩電子RA8D1 MCU系列是業(yè)界首款基于ArmCortex-M85（CM85）內核的32位圖形微控制器（MCU），能夠在480 MHz頻率下實現超過3000 CoreMark分數的突破性性能，可支持高分辨率顯示和視覺AI應用的卓越圖形功能。此系列屬于通用型MCU器件，適用于工業(yè)自動化、家用電器、智能家居、消費品、樓宇/家居自動化和醫(yī)療/保健細分市場中的各種高性能和計算密集型應用場景。

RA8D1 MCU集成了高性能CM85內核和大內存，以及豐富的外設集，包括帶并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D繪圖引擎、16位攝像頭接口和多個外部內存接口，經過優(yōu)化可滿足各種圖形和視覺AI應用的需求。此類MCU采用176引腳和224引腳封裝。

RA8核心板

核心板基于RA8芯片進行設計制作，核心板包含晶振、復位、SDRAM、FLASH、BOOT電路，引出了的下載調試接口、TF卡接口、SD卡接口，其他引腳作為連接主板引出。RA8芯片支持外接高達32M的SDRAM作為內存拓展，核心板布局如下圖所示：

RA8擴展板

擴展板則基于RA8核心板制作，根據已分配的外設引腳，留出相應的接口，方便后續(xù)連接外設模塊。擴展板的布局如下圖所示：

屏幕模塊

RA8芯片帶有LCD的MIPI接口，MIPI協(xié)議采用了高速差分信號傳輸技術，可以減少信號干擾和噪聲。使用的資源上，MIPI接口的引腳比SPI屏幕更少，通信速度也比常規(guī)的SPI或者并口通信快很多，所以方案中選用MIPI接口的3.1寸的IPS屏幕，像素大小為800*480。經過測試，純刷屏速度能達到50fps+。結合觸摸面板，便可以做到非常好的交互體驗。

電機驅動模塊

麥輪小車有4個電機，在小車上采用兩塊DRV8701E雙H橋電機驅動模塊來驅動車模的四個輪子，實現了對每個輪子的獨立電機控制，在方案中使用RA8的General PWM Timer（GPT）外設作為PWM輸出控制，對每一路的PWM輸出精確控制。

攝像頭模塊

選用了OV2640彩色攝像頭，它支持直接輸出JPEG格式的圖像數據。這一特性極大地簡化了圖像處理流程，RA8的16位攝像頭接口CEU，不管是攝像頭的RGB數據還是JPEG數據，都能通過CEU外設進行采集。通過CEU，最大可以采集2560*1920分辨率的圖像。

4

小車主要軟件介紹

軟件流程

RA8配套的支持包中就包含了多個系統(tǒng)的支持，在工程創(chuàng)建的過程中選擇需要使用的系統(tǒng)，后續(xù)便自動將對應的系統(tǒng)文件添加到工程中。方案中選擇了FreeRTOS系統(tǒng)作為整體任務的分配以及管理，任務如下圖所示：

屏幕GUI控制

該方案為了實現更為直觀和用戶友好的操作體驗，利用了圖形用戶界面（GUI）組件來展示攝像頭捕獲的實時圖像以及關鍵參數。通過GUI的設計，不僅能夠確保圖像的清晰顯示，還能夠對界面布局和參數展示進行優(yōu)化，從而提升視覺效果和用戶交互的便捷性。

在GUI的設計上，選擇了LVGL作為框架，并利用GUI-Guider軟件進行初步設計。通過這個軟件，能夠快速搭建出所需的界面布局，隨后將生成的源代碼集成到項目中，隨后為界面元素添加了參數設置和按鍵操作的回調函數來實現完整的交互功能。

語音處理

語音命令包括“前進”、“后退”、“左移”、“右移”、“左轉”、“右轉”、“停止”、“抓取”。在上位機中點擊錄音，然后對著麥克風口述上述命令之一，上位機會通過WIFI下方音頻數據。單片機接收到音頻數據后，在本地完成語音識別的算法，并根據命令來控制車模運動。

本方案通過電腦采集音頻數據，進行幅值歸一化處理后，通過WIFI發(fā)送到車模單片機。通過RA8單片機使用WIFI-UART模塊和DMA接收數據，并通過運行在RA8上的語音識別算法進行處理。語音識別算法采用將音頻信號轉換為語譜圖，再利用卷積神經網絡（CNN）模型進行識別的方法。模型訓練后，提取網絡結構和權重參數，RA8單片機根據模型輸出的向量確定命令，然后將識別結果顯示在屏幕上，最后由控制線程完成小車的控制和機械臂抓取控制。

5

總結

以上便是此次基于瑞薩RA8的麥輪語音小車方案的技術分享，本項目使用了Arm Cortex-M85內核的RA8D1作為主控芯片，制作了一輛集成了多種功能的語音麥輪小車。

方案利用RA8芯片的強大性能和豐富外設接口，實現了一個語音命令的閉環(huán)控制系統(tǒng)，通過陀螺儀和編碼器數據進行實時計算和調整，確保了車模的精確控制。通過RA8獨有的CEU外設和芯片的高性能實現圖像的實時獲取、傳輸以及解壓顯示。此外，方案還采用了基于梅爾倒譜系數（MFCC）算法和卷積神經網絡（CNN）模型的語音識別技術，實現了對語音命令的快速識別和響應，使得小車能夠根據語音指令進行相應的動作，展示了RA8 MCU在智能設備領域的強大應用潛力。