基于CNN和英特爾開發(fā)板的紅綠燈控制系統(tǒng)設(shè)計

作者：

崔曉晴 鄭州輕工業(yè)大學(xué)

1前言

英特爾作為IT領(lǐng)域的領(lǐng)軍企業(yè)，為開發(fā)者們提供了全面的支持，包括芯片、開發(fā)套件、培訓(xùn)課程和開發(fā)環(huán)境等。為了更好地與開發(fā)者互動，英特爾發(fā)起了“走近開發(fā)者”活動，其中包括哪吒開發(fā)套件的免費(fèi)試用機(jī)會、AI創(chuàng)新計劃以及有獎?wù)魑幕顒印?/p>

2背景

隨著中國經(jīng)濟(jì)的快速增長和城市化進(jìn)程的加速，城市交通擁堵、交通事故頻發(fā)以及環(huán)境污染等問題日益嚴(yán)重，尤其是在大城市中，這些問題表現(xiàn)得尤為突出。交通擁堵不僅影響了市民的日常出行效率，更是嚴(yán)重影響了緊急車輛的快速通行，延誤了救援時間，增加了事故和傷亡風(fēng)險。在高峰時段，城市中心區(qū)域和主要交通干道常常出現(xiàn)嚴(yán)重?fù)矶?，這不僅降低了城市的運(yùn)行效率，也對緊急服務(wù)的及時響應(yīng)構(gòu)成了障礙。面對這些挑戰(zhàn)，中國交通管理亟需轉(zhuǎn)型升級，利用現(xiàn)代科技手段提高智能化水平，以實(shí)現(xiàn)對交通流量的實(shí)時監(jiān)控、智能分析和優(yōu)化控制。

在這樣的背景下，“聲納警衛(wèi)——基于深度學(xué)習(xí)的紅綠燈控制系統(tǒng)”項(xiàng)目應(yīng)運(yùn)而生，它代表了智能交通系統(tǒng)在中國城市交通管理中的創(chuàng)新應(yīng)用。該項(xiàng)目通過音頻傳感器采集城市公路上的聲音，利用深度學(xué)習(xí)模型識別緊急車輛，如消防車、救護(hù)車等，并智能控制紅綠燈，優(yōu)先放行這些緊急車輛。這種智能化的交通管理系統(tǒng)不僅能夠提高城市交通管理的智能化水平，確保緊急車輛的快速響應(yīng)，同時還能優(yōu)化交通流量管理，減少因交通擁堵造成的經(jīng)濟(jì)損失和社會成本。

3開發(fā)板介紹

3.1開發(fā)板資料

哪吒開發(fā)套件以一張信用卡大?。?5 x 56mm）的哪吒開發(fā)板為核心，搭載英特爾 N97（Alder Lake-N）處理器。這款處理器以其高性能與低功耗的特點(diǎn)，為開發(fā)板提供了強(qiáng)大的計算能力。哪吒開發(fā)板支持四核SoC，最高頻率可達(dá)3.60GHz，而熱設(shè)計功耗（TDP）僅為12W，這使得它在保持高性能的同時，也能實(shí)現(xiàn)低功耗運(yùn)行。

內(nèi)置的Intel UHD Graphics Gen12 GPU擁有多達(dá)24個執(zhí)行單元，基于Xe架構(gòu)，為新一代產(chǎn)品。這款GPU不僅是一個強(qiáng)大的圖形處理單元，也是一個高效的AI引擎，特別適合于AI推理任務(wù)。它支持包括INT8在內(nèi)的主要數(shù)據(jù)類型，通過HDMI 1.4b接口，能夠支持30Hz的4K UHD（3840×2160）分辨率顯示，為高分辨率顯示提供了可能。

哪吒開發(fā)板只有身份證大小，配備了最大8GB的LPDDR5系統(tǒng)內(nèi)存和最大64GB的eMMC存儲，為運(yùn)行各種應(yīng)用程序提供了充足的內(nèi)存和存儲空間。此外，開發(fā)板內(nèi)置TPM 2.0，增強(qiáng)了安全性，40針的GPIO連接器提供了豐富的外設(shè)連接選項(xiàng)，可以配置為PWM、UART、I2C、I2S、SPI和ADC等多種功能，為開發(fā)者提供了構(gòu)建解決方案的靈活性。

此外，哪吒開發(fā)板支持Windows和Linux操作系統(tǒng)，無風(fēng)扇散熱設(shè)計，使得它在多種應(yīng)用場景下都能提供高效的解決方案。這款開發(fā)板適合用于教育、物聯(lián)網(wǎng)網(wǎng)關(guān)、數(shù)字標(biāo)牌和機(jī)器人等領(lǐng)域，其多功能性和靈活性，為開發(fā)者提供了一個強(qiáng)大的平臺，以實(shí)現(xiàn)他們的創(chuàng)意和項(xiàng)目。

3.2 開箱照片

圖3-3 哪吒開發(fā)板開箱圖

4項(xiàng)目介紹

4.1 整體構(gòu)思

產(chǎn)品介紹

本項(xiàng)目以哪吒開發(fā)板作為數(shù)據(jù)處理中心，利用音頻傳感器采集城市公路上的聲音，這些數(shù)據(jù)被傳輸至哪吒開發(fā)板，隨后通過預(yù)處理和深度學(xué)習(xí)模型進(jìn)行推理操作，以識別聲音來源是緊急車輛如消防車、救護(hù)車還是普通汽車?；谶@些識別結(jié)果，系統(tǒng)將智能控制紅綠燈，優(yōu)先放行緊急車輛，確保它們能夠快速響應(yīng)。

同時，系統(tǒng)將把推理結(jié)果實(shí)時傳輸至云側(cè)平臺，供城市管理中心監(jiān)控和分析，從而優(yōu)化交通流量管理。為了提升系統(tǒng)的整體性能和用戶體驗(yàn)，可以考慮引入視頻傳感器和環(huán)境傳感器，實(shí)現(xiàn)多傳感器數(shù)據(jù)融合，提高識別的準(zhǔn)確性。此外，系統(tǒng)的算法需要不斷優(yōu)化，以適應(yīng)不同環(huán)境下的噪音水平和交通狀況。

哪吒開發(fā)板的數(shù)據(jù)處理能力將保證實(shí)時處理大量數(shù)據(jù)流，滿足快速決策的需求。與云平臺的深度集成將使得系統(tǒng)能夠利用云計算資源進(jìn)行更復(fù)雜的數(shù)據(jù)分析和模型訓(xùn)練，同時支持遠(yuǎn)程監(jiān)控、系統(tǒng)升級和維護(hù)。城市管理中心將通過一個直觀的用戶界面實(shí)時查看交通狀況和系統(tǒng)狀態(tài)，進(jìn)行必要的手動干預(yù)。系統(tǒng)的設(shè)計將嚴(yán)格遵守數(shù)據(jù)安全性和隱私保護(hù)標(biāo)準(zhǔn)，確保所有傳輸和存儲的數(shù)據(jù)都符合法規(guī)要求。

在部署前，系統(tǒng)將經(jīng)過嚴(yán)格的測試和評估，以確保其在各種環(huán)境下的穩(wěn)定性和可靠性。此外，項(xiàng)目將確保與當(dāng)?shù)亟煌ü芾碚吆头ㄒ?guī)的兼容性，與現(xiàn)有的交通管理系統(tǒng)和應(yīng)急服務(wù)流程實(shí)現(xiàn)無縫對接，為城市交通的智能化管理提供全面而高效的解決方案。

功能設(shè)計

智能交通聲音識別與控制系統(tǒng)利用哪吒開發(fā)板作為核心，通過音頻傳感器收集城市公路聲音數(shù)據(jù)，經(jīng)預(yù)處理和深度學(xué)習(xí)模型推理后，智能識別緊急車輛并控制紅綠燈以優(yōu)先放行。系統(tǒng)將識別結(jié)果實(shí)時上傳至云平臺，供城市管理中心監(jiān)控和優(yōu)化交通流量。

為提升準(zhǔn)確性，系統(tǒng)考慮集成視頻和環(huán)境傳感器，實(shí)現(xiàn)多傳感器數(shù)據(jù)融合。哪吒開發(fā)板強(qiáng)大的數(shù)據(jù)處理能力確保了實(shí)時處理和快速決策，而云平臺集成則支持遠(yuǎn)程監(jiān)控和系統(tǒng)維護(hù)。系統(tǒng)設(shè)計遵循數(shù)據(jù)安全和隱私保護(hù)標(biāo)準(zhǔn)，并在部署前經(jīng)過嚴(yán)格測試，確保穩(wěn)定性和可靠性，同時與當(dāng)?shù)亟煌ㄕ吆头ㄒ?guī)兼容，實(shí)現(xiàn)與現(xiàn)有系統(tǒng)的無縫對接。

產(chǎn)品總結(jié)

本產(chǎn)品是一個創(chuàng)新的智能交通管理系統(tǒng)，旨在通過聲音識別技術(shù)優(yōu)化城市交通流量，確保緊急車輛快速響應(yīng)。系統(tǒng)集成了哪吒開發(fā)板作為核心數(shù)據(jù)處理中心，結(jié)合音頻、視頻和環(huán)境傳感器，實(shí)現(xiàn)多傳感器數(shù)據(jù)融合，提高識別準(zhǔn)確性，并智能控制交通信號燈。

4.2 方案架構(gòu)

數(shù)據(jù)處理

首先從CSV文件中讀取包含音頻文件路徑和類別標(biāo)簽的元數(shù)據(jù)，使用LabelEncoder將文本類別標(biāo)簽轉(zhuǎn)換為整數(shù)標(biāo)簽，然后定義一個函數(shù)parse_wav來遍歷每個音頻文件，利用librosa庫加載WAV文件并從中提取梅爾頻率倒譜系數(shù)（MFCC）特征，同時計算每個音頻文件的MFCC特征均值，并進(jìn)行特征縮放以標(biāo)準(zhǔn)化數(shù)據(jù)。

最終，代碼將提取的MFCC特征、MFCC均值、縮放后的MFCC特征以及對應(yīng)的標(biāo)簽數(shù)組保存為一個.npz文件，為機(jī)器學(xué)習(xí)模型的訓(xùn)練提供預(yù)處理后的數(shù)據(jù)。整個過程包括數(shù)據(jù)加載、標(biāo)簽編碼、特征提取、特征處理和數(shù)據(jù)保存，是一個完整的音頻數(shù)據(jù)處理流程，旨在將原始音頻文件轉(zhuǎn)換為適合機(jī)器學(xué)習(xí)模型訓(xùn)練的數(shù)值特征。

神經(jīng)網(wǎng)絡(luò)介紹

本項(xiàng)目所使用的神經(jīng)網(wǎng)絡(luò)架構(gòu)是一個深度學(xué)習(xí)模型，專門設(shè)計用于處理和分類音頻數(shù)據(jù)。它由四個順序堆疊的卷積層組成，每個卷積層都是一維的（`nn.Conv1d`），用于從輸入的音頻信號中提取時間序列特征。每個卷積層后面緊跟著一個ReLU激活函數(shù)和一個批量歸一化層，ReLU激活函數(shù)引入非線性，幫助網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的特征表示，而批量歸一化層則用于減少內(nèi)部協(xié)變量偏移，加速訓(xùn)練過程，并提高模型的泛化能力。

卷積層的權(quán)重采用He初始化方法，這是一種專為ReLU激活設(shè)計的初始化技術(shù)，有助于保持訓(xùn)練初期的梯度規(guī)模，而偏置則初始化為0。所有這些卷積層、激活函數(shù)和批量歸一化層被封裝在一個順序容器中，簡化了模型的構(gòu)建和前向傳播過程。

在卷積層之后，模型使用自適應(yīng)平均池化層將特征圖的每個通道壓縮成一個單一數(shù)值，減少特征維度，并使模型對音頻信號長度變化具有不變性。經(jīng)過池化的特征被送入一個全連接層，將高維特征映射到類別空間，輸出每個類別的預(yù)測分?jǐn)?shù)。在全連接層和輸出層之間，模型使用Dropout層來隨機(jī)丟棄一部分特征，減少過擬合。

最后，模型使用`F.log_softmax`函數(shù)將全連接層的輸出轉(zhuǎn)換為對數(shù)概率分布，為多分類問題提供了合適的輸出格式，通常與交叉熵?fù)p失函數(shù)一起使用。整體而言，這個架構(gòu)通過深度卷積網(wǎng)絡(luò)結(jié)構(gòu)和適當(dāng)?shù)募夹g(shù)，實(shí)現(xiàn)了高效準(zhǔn)確地對音頻信號進(jìn)行特征提取和分類。

4.3 模型轉(zhuǎn)化

pth格式轉(zhuǎn)化為onnx

import torch
from model import AudioMutiCNN


config = {}


device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = AudioMutiCNN(config)
model.load_state_dict(torch.load('./wsp.pth',map_location=torch.device(device), weights_only=True))


dummy_input = torch.randn(1, 64, 345)




torch.onnx.export(model,
         dummy_input,
         f='D:/python_code/tool/sonar_guard/yjs.onnx',
         export_params=True,
         verbose=False,
         # input_names=['input'],
         # output_names=['output'],
         opset_version=11)

onnx轉(zhuǎn)化為IR模型

import openvino as ov
path = ‘./wsp.onnx’


 


# 導(dǎo)出模型為 ONNX 格式
onnx_path = ‘path’
 


# 轉(zhuǎn)換 ONNX 模型為 OpenVINO 格式
ov_model = ov.convert_model(onnx_path)
 


 


# 保存 OpenVINO 模型
ir_path = './sonar_guard/yjs.xml'
ov.save_model(ov_model, ir_path)
 


print("OpenVINO IR model saved to:", ir_path)

圖4-1 模型轉(zhuǎn)化展示

4.4 硬件部分

使用了Intel的哪吒開發(fā)板作為上位機(jī)控制arduino開發(fā)板。我們在arduino板中燒錄紅綠燈控制系統(tǒng)代碼。（下圖展示的為紅綠燈控制系統(tǒng)在接收到串口數(shù)據(jù)后，停止其他燈亮，打開綠燈的展示效果）

圖4-2效果展示圖

5總結(jié)和后記

在本項(xiàng)目中，我們有幸得到了英特爾公司提供的哪吒開發(fā)板，這不僅是一次技術(shù)探索的機(jī)遇，也是對我們團(tuán)隊(duì)技術(shù)實(shí)力的一次挑戰(zhàn)。通過這次“走近開發(fā)者”活動，我們深入體驗(yàn)了哪吒開發(fā)板的強(qiáng)大功能，并成功將其應(yīng)用于智能交通聲音識別與控制系統(tǒng)的開發(fā)中。

首先，我們要感謝英特爾公司提供的哪吒開發(fā)板，它以小巧的體積和強(qiáng)大的性能，為我們的項(xiàng)目提供了數(shù)據(jù)處理的核心。哪吒開發(fā)板搭載的英特爾 N97處理器，以及內(nèi)置的Intel UHD Graphics Gen12 GPU，為我們的深度學(xué)習(xí)模型提供了強(qiáng)大的推理能力。這些技術(shù)的支持，使得我們能夠處理大量的聲音數(shù)據(jù)，并實(shí)現(xiàn)快速準(zhǔn)確的緊急車輛識別。

在項(xiàng)目開發(fā)過程中，我們充分利用了哪吒開發(fā)板的高性能與低功耗特性，結(jié)合音頻、視頻和環(huán)境傳感器，實(shí)現(xiàn)了多傳感器數(shù)據(jù)融合，提高了系統(tǒng)的識別準(zhǔn)確性。通過深度學(xué)習(xí)模型的推理操作，我們成功實(shí)現(xiàn)了對城市公路上聲音的智能識別，并智能控制紅綠燈，優(yōu)先放行緊急車輛，確保了快速響應(yīng)能力。

此外，哪吒開發(fā)板與云平臺的深度集成，為我們提供了遠(yuǎn)程監(jiān)控、系統(tǒng)升級和維護(hù)的能力，同時也支持了更復(fù)雜的數(shù)據(jù)分析和模型訓(xùn)練。這不僅提升了系統(tǒng)的整體性能，也為城市管理中心提供了實(shí)時的交通狀況和系統(tǒng)狀態(tài)監(jiān)控，優(yōu)化了交通流量管理。

在項(xiàng)目實(shí)施過程中，我們嚴(yán)格遵守了數(shù)據(jù)安全性和隱私保護(hù)標(biāo)準(zhǔn)，確保所有傳輸和存儲的數(shù)據(jù)都符合法規(guī)要求。同時，系統(tǒng)在部署前經(jīng)過了嚴(yán)格的測試和評估，以確保其在各種環(huán)境下的穩(wěn)定性和可靠性。我們確保了與當(dāng)?shù)亟煌ü芾碚吆头ㄒ?guī)的兼容性，實(shí)現(xiàn)了與現(xiàn)有交通管理系統(tǒng)和應(yīng)急服務(wù)流程的無縫對接。