使用FOMO進行駕駛員睡意檢測

1854542 2023-06-12 | zip | 0.00 MB | 次下載 | 免費

資料介紹

描述

駕駛員困倦是導致機動車事故的一個主要因素，可能會造成嚴重后果，包括受傷或死亡。駕駛員困倦導致事故的原因有多種。當一個人疲倦時，他們的反應時間會變慢，決策能力會受損，并且可能難以保持注意力集中在路上。因此，他們可能會錯過重要的視覺提示，無法注意到危險或在駕駛時做出錯誤的決定。

除了這些身體影響外，疲勞駕駛也是一種認知障礙，這意味著它會影響一個人思考和做出正確決定的能力。當駕駛員疲勞時，他們的判斷力和意識就會受損，這可能會導致駕駛時出現(xiàn)危險或危險的行為。某些人群的疲勞駕駛風險更高，包括商用卡車司機、輪班工人以及未確診或未治療睡眠障礙的人。但是，如果睡眠不足或長時間駕駛而不休息，任何人都可能面臨疲勞駕駛的風險。

由于疲勞駕駛仍然是我們道路上的一個主要安全問題，我們正在開發(fā)一個尖端系統(tǒng)來解決這個問題。

它是如何工作的

我們的解決方案結合了計算機視覺和人工智能 (AI) 的強大功能來監(jiān)控駕駛員的眼睛并檢測他們何時連續(xù)閉上兩秒鐘。為了確保我們系統(tǒng)的準確性和可靠性，我們在 Arduino Nicla Vision 中使用了 AI 算法。這些算法經過訓練，可以識別攝像頭收集的數據中的模式和趨勢，并識別駕駛員的眼睛何時長時間閉上。

如果系統(tǒng)檢測到駕駛員閉眼兩秒或更長時間，就會發(fā)出警報，將駕駛員喚醒，提醒他們在路上保持專注和警惕。該警報可以采用視覺或聽覺信號的形式，例如閃光燈或響亮的嗶嗶聲。

除了檢測疲勞駕駛外，我們的系統(tǒng)還可以擴展到監(jiān)控可能影響道路安全的其他行為，例如分心駕駛或藥物或酒精導致的損傷。通過提醒司機注意這些行為并提醒他們保持專注和警覺，我們可以幫助降低事故風險，讓我們的道路對每個人都更安全。

硬件要求

Arduino 尼克拉愿景
引領
蜂鳴器

硬件設置

用于數據收集的硬件設置包括安裝在三腳架上的 Nicla Vision。

Arduino 尼克拉愿景

Nicla Vision 是一款功能強大且用途廣泛的產品，旨在使用戶能夠開發(fā)和原型化涉及邊緣圖像處理和機器視覺的項目。它具有支持 TinyML 的 2MP 彩色攝像頭，以及智能 6 軸運動傳感器、麥克風和距離傳感器，可提供一系列傳感功能。

該產品由功能強大的 STM32H747AII6 雙 ARM Cortex M7/M4 IC 處理器提供支持，可實現(xiàn)設備端智能，并使用戶能夠在邊緣托管機器學習模型和其他高級算法。此外，Nicla Vision 體積小巧，外形尺寸僅為 22.86 x 22.86 mm，可輕松融入各種項目和場景。Nicla Vision 結合了機器視覺和處理能力以及小巧的外形，是開發(fā)或原型設計涉及邊緣圖像處理和機器視覺項目的理想解決方案。

軟件設置

如果您不熟悉將 Nicla Vision 設置為與 EdgeImpulse 一起使用的過程，并且尚未將設備連接到 EdgeImpulse 儀表板，我們建議您按照快速教程來指導您完成設置過程。

在設備和 EdgeImpulse 儀表板之間成功建立連接后，您應該會看到設備出現(xiàn)在“設備”選項卡中。

如果您沒有在“設備”選項卡中看到該設備，則可能是設備的連接或配置存在問題。在這種情況下，可能需要對問題進行故障排除或參考其他資源以獲得幫助。

TinyML 模型生成

1.數據采集

現(xiàn)在已經配置了必要的軟件和硬件，我們可以繼續(xù)構建對象檢測模型。此過程的第一步是收集將用于訓練模型的數據。收集數據有兩種主要方法：使用連接的設備直接捕獲數據或使用上傳器工具上傳預先存在的數據。在這個特定項目中，我們將使用第一種方法并直接從連接的設備收集數據。然后，這些數據將用于訓練物體檢測模型，使其能夠在未來更準確地識別和分類物體。

數據上傳到 EdgeImpulse 平臺后，需要對標注隊列中未標注的圖片進行標注。在這種情況下，模型將接受訓練以識別兩個不同的類別：閉眼和睜眼。因此，有兩個對應的標簽將應用于標簽隊列中的圖像。這個標記數據的過程是訓練對象檢測模型的重要步驟，因為它允許模型學習每個類別的特征和特征，使其能夠在未來準確地分類圖像和識別對象。通過仔細準確地標記標記隊列中的圖像，我們可以確保模型訓練有素并且能夠有效地執(zhí)行。

2. 沖動設計

對于我們的項目，我們需要具有可靠準確度的高性能模型。為了滿足這些要求，我們正在使用 Edge Impulse FOMO（更快的對象，更多的對象），這是一種專為高度受限設備上的對象檢測而設計的機器學習算法。FOMO 生成高效、快速的模型，非常適合處理能力和內存有限的應用程序。

為了針對我們的用例優(yōu)化 FOMO 的性能，我們將圖像尺寸設置為 96px，因為 FOMO 在 96x96 圖像上表現(xiàn)最佳。為了在我們的項目中實施 FOMO，我們在脈沖中添加了一個圖像處理塊和一個對象檢測（圖像）學習塊，并將調整大小模式設置為適合最短軸。通過將 FOMO 與這些模塊結合使用，我們可以以高水平的準確性和效率有效地實時檢測駕駛員的睡意。

3.特征生成

在我們項目的下一階段，我們將專注于生成特征。為此，我們將轉到“圖像”選項卡并選擇所需的顏色深度。在我們的例子中，我們選擇使用RGB ，現(xiàn)在我們將啟動特征生成過程。

雖然生成的特征被很好地分割并不是嚴格必要的，但它通常是一個很好的跡象，表明生成的模型將表現(xiàn)良好。一組劃分良好的特征通常會導致模型表現(xiàn)良好，因為它表明所使用的兩個類之間存在明顯區(qū)別。一旦生成了特征，我們就可以進入項目的訓練階段。

4.模型訓練

完成必要的脈沖設計后，我們現(xiàn)在可以繼續(xù)訓練我們的機器學習模型的過程。我們?yōu)槟Ｐ陀柧氝x擇的具體設置如下所示。需要注意的是，可以調整這些設置以提高訓練模型的準確性，但必須注意避免過度擬合。

通過仔細調整模型訓練設置并采用適當的技術來防止過度擬合，我們可以優(yōu)化機器學習模型的性能并實現(xiàn)高水平的準確性。在仔細選擇和準備足夠數量的訓練數據后，我們的機器學習模型已經能夠達到令人印象深刻的準確度。使用指定的訓練設置，我們能夠達到 100% 的訓練準確率，這是一個非常好的結果。

5.模型測試

現(xiàn)在我們已經訓練了我們的機器學習模型，是時候評估它在看不見的測試數據上的性能了。為此，我們將轉到“模型測試”選項卡并使用“全部分類”功能。這將使我們能夠看到模型在測試數據上的表現(xiàn)如何，并深入了解其泛化能力。

我們也獲得了 100% 的測試準確率，這排除了任何過度擬合的可能性，我們的模型運行良好。重要的是測試機器學習模型在未見數據上的性能，以便對其能力進行真實的評估。僅對訓練數據進行測試可能會導致過于樂觀的結果，因為模型已經看到并從這些數據中學習到了。通過對看不見的數據進行測試，我們可以更準確地衡量模型對新的未知輸入進行概括和預測的能力。

6.直播分類

現(xiàn)在是時候進入測試的最后階段，或者更確切地說，是我們機器學習模型的模擬部署了。在此階段，我們將模擬模型在真實環(huán)境中的使用，并評估其在這些條件下的性能。這將使我們能夠看到模型在更現(xiàn)實的環(huán)境中的表現(xiàn)如何，并確保它已準備好部署。

現(xiàn)在是時候進入“實時分類”選項卡并從設備中獲取樣本了。獲得樣本后，我們將對其進行分類并觀察結果。如果我們的模型能夠準確地區(qū)分閉眼和睜眼，我們就可以自信地進行部署。

我們的機器學習模型已經展示了它的能力，我們準備在現(xiàn)實環(huán)境中部署它。

部署

為了部署我們的機器學習模型，我們需要創(chuàng)建一個 Arduino 庫。該庫將包含在 Arduino Nicla Vision 上運行模型所需的所有必要代碼和資源。

要構建庫，我們需要導航到“部署”選項卡并按照此處概述的步驟進行操作。完成此過程后，我們將擁有一個功能齊全的庫，可以在 Arduino 平臺上使用。我們可以采取的一個可選步驟是使用 EON 編譯器啟用優(yōu)化。該編譯器旨在優(yōu)化我們庫中的代碼，使其更快、更高效。

完成構建過程后，我們將得到一個包含我們的模型和一組示例的 zip 文件。要在 Arduino 平臺上使用這個庫，我們需要將它添加到 Arduino 集成開發(fā)環(huán)境 (IDE) 中。

為此，我們需要打開 Arduino IDE 并導航至Sketch > Include Library > Add.ZIP library 。從這里，我們將能夠瀏覽我們之前創(chuàng)建的 zip 文件并將其添加到 IDE。將庫添加到 Arduino IDE 后，我們將能夠使用它在 Arduino 平臺上運行我們的機器學習模型。