聲學(xué)傳感系統(tǒng)AutoHear賦予 AV 更好的聽覺

在嚴(yán)重交通事故等緊急情況下，分秒必爭，足夠?qū)挼木仍嚨揽梢詻Q定生死。如果駕駛員能聽到警報器，為什么自動駕駛汽車不能這樣做？總部位于埃及開羅的 Avelabs 開發(fā)了一種傳感器解決方案，可為車輛提供聽覺，以補充視覺并改進(jìn)自動駕駛系統(tǒng)。

“在評估環(huán)境時，視覺是我們最重要的感覺，”Avelabs 產(chǎn)品管理總監(jiān) Amr Abdelsabour 在今年布魯塞爾 AutoSens 的小組會議上說?！叭欢?，作為人類駕駛員，我們不僅僅依賴于視覺。當(dāng)我們開車時，我們也依賴于我們的聽力。我們可以聽到很多信息，但看不到像從后面?zhèn)鱽淼木瘓笃?。或者，如果我們開車進(jìn)入一個盲道，而有車來了，我們真的看不到它，但我們能聽到它。”

在 AutoSens，Avelabs 推出了 AutoHears，這是一種聲學(xué)傳感系統(tǒng)，可檢測、分類和定位聲音，以幫助了解車輛的復(fù)雜環(huán)境。AutoHears 包括硬件、機(jī)械外殼和運行傳感功能的軟件，旨在執(zhí)行緊急車輛、模糊場地、自然災(zāi)害（例如巖石滑坡）和安全事件（例如附近的碰撞、槍擊、爆炸）檢測，以及如車輛自診斷和語音識別。

在與EE Times Europe的后續(xù)討論中，Abdelsabour 解釋了賦予車輛聽覺所需的條件、軟件和硬件如何相互依賴、數(shù)據(jù)融合過程的執(zhí)行地點和方式，以及 AutoHears 何時能夠?qū)崿F(xiàn)上路？

EE Times Europe：您能否描述一下 AutoHears 可以和無法檢測到的聲音類型？

Amr Abdelsabour：我們從行駛中的車輛聲音（例如輪胎、發(fā)動機(jī)、剎車和空氣動力學(xué)聲音）以及全球不同標(biāo)準(zhǔn)的喇叭和警報器開始。到目前為止，這些課程已經(jīng)過測試和演示。我們目前正在努力添加新的類，例如自然災(zāi)害和碰撞檢測，但它們?nèi)蕴幱诠δ荛_發(fā)階段。功能開發(fā)路線圖正在構(gòu)建中。

EE Times Europe：AutoHears 從各個角度檢測聲音。有身體限制嗎？

阿卜杜勒：AutoHears 可以檢測來自各個角度的聲音，不僅如此，還可以檢測來自墻后和其他障礙物的聲音。當(dāng)然有物理限制。聲音測量是一個相對傳感過程，其中聲音是相對于其環(huán)境進(jìn)行傳感的。這意味著如果環(huán)境安靜，AutoHears 將能夠檢測到微弱和微弱的聲音，例如自行車甚至腳步聲。但是，如果環(huán)境嘈雜，AutoHears 將只能檢測到最重要的聲音。因此，例如，如果附近有響亮的警報器，我們將無法檢測到其他車輛的馬達(dá)聲音，因為響亮的聲音會掩蓋安靜的聲音。盡管如此，我們正在努力找出我們在客觀數(shù)字上的確切物理限制，以便能夠為我們的客戶提供可靠的限制。

EE Times Europe：聲音的分類呢？

阿卜杜勒：聲音的分類是一個復(fù)雜的過程，尤其是在涉及非標(biāo)準(zhǔn)化聲音時。如果我們談?wù)摰氖侵T如警報器之類的標(biāo)準(zhǔn)化聲音，那么分類過程就會變得簡單而直接，并且可以使用基于模型的算法來完成。然而，行駛中的車輛檢測是一個更復(fù)雜的過程，因為它是由不同物理成分組成的聲音的非標(biāo)準(zhǔn)組合，從而產(chǎn)生我們的耳朵或傳感器聽到的最終聲音。這就是各種人工智能方法發(fā)揮作用的地方，能夠通過收集的數(shù)據(jù)基于機(jī)器學(xué)習(xí)對聲音進(jìn)行分類，并根據(jù)他們所學(xué)的內(nèi)容檢測和分類聲音。我們很自豪地說，在 AutoHears 中，我們結(jié)合了基于模型的算法和機(jī)器學(xué)習(xí)來對聲音進(jìn)行分類，

EE Times Europe：音頻數(shù)據(jù)如何與來自嵌入汽車的攝像頭或其他傳感器的圖像數(shù)據(jù)融合？

阿卜杜勒：與人類駕駛員一樣，聲音與視覺相得益彰。這就是我們對 AutoHears 的看法，我們也相應(yīng)地開發(fā)了它。因為我們主要關(guān)注聲學(xué)傳感部分，所以我們提供原始聲學(xué)傳感信息，這些信息可以與攝像機(jī)和雷達(dá)等其他傳感器融合，對物體進(jìn)行分類和定位，從而發(fā)揮每個單獨傳感器的優(yōu)勢并克服它們的弱點. 因此，例如，將雷達(dá)、攝像頭和 AutoHears 結(jié)合起來，可以在我們的盲點中檢測到以下車輛：雷達(dá)可以檢測到障礙物并準(zhǔn)確估計其距離（因為雷達(dá)在這方面非?？煽浚?，攝像頭會對該物體進(jìn)行分類（如果有攝像頭在觀察目標(biāo)車輛所在的方向），AutoHears 將通過自己的車輛分類和定位來確認(rèn)檢測，并在車輛發(fā)出任何聲音（如按喇叭或發(fā)出警報器）時添加信息。所有傳感器的組合使傳感器融合以可能的最佳方式對周圍環(huán)境進(jìn)行了高度確定的重建。

EE Times Europe：你為什么決定建立一個完整的系統(tǒng)？為什么必須解決所有軟件和硬件方面的問題？

Amr Abdelsabour, Avelabs

阿卜杜勒：AutoHears 作為傳感系統(tǒng)是同類中最早的檢測系統(tǒng)之一，即聲學(xué)檢測系統(tǒng)。由于 Avelabs 是一家軟件公司，我們最初希望我們的主要關(guān)注點僅是從軟件角度感知功能，而不是關(guān)注硬件部分。然而，沒有傳感硬件，就不可能有傳感功能。傳感硬件是傳感功能的主要推動者，因為傳感器并不像在車輛中放置麥克風(fēng)以實現(xiàn)檢測那么簡單，而是必須仔細(xì)設(shè)計硬件以實現(xiàn)對周圍環(huán)境的準(zhǔn)確定位。為了定位對象，定位算法依賴于物理因素，例如聲音到達(dá)時間差，只有當(dāng)硬件設(shè)計成能夠檢測到這一點時才能檢測到。涉及多個硬件因素，例如麥克風(fēng)的數(shù)量、它們之間的距離以及它們在車輛上的位置。所有這些硬件要求迫使我們自己設(shè)計和構(gòu)建硬件，以實現(xiàn)我們提供的聲學(xué)傳感功能。簡單來說，沒有一家公司可以為車輛提供外部聲學(xué)檢測硬件，這就是我們必須自己開發(fā)的原因。

EE Times Europe：你能告訴我一些關(guān)于聲學(xué)傳感器本身的細(xì)節(jié)嗎？在運行算法的 CPU 上？

阿卜杜勒：在傳感器和處理器系統(tǒng)方面，我們已決定采用集中式架構(gòu)。這一決定是為了順應(yīng)所有汽車公司目前的趨勢，即依靠檢測原始數(shù)據(jù)的傳感器（相機(jī)、雷達(dá)……）。然后將原始數(shù)據(jù)發(fā)送到集中式域控制器，在該控制器中進(jìn)行傳感器融合。這就是為什么我們將聲學(xué)傳感器構(gòu)建為原始數(shù)據(jù)傳感器，檢測所有聲學(xué)信息并將其發(fā)送到運行傳感算法的集中域控制器。如您所知，我們自己設(shè)計了聲學(xué)傳感器，但我們使用現(xiàn)成的汽車域控制器（例如 Xilinx FPGA 和 TI ADAS TDA SoC）作為運行我們算法的 CPU。但是，由于每個客戶都使用自己的域控制器，我們僅將這些處理器用作參考硬件。因為我們可以簡單地部署在任何類型的域控制器上，只要進(jìn)行必要的定制。

EE Times Europe：你為什么說 AutoHears 是“硬件依賴的”？

Abdelsabour：AutoHears 作為傳感器和傳感算法具有通用組件和硬件特定組件，具體取決于客戶所需的功能和客戶使用的處理控制器。因此，例如，如果客戶只想要聲音事件的方向（不知道到發(fā)出聲音的物體的距離），則只需要使用一個傳感器。但如果客戶還想檢測物體的距離，就需要使用多個傳感器來三角測量物體的距離。例如，這是一個依賴于硬件的功能。

關(guān)于硬件依賴性的另一面是用于處理傳感功能的域控制器。我們功能的性能取決于運行它們的處理器及其功能。在硬件的性能和處理要求之間存在權(quán)衡。因此，例如，如果我們希望 AutoHears 以 1 度的分辨率進(jìn)行檢測，這將需要更多的處理資源。如果我們降低我們想要的性能，那么處理要求也會降低。此外，每個新硬件都將附帶一些針對微控制器抽象層的特定硬件定制，例如 AutoHears 傳感器驅(qū)動程序，這些驅(qū)動程序?qū)⒈粚嵤┑娇蛻舻幕拒浖h(huán)境中。

EE Times Europe：您在發(fā)展方面處于什么位置？您打算什么時候在公共道路上測試 AutoHears？您預(yù)計 AutoHears 何時投入生產(chǎn)？

Abdelsabour：可以在產(chǎn)品開發(fā)階段考慮 AutoHears。我們已經(jīng)從技術(shù)和財務(wù)角度證明了這一概念，進(jìn)行了演示和測試以證明可行性，目前我們正在努力“產(chǎn)品化”開發(fā)。這包括公共道路驗證以及獲得汽車認(rèn)證。這是我們從產(chǎn)品開發(fā)到商業(yè)化所需的兩個步驟。這些是在投入生產(chǎn)之前必須采取的步驟。

EE Times Europe：你們有早期客戶測試解決方案嗎？

Abdelsabour：雖然我們在今年 9 月開始在 AutoSens 上發(fā)布該產(chǎn)品，但我們已經(jīng)在與客戶討論測試該解決方案的問題。在我們嘗試向汽車市場推出新產(chǎn)品的過程中，我們希望依靠我們的客戶和合作伙伴更多地了解市場期望和要求，并將我們的傳感器集成到數(shù)據(jù)采集車隊中，以收集更多數(shù)據(jù)進(jìn)行培訓(xùn)和驗證目的。

審核編輯 黃昊宇