基于瑞薩電子Reality AI Tools工具的語音反欺騙應用示例

摘 要

探索使用瑞薩電子硬件和AI軟件平臺的Reality AI Tools語音反欺騙應用示例。

Palash Koutu

Customer Support Engineering Manager

什么是語音反欺騙？

為什么它很重要？

語音反欺騙是一組技術，旨在防止涉及模仿語音的詐騙企圖，并通過防止意外觸發(fā)來改善VUI系統的整體UI/UX體驗。這些技術對于防止與以下方面相關的問題尤為重要：

語音合成（SS）：這種類型的攻擊使用計算機模擬語音

語音轉換（VC）：在這種攻擊中，使用過濾器和其他工具使冒名頂替者的聲音聽起來盡可能接近目標個人的聲音

重放攻擊（RA）：欺詐者使用預先錄制的受害者聲音樣本

模仿：攻擊者模仿受害者的聲音音調、韻律特征和詞匯等特征

滋擾觸發(fā)：當人工語音意外觸發(fā)系統時，就會出現此問題，從而給用戶帶來不便

這些攻擊和問題會嚴重破壞語音系統的完美使用體驗，因此需要一個強大的解決方案。

語音反欺騙是如何工作的？

語音反欺騙的工作原理是檢測和防止語音欺騙攻擊，這些攻擊可能涉及錄制的、計算機生成的或計算機修改的語音。以下是其工作原理的一些關鍵組成部分：

圖1 反欺騙解決方案組件

關鍵字檢測：系統需要經過訓練，以識別某人何時在說話或觸發(fā)命令。例如：“Hi Renesas”觸發(fā)系統。

特征提取：系統從輸入語音信號中提取特定特征，例如音色、發(fā)音、語調和詞匯行為

欺騙性語音檢測（SSD）：這組措施用于識別和防止語音欺騙攻擊。例如，重放攻擊會產生某些信號偽影，這些偽影有時是人耳無法區(qū)分的，但高級算法會找到并識別這些偽影以準確確定活度。

分類：提取特征后，使用分類器將語音分類為真實語音或錄制語音

通過使用這些技術，語音反欺騙系統可以有效地對抗不同類型的語音欺騙攻擊，并增強整體用戶體驗......此外，它還能向各地的智能門鈴用戶保證，門外的人真的是您的鄰居。

瑞薩電子應用實例

瑞薩電子的語音反欺騙技術專為速度和響應能力而設計，同時保持高精度，并且完全在邊緣完成。我們將RA MCU系列（RA6、RA4、RA2系列）和RX MCU系列的硬件與Cyberon語音技術棧相結合，以識別觸發(fā)/喚醒詞，然后使用Reality AI生成的模型來檢查信號中的真實語音與錄制的語音。

瑞薩電子的Reality AI模型使用“Hi Renesas”作為喚醒詞。用戶可以使用任何常見的英語口音和自然的聲調質量（男性或女性）來使用此解決方案。我們的測試結果表明，使用手機揚聲器（iPhone或Android）播放的錄制語音時該模型的準確率為96%，在訓練K-Fold驗證中準確率為~99%。

圖2 e2 Studio解決方案工作流程

我們是如何創(chuàng)建應用示例的？

利用瑞薩電子的IDE，e2 studio，用戶可以收集數據，集成Cyberon的語音技術棧進行喚醒詞檢測（Hi Renesas），并最終集成使用Reality AI Tools模塊生成的任何AI模型。

圖3 e2 studio – Reality AI工具集成工作流程

我們收集了一小群人的真實數據（通過瑞薩電子硬件麥克風錄制）和錄音數據。這些數據被輸入到Reality AI的特征提取和訓練引擎，以開發(fā)和輸出模型。我們實現了~99%的訓練K-Fold準確率，這促使我們選擇該模型進行現場測試和基準測試。

然后，該模型被集成到e2 studio項目，并在不包括在訓練集中的人員的實際辦公室環(huán)境中進行了廣泛測試，以進行基準測試，準確率達到96%。

圖4 Reality AI工具訓練結果

在基于VUI的系統中整合此應用示例，必將引發(fā)更多的適配需求。為了簡化這一過程，我們可以借鑒“語音反欺騙應用示例”作為參考。有關更多信息，您可以在Reality AI工具頁面上找到開發(fā)資源，或聯系您當地的銷售代表。

結論

瑞薩電子的反欺騙應用示例展示了Reality AI工具應對現實世界挑戰(zhàn)、改善用戶體驗和增強語音用戶界面（VUI）系統的能力。我們的AI模型占用空間小，并且可以通過利用廣泛的數據收集來進行靈活的擴展。

瑞薩電子(TSE: 6723)

科技讓生活更輕松，致力于打造更安全、更智能、可持續(xù)發(fā)展的未來。作為全球微控制器供應商，瑞薩電子融合了在嵌入式處理、模擬、電源及連接方面的專業(yè)知識，提供完整的半導體解決方案。成功產品組合加速汽車、工業(yè)、基礎設施及物聯網應用上市，賦能數十億聯網智能設備改善人們的工作和生活方式。