0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

智能音箱產(chǎn)品語音子系統(tǒng)探秘

潤欣科技Fortune ? 2019-08-19 23:27 ? 次閱讀

上海潤欣科技股份有限公司創(chuàng)研社


前言


聲音本來就是最天然的人機交互方式,但在之前漫長的時間里面,受限于語音識別,人工智能網(wǎng)絡寬帶等因素,并沒有成為主流。但從2017年開始,AI,語音識別,網(wǎng)路應用,移動APP,這幾樣已經(jīng)發(fā)展成熟,萬事俱備,語音智能的應用正好趁著東風迅速發(fā)展起來,而且智能音箱表面看似乎只是一款音箱,但實際上有更戰(zhàn)略性的作用,也就是說實際上是智能家庭的入口,借助于物聯(lián)網(wǎng)技術,智能音箱實際上成為了智能家庭連接互聯(lián)網(wǎng)的網(wǎng)關,是家庭互聯(lián)網(wǎng)交互的人機界面,正因為如此,我們可以看到幾乎所有的互聯(lián)網(wǎng)巨頭都不遺余力的發(fā)展自己的智能音箱產(chǎn)品,因為誰搶占了智能家庭的入口,誰就可以把握先機,在此基礎上布置本公司的家電產(chǎn)品生態(tài)鏈。


我們通過拆解市面上已經(jīng)有的一些產(chǎn)品來分析,然后對于語音子系統(tǒng)會有一個詳細的案例。首先我們來看一下,智能音箱產(chǎn)品的系統(tǒng)構成以及工作中的信息流動。首先智能音箱區(qū)別于傳統(tǒng)的AI產(chǎn)品。它不是一個孤立的存在,它們實質是一個互聯(lián)網(wǎng)的智能終端。


先通過麥克風陣列時刻采集語音,然后對語音進行降噪等加工,然后做關鍵字識別,例如:homepad Hisiri或者 “天貓精靈”,“小愛同學”之類的關鍵詞,一旦識別關鍵詞之后,就會對后面采集到的語音數(shù)據(jù)進行壓縮編碼,通過互聯(lián)網(wǎng)傳到云端,云端的AI服務器具有強大的運算能力,對語音指令進行識別,然后根據(jù)指令來做相應的回復,例如傳回語音回復,傳回一首歌的流媒體數(shù)據(jù),或者傳回對家中聯(lián)網(wǎng)的物聯(lián)網(wǎng)終端的控制,例如開關空調等動作。智能音箱收到媒體流數(shù)據(jù)后進行解碼驅動,揚聲器播放語音回復,手到家電控制指令后通過WIFI,BT來轉發(fā)到被控制的家電。所以這個工作的數(shù)據(jù)流還是很清晰的。


在產(chǎn)品架構上面,首先,這是一臺嵌入式電腦,因為涉及到降噪等算法,以及流媒體編解碼和播放功能,通常有一顆運算能力相當強勁的處理器內核,目前主流的ARM架構是四核或者八核的CORTEX-A7處理器,浮點的運算能力強勁,以及1G以上的ARM空間,外部搭配8G的EMMC或者NANDFLASH等閃存外設,用于存儲應用的數(shù)據(jù)。外圍則有兩個主要的子系統(tǒng),一個是語音處理子系統(tǒng),一個是無線通信子系統(tǒng),其中無線通信子系統(tǒng)輔助WIFI和BT通信,通過WIFI連接到無線AP和云端,或者在沒有公網(wǎng)的情況下和無線局域網(wǎng)中的其他智能家電通過WIFI來交互。WIFI通信的吞吐量達,可以傳大流量的流媒體數(shù)據(jù)是智能音箱的聯(lián)網(wǎng)基礎。藍牙這一部分通常通過經(jīng)典藍牙作為手機和外設交互數(shù)據(jù),通過BLEMESH或者傳統(tǒng)的BLE一拖多的方式和家庭網(wǎng)關的其他智能設備交互??梢灶A見未來無限通信部分還可能引入ZIGBEE模式作為網(wǎng)關來連接ZIGBEE燈之類的智能家居產(chǎn)品。


然后就是語音子系統(tǒng),又分為輸入和輸出兩塊,輸入通常是一個麥克風陣列,用于拾取聲音數(shù)據(jù),輸出通常是IIS/PCM接口音頻CODEC芯片,通過音頻功效進行功率放大后驅動一個4歐、8歐尺寸揚聲器,當然語音和機械結構高度相關,因此除了電子部分外,音腔的設備,麥克風的位置,陣列結構也是很重要的。


除了內核,無線,語音三個主要板塊外,還有一些其他輔助性的外設,比如LED燈,指示和背景燈,8D卡存儲,USB接口以及充電和電源管理系統(tǒng)。


在聲學結構上面,在設計的時候要注意麥克風和揚聲器的結構設計,對于麥克風:


1) 人聲能直達每個麥克,避免掩蔽效應,即產(chǎn)品正常使用場景下,保證聲源的直達聲(非反射聲)到達每個麥克的機會是均等的,舉例,麥克風震膜背對人的嘴巴就可能會形成掩蔽效應;


2) 聲音到達麥克風的路徑盡可能短、寬,要求諧振點頻率在8KHz以上。對于緊貼面殼安裝方式,要求聲孔的深度(面殼進聲孔外側到MIC進聲孔外側的距離)小于1.5mm,聲孔直徑盡可能大(最小2mm)。如果麥克能直接在表面最好;


3) 聲音路徑內不要存在任何空腔,對于緊貼面殼安裝方式,震膜和殼體內壁不要有縫隙;


4) 麥克風要遠離干擾或震動(喇叭震動、結構轉動震動)。對于震動,一般采用硅膠套進行減震密封處理,硅膠軟硬度可根據(jù)實際結構形式進行匹配驗證,一般要求盡可能軟;


5) 對于駐極體麥克風,結構設計和生產(chǎn)過程中要考慮對麥克風的保護,避免擠壓引發(fā)的麥克風一致性損失;


對于揚聲器:


1) 喇叭的失真要小,100Hz-1kHz失真要小于10%,1kHz之后小于5%。一般喇叭在低頻部分失真會較高,超過10%,建議加濾波器濾除低頻成份。


2) 喇叭的結構設計要避免結構引發(fā)的失真,喇叭要進行減震處理,避免結構震動對麥克造成較大影響。


3) 喇叭腔體四周與其它機構件至少保留1mm的間距,振膜上方與機構件至少保留1.5mm的間隙,防止喇叭碰到結構件產(chǎn)生振動和異音。


4) 避免結構內聲音傳播,即喇叭的聲音不能在結構內泄露到麥克,只能通過結構外的空氣傳播到麥克,建議喇叭和麥克風放在不同腔體內或選用性能好的密封材料對腔體內麥克部分進行密封;


語音子系統(tǒng)的框架結構如下圖所示:


1.jpg


目前在開源硬件領域,有一些非常具有參考價值的實現(xiàn),比如Respeaker就是一個注明的智能語音系統(tǒng)的開源實現(xiàn)。


2.jpg


Resepeker 2-MIC Array


3.jpg


4.jpg


這款麥克風陣列使用WM8960作為codec。


Resepeker 4-MIC Array


5.jpg



芯智匯AC108 高性能四通道數(shù)據(jù)轉換器ADC,主要應用于智能語音遠場麥克風陣列拾音,最多可級聯(lián)16路麥克風。AC108的SNR為108dB

6.jpg


Respeaker 6-MIC Array


7.jpg



芯智匯AC108 高性能四通道數(shù)據(jù)轉換器ADC + AC101 DAC


8.jpg


Respeaker Core 2.0


9.jpg


Rockchip 瑞芯微RK3229單芯片方案,內部集成音頻處理單元


10.jpg


除了上述麥克風陣列方案之外,還可以使用DSP方案來做語音處理,這里介紹一款專用的語音DSP方案,Realtek ALC5680.


11.jpg

12.jpg

13.jpg

14.jpg


上面可以看到此DSP芯片的參數(shù)以及硬件封裝。


15.jpg



使用DSP 芯片可以將前級的音頻輸出做前期處理,從而大大減少了ARM處理器的負荷,在低功耗解決方案中是常用的配置。


在軟件處理上面,當前有一些開源的實現(xiàn)可供參考:


GNU/Linux OS

speech algorithms

- DoA (Direction of Arrival)

- BF (Beam-Forming)

- AEC (Acoustic Echo Cancellation)

- KWD Keyword wake-up

- NS(Noise suppression)

- AGC (Automatic gain control)


基于Linux系統(tǒng),有較多的語音處理算法。


在AI 上面,目前主要的生態(tài)系統(tǒng)有 Amazon Google DuerOS等。


AI Ecosystem

- Amazon Alexa

- Google Assistant

- DuerOS

- Etc.


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 智能音箱
    +關注

    關注

    31

    文章

    1784

    瀏覽量

    78738
收藏 人收藏

    評論

    相關推薦

    基于語音識別的智能會議系統(tǒng)具備哪些交互功能

    標貝科技專注智能語音交互領域多年,在語音識別和語音合成領域有著多項大型企業(yè)合作案例,標貝與多個智能會議
    的頭像 發(fā)表于 12-20 10:35 ?187次閱讀

    標貝智能語音識別在智能會議場景中的落地案例

    標貝科技專注智能語音交互領域多年,在語音識別和語音合成領域有著多項大型企業(yè)合作案例,標貝與多個智能會議
    的頭像 發(fā)表于 12-20 10:31 ?274次閱讀
    標貝<b class='flag-5'>智能</b><b class='flag-5'>語音</b>識別在<b class='flag-5'>智能</b>會議場景中的落地案例

    智能語音開關:離線控制,守護隱私的新選擇

    智能家居依賴網(wǎng)絡,智能音箱成入口。但隱私泄露成問題,離線智能產(chǎn)品應運而生。九芯電子采用NRK3502離線
    的頭像 發(fā)表于 11-22 13:37 ?290次閱讀
    <b class='flag-5'>智能</b><b class='flag-5'>語音</b>開關:離線控制,守護隱私的新選擇

    基于語音識別技術的智能家居控制系統(tǒng)

    語音識別的智能控制系統(tǒng)智能家居的重要組成部分,相比傳統(tǒng)的遙控或觸控方式,基于語音識別控制的智能
    的頭像 發(fā)表于 11-19 17:25 ?675次閱讀
    基于<b class='flag-5'>語音</b>識別技術的<b class='flag-5'>智能</b>家居控制<b class='flag-5'>系統(tǒng)</b>

    語音集成電路是指什么意思

    語音集成電路(Voice Integrated Circuit,簡稱VIC)是一種專門用于處理語音信號的集成電路。它通常包括了語音識別、語音合成、
    的頭像 發(fā)表于 09-30 15:44 ?426次閱讀

    語音集成電路有哪些特點

    各種應用中都非常有用,包括智能手機、智能音箱、汽車導航系統(tǒng)、醫(yī)療設備和安全系統(tǒng)等。 以下是關于語音
    的頭像 發(fā)表于 09-30 15:43 ?331次閱讀

    物聯(lián)網(wǎng)系統(tǒng)智能控制產(chǎn)品語音識別方案_離線語音識別芯片分析

    01 物聯(lián)網(wǎng)系統(tǒng)中為什么要使用離線語音識別芯片 物聯(lián)網(wǎng)系統(tǒng)中使用離線語音識別芯片的原因主要基于以下幾個方面: 1、實時性與可靠性 實時性好:離線語音
    的頭像 發(fā)表于 09-26 17:56 ?762次閱讀
    物聯(lián)網(wǎng)<b class='flag-5'>系統(tǒng)</b><b class='flag-5'>智能</b>控制<b class='flag-5'>產(chǎn)品</b>的<b class='flag-5'>語音</b>識別方案_離線<b class='flag-5'>語音</b>識別芯片分析

    訊維智能語音轉寫系統(tǒng)確保企業(yè)數(shù)據(jù)的安全性

    糾錯以及多語種支持等特性,正在深刻改變著會議記錄、教育培訓、采訪報道和法律取證等多個領域的工作方式。 一、系統(tǒng)介紹 訊維智能語音轉寫系統(tǒng),是一款智能
    的頭像 發(fā)表于 08-02 15:53 ?745次閱讀

    離線語音識別芯片在智能生活中的應用

    離線語音識別芯片廣泛應用于智能音箱、家居、醫(yī)療、交通、安防、教育、家電和可穿戴設備等領域,帶來前所未有的智能體驗,讓生活更便捷、安全、高效。
    的頭像 發(fā)表于 07-12 10:39 ?471次閱讀

    AI智能音箱用2×15W立體聲功放芯片NTP8918

    智能音箱是近年來非常受歡迎的智能家居產(chǎn)品之一,它集成了人工智能技術和音頻技術,能夠為用戶提供語音
    的頭像 發(fā)表于 07-03 10:39 ?590次閱讀
    AI<b class='flag-5'>智能</b><b class='flag-5'>音箱</b>用2×15W立體聲功放芯片NTP8918

    NRK330x藍牙音箱語音識別芯片方案設計

    隨著智能家居的普及和消費者對音樂體驗需求的提高,藍牙音箱市場將繼續(xù)保持強勁的增長勢頭。而NRK330X系列語音識別芯片憑借其卓越的性能和廣泛的應用領域,有望在市場中占據(jù)更大的份額。 藍牙音箱
    的頭像 發(fā)表于 05-14 11:33 ?612次閱讀

    天龍智能音箱支持蘋果Siri調用功能

    值得一提的是,Denon Home 智能音箱還內置亞馬遜 Alexa 語音助手服務,但用戶不能同時啟用 Siri 和 Alexa,需選擇其中之一進行設置。
    的頭像 發(fā)表于 05-14 10:06 ?823次閱讀

    智能音箱解決方案

    智能音箱解決方案
    的頭像 發(fā)表于 05-09 09:37 ?689次閱讀
    <b class='flag-5'>智能</b><b class='flag-5'>音箱</b>解決方案

    智能交通系統(tǒng)子系統(tǒng)不包括哪一項

    智能交通系統(tǒng)是指利用各種先進技術,如傳感器技術、通信技術、數(shù)據(jù)處理技術等,對城市交通系統(tǒng)進行整合和管理的系統(tǒng)。智能交通
    的頭像 發(fā)表于 02-22 10:01 ?1233次閱讀

    讓機器擁有說話能力,智能語音與音頻處理SoC

    電子發(fā)燒友網(wǎng)報道(文/黃山明)隨著生成式AI的推進,已經(jīng)有越來越多的智能家居企業(yè)開始將其加入到產(chǎn)品當中,預計未來也會有更多的家居產(chǎn)品能夠通過語音方式與人進行交互。而實現(xiàn)這一技術的前提,
    的頭像 發(fā)表于 02-02 00:15 ?2866次閱讀