用于邊緣音頻和AI的下一代處理器Knowles IA8201

Knowles IA8201 音頻和 AI 處理器增強(qiáng)了網(wǎng)絡(luò)邊緣的節(jié)能智能和隱私。

像往常一樣，我對(duì)我不知道的事情的數(shù)量感到驚訝。例如，您是否聽說過一家名為Knowles Corporation的公司？我必須承認(rèn)，直到今天早些時(shí)候我發(fā)現(xiàn)自己在和他們聊天時(shí)才知道。

不幸的是，我缺乏知識(shí)，因?yàn)槭聦?shí)證明它們?cè)诼晫W(xué)、軟件和信號(hào)處理領(lǐng)域非常有名。該公司由 Hugh Knowles 于 1946 年創(chuàng)立，于 1945 年推出了第一款用于助聽器的微型麥克風(fēng)和接收器。

Knowles 繼續(xù)在麥克風(fēng)技術(shù)方面積累了豐富的專業(yè)知識(shí)。事實(shí)上，在月球上說出的第一句話（“人類邁出的一小步……”）就被傳進(jìn)了諾爾斯的麥克風(fēng)。

2002 年，Knowles 推出了他們的第一代 SiSonic MEMS 麥克風(fēng)，如今，該公司每年出貨數(shù)十億個(gè)此類麥克風(fēng)。事實(shí)上，事實(shí)證明，坐在我辦公室旁邊的亞馬遜 Echo 擁有七個(gè)小美女。

問題是世界在不斷變化。專注于像麥克風(fēng)這樣的小眾技術(shù)只能帶你走這么遠(yuǎn)，這解釋了為什么 Knowles 在 2015 年收購了 Audience Inc. 數(shù)字信號(hào)處理 (DSP) 和算法公司。 Knowles 的 SiSonic MEMS 麥克風(fēng)與 Audience 的音頻處理技術(shù)相結(jié)合非常適合解決當(dāng)前對(duì)邊緣復(fù)雜、始終在線、超低功耗語音識(shí)別和音頻處理的需求。

我之所以在這里討論這個(gè)問題是因?yàn)?Knowles 發(fā)布了 IA8201，這是其 AISonic 音頻邊緣處理器系列中的最新產(chǎn)品。IA8201 提供強(qiáng)大的語音激活和多麥克風(fēng)音頻處理，針對(duì)功耗敏感的應(yīng)用進(jìn)行了優(yōu)化。該處理器具有為當(dāng)今最先進(jìn)的消費(fèi)電子產(chǎn)品執(zhí)行高級(jí)音頻輸出、上下文感知和手勢(shì)控制的計(jì)算能力。

取樣的 IA8201 音頻處理器擁有雙異構(gòu) 175-MHz 處理器內(nèi)核，采用微型 2.6 × 3-mm eWLB 封裝和 6.0 × 6.0-mm QFN 封裝，具有電壓縮放功能。內(nèi)核實(shí)現(xiàn)了低功耗，提供了優(yōu)化指令和行業(yè)兼容性的最佳組合。

?

IA8201 框圖（來源：Knowles）

IA8201 包括具有 Knowles 專有指令集的高計(jì)算 128 位內(nèi)核 (DMX) 以及 Tensilica HiFi3 內(nèi)核 (HMD)，兩者均具有 Knowles 的音頻增強(qiáng)功能。DMX 是一種四路浮點(diǎn) SIMD 處理器，旨在實(shí)現(xiàn)高效的性能計(jì)算（例如，波束成形、強(qiáng)插、AEC），而 HMD 的目標(biāo)是高效、低功耗、語音喚醒應(yīng)用，具有兩個(gè)路浮點(diǎn) SIMD 處理器。兩個(gè)內(nèi)核都包含用于 FFT、峰值查找和 DNN 的專用加速器。

IA8201 解決方案提供大容量?jī)?nèi)存 (1.4 MB)，其大小適合特定用例，并針對(duì)單周期訪問和低功耗而設(shè)計(jì)。這種大內(nèi)存大小可用于存儲(chǔ)各種關(guān)鍵字模型、引擎或其他算法。

豐富的接口選項(xiàng)包括 2 個(gè) I2C、2 個(gè) SPI、2 個(gè) UART 和 24 個(gè)帶中斷的 GPIO，以支持各種傳感器和數(shù)據(jù)連接，以及 4 個(gè) PDM 輸入、2 個(gè) PDM 輸出和 3 個(gè) I2S/TDM（四通道）。輸入/輸出）以支持最多四個(gè)麥克風(fēng)和各種音頻連接。

在 IA8201 上處理音頻和語音可盡可能長(zhǎng)時(shí)間地關(guān)閉耗電的主機(jī)處理器，以延長(zhǎng)電池壽命。IA8201 在嘈雜的真實(shí)環(huán)境中提供更好的遠(yuǎn)場(chǎng)語音理解和更有效地處理命令。此外，它還支持主機(jī)處理器提供的新音頻用例，并通過同時(shí)感知語音、音頻和其他傳感器輸入，提供更自然的用戶體驗(yàn)。

正如我對(duì)諾爾斯的人們所說的那樣，我個(gè)人認(rèn)為我們不知道哪些產(chǎn)品和功能正在朝著我們的方向發(fā)展。我還提到我最近和一個(gè)天生失明的朋友聊天。我的朋友告訴我，他可以通過他們?cè)谖窄h(huán)境聲音時(shí)投射的“聲學(xué)陰影”來檢測(cè)房間中是否有人——并在他們四處走動(dòng)時(shí)跟蹤他們。

Knowles 的員工回應(yīng)說，構(gòu)成他們操作系統(tǒng)基礎(chǔ)的 ROME 框架對(duì)開發(fā)人員開放。他們的開放式 DSP 平臺(tái)（包括一個(gè) SDK）促進(jìn)了與第三方算法提供商的合作，第三方算法提供商將推出與 IA8201 兼容的關(guān)鍵字模型、各種上下文檢測(cè)插件以及包括 TensorFlowLite 在內(nèi)的機(jī)器學(xué)習(xí)平臺(tái)。

就像命運(yùn)一樣，我想我剛剛想出了一個(gè)巧妙的想法，將 Knowles 麥克風(fēng)與來自 Chirp 的聲音數(shù)據(jù)技術(shù)相結(jié)合，從而為無數(shù)嵌入式開發(fā)人員和世界各地的愛好者。關(guān)注此空間！