教你快速定制Google助理器件

語音助理已經(jīng)迅速成為一個重要的產(chǎn)品功能，這要歸功于流行的基于智能語音的產(chǎn)品，例如 Amazon Echo 和 Google Home。雖然語音服務(wù)提供商為開發(fā)人員提供了應(yīng)用程序編程接口 (API) 支持，因此他們不必成為語音識別和解析細(xì)節(jié)方面的專家，但是將音頻硬件和語音處理軟件相結(jié)合的要求仍然是一個重大障礙。

此外，在與每個學(xué)科相關(guān)的細(xì)節(jié)工作中，在聲學(xué)設(shè)計、音頻工程、基于云的服務(wù)方面沒有豐富經(jīng)驗的項目可能會面臨嚴(yán)重延遲。

為了解決這些問題，供應(yīng)商提供了完整的語音助理開發(fā)套件，以求顯著簡化問題。本文將分別介紹兩種此類套件，一個套件來自XMOS，另一個套件來自Seeed Technology，它們分別實現(xiàn)了基于 Amazon Alexa 語音服務(wù) (AVS) 和谷歌助理的定制產(chǎn)品的快速開發(fā)。這些電路板可與Raspberry Foundation的Raspberry Pi 3(RPi 3) 電路板連接。

本文將介紹如何讓每個套件投入運行，并展示每個套件如何隨時利用語音助理技術(shù)。

快速 AVS 評估

Amazon 公司推出了 Alexa 智能音箱，這是一款面向家庭的產(chǎn)品，提供智能語音助理功能，但過去這些功能在很大程度上僅限于智能手機。對于開發(fā)人員來說，AVS API 的發(fā)布為在定制系統(tǒng)設(shè)計中使用相同的語音助理功能打開了大門，但其仍然需要音頻硬件和軟件方面的豐富專業(yè)知識?，F(xiàn)在，隨著適用于 Amazon Alexa 語音服務(wù) (AVS) 的 XMOSxCORE VocalFusion 4-Mic 套件的推出，實施語音助理功能的最后一個難題也迎刃而解。

XMOS 套件包括一個 XVF3000 處理器基板、由四個InfineonIM69D130MEMS 麥克風(fēng)組成的 100 mm 線性陣列、xTAG調(diào)試器、安裝套件和電纜。開發(fā)人員需要為 RPi 3 提供有源揚聲器、USB 電源，以及 USB 鍵盤、鼠標(biāo)、監(jiān)視器和互聯(lián)網(wǎng)連接。在使用安裝套件將 XMOS 板和麥克風(fēng)陣列連接到 RPi 3 之后，開發(fā)人員可以快速評估 Amazon Alexa 語音助理（圖1）。

圖 1： 開發(fā)人員使用 XMOS xCORE VocalFusion 套件開始工作，將提供的麥克風(fēng)陣列板（最左側(cè)）和 XMOS 處理器板（中間）插入 Raspberry Pi 3 板（右側(cè)）。（圖片來源： XMOS）

將 RPi 3 連接到 USB 鍵盤、鼠標(biāo)、監(jiān)視器和互聯(lián)網(wǎng)服務(wù)之后，下一步驟是從 SD 微型卡安裝 Raspbian 操作系統(tǒng)，在 RPi 3 上打開端子，并克隆XMOS VocalFusion 存儲庫。安裝操作系統(tǒng)和存儲庫之后，只需運行位于克隆的vocalfusion-avs-setup目錄下的auto_install.sh。

安裝腳本將配置 Raspberry Pi 音頻系統(tǒng)及其與 xCORE VocalFusion 套件的連接，并在 Raspberry Pi 上安裝和配置 AVS Device SDK。這個安裝過程可能需要大約兩個小時完成。

安裝完成后，開發(fā)人員需要執(zhí)行一個簡單的過程來加載他們的 Amazon 開發(fā)人員憑據(jù)，然后開始測試大量的語音命令和內(nèi)置功能。此時，XMOS 套件將能夠演示 Alexa 的全套功能，如定時器、鬧鐘和日歷，以及使用 Alexa Skills 套件構(gòu)建的第三方功能。

參考設(shè)計

雖然設(shè)置步驟簡單，但 XMOS 套件中的硬件和軟件組件的功能卻非常復(fù)雜。該套件為開發(fā)人員提供了實現(xiàn)定制設(shè)計的全面參考設(shè)計。XMOS 套件的核心是 XMOS XVF3000-TQ128 器件，它提供了很高的處理能力（圖 2）。

圖 2： XMOS XVF3000-TQ128 器件集成了兩個 xCORE Tile，每個 Tile 包含八個內(nèi)核，以提供高性能音頻處理。（圖片來源： XMOS）

該器件專為并行處理任務(wù)而構(gòu)建，包含兩個 xCORE Tile，每個 Tile 包含八個帶集成 I/O 的 32 位 xCORE 內(nèi)核、256 KB 的 SRAM、8 KB 的一次性可編程（OTP）片上存儲器。xTIME 調(diào)度程序管理內(nèi)核，并觸發(fā)來自 I/O 引腳的硬件事件的內(nèi)核操作。每個內(nèi)核都可以獨立執(zhí)行計算、信號處理或控制任務(wù)，利用了 xCORE VocalFusion 套件中的集成式 2MB 閃存，以及用于套件設(shè)置和執(zhí)行的代碼和數(shù)據(jù)。

除了 XVF3000-TQ128 器件之外，XMOS 處理器基板還需要少量的附加組件（圖 3）。除了基本的緩沖器和針座連接外，基板還包括Cirrus LogicCS43L21數(shù)模轉(zhuǎn)換器（DAC），用于為外部揚聲器生成輸出音頻。最后，底板還引出了 XVF3000-TQ128 器件 I2C 端口，以及經(jīng)過音頻優(yōu)化的 I2S 數(shù)字音頻接口。

圖 3： XMOS 套件的基板包括 XVF3000-TQ128 器件、DAC、緩沖器，以及用于連接 Raspberry Pi 3 板和外部揚聲器的針座。（圖片來源： XMOS）

該套件的整體功能分為兩個部分：XMOS 板上的音頻處理、RPi 3 上的高級語音處理服務(wù)（圖 4）。RPi 的Broadcom四核處理器運行軟件，該軟件用于分析音頻流，進(jìn)行喚醒詞識別，并且處理與 Amazon AVS 的交互。

圖 4： XMOS VocalFusion 套件將基板和 Raspberry Pi 3 板上的 Alexa 功能分開，前者用于音頻信號處理，后者用于語音識別和更高級別的 Alexa 服務(wù)。（圖片來源： XMOS）

軟件安裝過程配置這些子系統(tǒng)并加載所需的軟件包，包括 Sensory 的獨立于揚聲器的喚醒詞引擎，以及 AVS 客戶端軟件等。

AVS 提供了一系列與高級功能（如語音識別、音頻回放和音量控制）相關(guān)的接口。操作通過來自 AVS 的消息（指令）和來自客戶端的消息（事件）進(jìn)行。例如，為了響應(yīng)某些條件，AVS 可能會向客戶端發(fā)送指示，指示客戶端應(yīng)播放音頻、設(shè)置鬧鐘或打開燈光。相反，來自客戶端的事件可通知 AVS 發(fā)生了某些事件，例如來自用戶的新語音請求。

開發(fā)人員可以使用AVS 器件軟件開發(fā)套件(SDK) API 和 C++ 軟件庫來擴展其 XMOS 套件或 XMOS 定制設(shè)計的功能。AVS Device SDK 通過一系列單獨的 C++ 類和對象，提取出低級別操作，如音頻輸入處理、通信和 AVS 指令管理，開發(fā)人員可以使用或擴展它們，用于定制應(yīng)用程序（圖 5）。

圖 5： Amazon AVS Device SDK 將 AVS 的廣泛功能組織為單獨的功能區(qū)域，每個功能區(qū)域都有自己的接口和庫。（圖片來源： AWS）

包含在 AVS Device SDK 中的完整樣例應(yīng)用程序展示了關(guān)鍵設(shè)計模式，包括創(chuàng)建設(shè)備客戶端和喚醒詞交互管理器（列表 1）除了全套的樣例服務(wù)例程之外，該應(yīng)用還顯示了主程序如何只需要實例化樣例應(yīng)用程序?qū)ο髎ampleApplication，并使用一個簡單的命令來啟動它：sampleApplication->run().

Copy/*
*CreatingtheDefaultClient-thiscomponentservesasanout-of-boxdefaultobjectthatinstantiatesand"glues"
*togetherallthemodules.
*/
std::shared_ptrclient=
alexaClientSDK::defaultClient::DefaultClient::create(
m_speakMediaPlayer,
m_audioMediaPlayer,
m_alertsMediaPlayer,
speakSpeaker,
audioSpeaker,
alertsSpeaker,
audioFactory,
authDelegate,
alertStorage,
settingsStorage,
{userInterfaceManager},
{connectionObserver,userInterfaceManager});

...

//Ifwakewordisenabled,thencreatingtheinteractionmanagerwithawakewordaudioprovider.
autointeractionManager=std::make_shared(
client,
micWrapper,
userInterfaceManager,
holdToTalkAudioProvider,
tapToTalkAudioProvider,
wakeWordAudioProvider);

...

client->addAlexaDialogStateObserver(interactionManager);

//Creatingtheinputobserver.
m_userInputManager=alexaClientSDK::sampleApp::UserInputManager::create(interactionManager);

...

voidSampleApplication::run(){
m_userInputManager->run();
}

列表 1： 開發(fā)人員可以使用 AVS Device SDK C++ 樣例應(yīng)用程序來擴展設(shè)備 AVS 客戶端，AVS Device SDK C++ 樣例應(yīng)用程序演示了用于創(chuàng)建 AVS 客戶端、喚醒詞交互管理器和用戶輸入管理器等的關(guān)鍵設(shè)計模式。（列表來源： AWS）

Google 助理快速原型

XMOS 套件可加快 Amazon Alexa 原型的開發(fā)速度，Seeed Technology 的Google AIY 語音套件可幫助開發(fā)人員使用 Google Assistant 構(gòu)建原型。與 XMOS AVS 套件相同，Seeed Google AIY 語音套件可與 Raspberry Pi 3 板配合使用來構(gòu)建原型，并提供必要的組件（圖 6）。

圖 6： 開發(fā)人員可將 Raspberry Pi 3 與 Seeed Technology 的 Google AIY 語音套件配合使用（它提供了構(gòu)建原型所需的組件），從而快速創(chuàng)建 Google 助理應(yīng)用。（圖片來源：Google）

除了 Seeed Voice HAT 擴展板（圖 6 中的 1）、麥克風(fēng)板 (2) 和揚聲器 (4) 之外，套件還包括紙板外殼 (8) 和內(nèi)部框架 (9)，以及一些基本組件，包括支座 (3)、電纜（6 和 7）和按鈕 (5)。

開發(fā)人員首先將 RPi 3、揚聲器電線、麥克風(fēng)電纜連接到語音 HAT，然后組裝套件。與 AVS 套件不同，Google 套件提供了一個簡單的外殼和內(nèi)部框架，用于固定電路板組件和揚聲器（圖 7）。

圖 7： Seeed Google AIY 語音套件包括一個內(nèi)部紙板框架，開發(fā)人員將其折疊成為電路板組件的載體。（圖片來源： Seeed Technology）

框架安裝在支撐按鈕和麥克風(fēng)陣列的外殼內(nèi)，完成裝配（圖 8）。

圖 8： 除了固定內(nèi)部框架和揚聲器之外，Seey Google AIY 語音套件的外殼還包括按鈕和麥克風(fēng)（看起來像外殼頂部的兩個孔）。（圖片來源： Seeed Technology）

下載語音套件鏡像并將其載入 SD 卡中后，只需將 SD 卡插入 RPi 并打開電路板電源，即可調(diào)出套件。經(jīng)過短暫的初始化過程以確認(rèn)每個組件正常工作之后，開發(fā)人員需要激活 Google Cloud 端的服務(wù)。為此，請設(shè)置工作沙箱區(qū)域并啟用 Google 助理 API，以創(chuàng)建和下載身份驗證憑據(jù)。

最后，開發(fā)人員需要在 RPi 3 上打開一個終端控制臺并執(zhí)行 Python 腳本assistant_library_demo.py，以便在套件上啟動 Google 助理。此時，開發(fā)人員可以毫不費力地使用完整的 Google 助理功能。

定制 Google 助理器件

使用 Seeed Google AIY 語音套件進(jìn)行自定義開發(fā)，可以充分利用 Raspberry Pi 的靈活性。Seeed Voice HAT 引出了多個已經(jīng)為典型 IO 功能配置的 RPi 3 GPIO（圖 9）。

圖 9： 開發(fā)人員可以使用 Seeed Voice HAT 擴展板上引出的 I/O 端口，快速擴展 Seeed Google AIY 語音套件的硬件功能。（圖片來源： Raspberry Pi）

在軟件方面，開發(fā)人員可以使用 Google 的語音套件 API軟件，輕松擴展套件的基準(zhǔn)功能。除了支持軟件和實用程序之外，該軟件包還包含樣例應(yīng)用程序軟件，演示了通過 Google Cloud Speech API 和 Google Assistant SDK 實施語音服務(wù)的多種方法。

云語音服務(wù)與智能助理方法截然不同，它提供了語音識別功能，將實現(xiàn)特定語音啟動操作的任務(wù)留給了程序員。對于只需要語音輸入功能的設(shè)計，該服務(wù)提供了一個簡單的解決方案。開發(fā)人員只需將音頻傳遞到云語音服務(wù)，即可將語音轉(zhuǎn)換為文本，并返回識別的文本，如語音套件 API 中包含的樣例 Python 腳本所示（列表 2）。

Copy...

importaiy.audio
importaiy.cloudspeech
importaiy.voicehat


defmain():
recognizer=aiy.cloudspeech.get_recognizer()
recognizer.expect_phrase('turnoffthelight')
recognizer.expect_phrase('turnonthelight')
recognizer.expect_phrase('blink')

button=aiy.voicehat.get_button()
led=aiy.voicehat.get_led()
aiy.audio.get_recorder().start()

whileTrue:
print('Pressthebuttonandspeak')
button.wait_for_press()
print('Listening...')
text=recognizer.recognize()
ifnottext:
print('Sorry,Ididnothearyou.')
else:
print('Yousaid"',text,'"')
if'turnonthelight'intext:
led.set_state(aiy.voicehat.LED.ON)
elif'turnoffthelight'intext:
led.set_state(aiy.voicehat.LED.OFF)
elif'blink'intext:
led.set_state(aiy.voicehat.LED.BLINK)
elif'goodbye'intext:
break


if__name__=='__main__':
main()

列表 2： 在 Google 語音套件 API 提供的軟件例程中，樣例程序的這個片段演示了如何使用 Google Cloud Speech 服務(wù)，將語音轉(zhuǎn)換為文本，并將實現(xiàn)任何語音指導(dǎo)操作的任務(wù)留給了程序員。（列表來源： Google）

對于需要 Google 助理的更廣泛功能的開發(fā)人員，Google Assistant SDK 提供了兩個實施選項： Google Assistant Library 和 Google Assistant Service。

基于 Python 的 Google Assistant Library 提供了一種在原型中快速實施 Google Assistant 的入門方法，例如在 Seeed 語音套件中。使用這種方法，原型可以即時利用基本的 Google 助理服務(wù)，包括音頻捕獲、對話管理和定時器。

與 Cloud Speech 方法相反，Google Assistant Library 通過將每個對話處理為一系列與對話和發(fā)聲狀態(tài)相關(guān)的事件來管理對話。語音識別完成后，實例化的助理對象將提供事件對象，其中包括了適當(dāng)?shù)奶幚斫Y(jié)果。如另一個 Google 樣例腳本所示，開發(fā)人員使用特征事件處理設(shè)計模式和一系列的 if/else 語句來處理預(yù)期的事件結(jié)果（列表 3）。

Copy...

importaiy.assistant.auth_helpers
importaiy.audio
importaiy.voicehat
fromgoogle.assistant.libraryimportAssistant
fromgoogle.assistant.library.eventimportEventType


defpower_off_pi():
aiy.audio.say('Goodbye!')
subprocess.call('sudoshutdownnow',shell=True)


defreboot_pi():
aiy.audio.say('Seeyouinabit!')
subprocess.call('sudoreboot',shell=True)


defsay_ip():
ip_address=subprocess.check_output("hostname-I|cut-d''-f1",shell=True)
aiy.audio.say('MyIPaddressis%s'%ip_address.decode('utf-8'))


defprocess_event(assistant,event):
status_ui=aiy.voicehat.get_status_ui()
ifevent.type==EventType.ON_START_FINISHED:
status_ui.status('ready')
ifsys.stdout.isatty():
print('Say"OK,Google"thenspeak,orpressCtrl+Ctoquit...')

elifevent.type==EventType.ON_CONVERSATION_TURN_STARTED:
status_ui.status('listening')

elifevent.type==EventType.ON_RECOGNIZING_SPEECH_FINISHEDandevent.args:
print('Yousaid:',event.args['text'])
text=event.args['text'].lower()
iftext=='poweroff':
assistant.stop_conversation()
power_off_pi()
eliftext=='reboot':
assistant.stop_conversation()
reboot_pi()
eliftext=='ipaddress':
assistant.stop_conversation()
say_ip()

elifevent.type==EventType.ON_END_OF_UTTERANCE:
status_ui.status('thinking')

elifevent.type==EventType.ON_CONVERSATION_TURN_FINISHED:
status_ui.status('ready')


defmain():
credentials=aiy.assistant.auth_helpers.get_assistant_credentials()
withAssistant(credentials)asassistant:
foreventinassistant.start():
process_event(assistant,event)


if__name__=='__main__':
main()

列表 3： 如 Google Voice 套件中的樣例所示，使用 Google Assistant Library 的應(yīng)用程序中的主循環(huán)啟動一個助理對象，然后生成一系列事件，由開發(fā)人員的代碼處理。（圖片來源： Google）

對于要求更高的定制需求，開發(fā)人員可以轉(zhuǎn)向使用 Google Assistant Service（以前稱為 Google Assistant gRPC API）提供的全套接口。Google Assistant Service 基于 Google RPC（gRPC），讓開發(fā)人員能夠?qū)⒁纛l查詢傳送到云端，處理識別的語音文本，并且處理相應(yīng)的響應(yīng)。為了實現(xiàn)定制功能，開發(fā)人員可以使用各種編程語言（包括 C++、Node.js 和 Java）來訪問 Google Assistant Service API。

在將 Google Assistant SDK 用于自己的設(shè)計時，設(shè)計人員可以使用 Google 的器件匹配功能，實現(xiàn)特定于硬件的功能。作為器件設(shè)置的一部分，開發(fā)人員提供關(guān)于定制器件的信息，包括功能和特性，稱為特質(zhì)。對于涉及到定制器件的用戶語音請求，服務(wù)會識別器件的有效特質(zhì)，并為器件生成適當(dāng)?shù)捻憫?yīng)（圖 10）。開發(fā)人員只需在器件的事件處理程序中包括與器件特質(zhì)相關(guān)的對應(yīng)代碼（例如列表 3 中的def power_off_pi()）。

圖 10： Google Assistant SDK 使用自動語音識別 (ASR) 和自然語言處理 (NLP) 服務(wù)，將用戶請求與特定設(shè)備進(jìn)行匹配，并發(fā)出與定制設(shè)備及其認(rèn)可特質(zhì)一致的響應(yīng)。（圖片來源： Google）

總結(jié)

過去，智能語音助理在很大程度上是主流開發(fā)人員無法實現(xiàn)的。隨著兩個現(xiàn)成套件的推出，開發(fā)人員可以在定制設(shè)計中快速實施 Amazon Alexa 和 Google 助理。每個套件都允許開發(fā)人員在基本原型中快速調(diào)用相應(yīng)的智能助理，或者使用定制的硬件和軟件來擴展設(shè)計。