Sensory Cloud利用NVIDIA Triton運(yùn)行語音和視覺模型

企業(yè)可以使用混合模型改進(jìn)喚醒詞、語音轉(zhuǎn)文本、設(shè)備安全等。

你可能不了解 Todd Mozer，但卻很有可能已經(jīng)體驗(yàn)過該公司的技術(shù)——該公司已經(jīng)為全球數(shù)十億消費(fèi)電子設(shè)備實(shí)現(xiàn)了語音和視覺 AI。

Sensory于 1994 年創(chuàng)立于硅谷，致力于為行業(yè)巨頭的移動(dòng)設(shè)備提供先進(jìn)的緊湊模型。如今，Sensory 為各種語音電子產(chǎn)品提供了互動(dòng)性。LG 和三星不僅在手機(jī)，還在冰箱、遙控器和可穿戴設(shè)備中使用 Sensory。

CEO 兼創(chuàng)始人 Mozer 表示：“當(dāng)我想讓我的語音微波爐連接網(wǎng)絡(luò)搜索食譜，并為我讀出這個(gè)食譜時(shí)，混合計(jì)算方法就可以發(fā)揮作用?！?/p>

混合計(jì)算是一種結(jié)合云和本地計(jì)算資源的方法。

該公司的最新成果依靠于用于建立先進(jìn)對(duì)話式 AI 模型的工具包NVIDIANeMo以及用于其SensoryCloud混合計(jì)算單元的NVIDIATriton 推理服務(wù)器。

讓電子設(shè)備更智能

設(shè)備正在變得越來越強(qiáng)大。雖然市場(chǎng)上正在出現(xiàn)各種專用的推理加速器，但越好的模型往往越大，而且需要的內(nèi)存也越多，所以基于邊緣的處理有時(shí)并不一定是最好的解決方案。

而將設(shè)備連接到云可以為這些緊湊模型提供更好的性能。Mozer 表示，可穿戴設(shè)備、手機(jī)、汽車等設(shè)備都可以進(jìn)行無線更新。

他表示：“云連接可以為更小、更準(zhǔn)確的設(shè)備端模型提供更新?！?/p>

這實(shí)現(xiàn)了設(shè)備端的許多功能改進(jìn)。Sensory 為客戶提供語音轉(zhuǎn)文字、文字轉(zhuǎn)語音、喚醒詞驗(yàn)證、自然語言理解、面部身份識(shí)別以及揚(yáng)聲器和聲音識(shí)別等功能。

Sensory 還使用NVIDIAJetson邊緣 AI 模塊將 Sensory Cloud 的力量帶給更大的設(shè)備。

利用Triton進(jìn)行推理

該公司的 Sensory Cloud 利用NVIDIA Triton運(yùn)行語音和視覺模型。Sensory 圍繞 Triton 構(gòu)建的自定義云模型管理基礎(chǔ)架構(gòu)，使不同的客戶能夠運(yùn)行不同的模型版本、部署自定義模型、啟用自動(dòng)更新并監(jiān)控使用情況和錯(cuò)誤。

Sensory 的客戶可以將它作為一個(gè)容器部署到本地或云端，也可以完全用于私人用途，不向 Sensory 發(fā)送任何數(shù)據(jù)。

Triton 為 Sensory 提供了一個(gè)用于所有 Triton 通信和以最少的編碼快速部署新模型的專用機(jī)器學(xué)習(xí)任務(wù)庫。它還實(shí)現(xiàn)了一個(gè)方便新管道組裝和擴(kuò)展的異步動(dòng)作管道。Triton 的動(dòng)態(tài)批處理功能幫助提高 GPU 吞吐量并進(jìn)行性能分析，以此實(shí)現(xiàn)推理優(yōu)化。

Sensory 是NVIDIA初創(chuàng)加速計(jì)劃的成員。這項(xiàng)全球計(jì)劃為領(lǐng)先的初創(chuàng)企業(yè)提供支持。

將NeMo運(yùn)用于混合云模型

Sensory 在NVIDIA NeMo的基礎(chǔ)上進(jìn)行了擴(kuò)展，提升其所有云技術(shù)的準(zhǔn)確性和功能。

NeMo 所改進(jìn)的功能包括專有的特征提取器、音頻流優(yōu)化、可定制的詞匯表、多語言模型等。

NeMo 模型現(xiàn)在支持 17 種語言。該公司稱，憑借 Sensory 專有的功能改進(jìn)，語音轉(zhuǎn)文字的單詞錯(cuò)誤率很低，并始終處于最佳水平。

Mozer 表示：“Sensory 通過 NVIDIA Triton 硬件和 NVIDIA NeMo 軟件實(shí)現(xiàn)了各項(xiàng)特征和功能的改進(jìn)。這類混合云設(shè)置為客戶提供了全新的 AI 功能。”

審核編輯：湯梓紅