新版NVIDIA Maxine為實時音頻和視頻通信鋪平道路

搶先體驗 AI 微服務(wù)在云端提供的優(yōu)質(zhì)通信。

新版NVIDIA Maxine為實時音頻和視頻通信鋪平了道路。無論是參加視頻會議、致電客戶服務(wù)中心，還是進行直播，Maxine 都能夠助您實現(xiàn)清晰明確的溝通，增強虛擬交互的效果。

NVIDIA Maxine 是一套由 GPU 加速的 AI 軟件開發(fā)套件 (SDK) 和云原生微服務(wù)，用于部署經(jīng)過優(yōu)化和加速的 AI 功能，可達到實時增強音頻、視頻和增強現(xiàn)實 (AR) 效果的目的。

借助 Maxine 的先進模型，最終用戶無需使用昂貴的設(shè)備即可改進音頻和視頻質(zhì)量?；?NVIDIA AI 的技術(shù)使標準的麥克風和攝像頭設(shè)備也能夠達到這些高質(zhì)量的效果。

在 GTC 上，NVIDIA 宣布為云原生微服務(wù)重新構(gòu)建 Maxine，并推出了 Maxine 音頻效果微服務(wù)的搶先體驗版。此外，還推出了新的 Maxine SDK 功能，包括發(fā)言者聚焦和人臉表情估計，并正式推出了眼神交流功能。NVIDIA Maxine 現(xiàn)在還包含現(xiàn)有 SDK 功能的增強版。

Maxine 實現(xiàn)云原生

Maxine 的云原生微服務(wù)允許開發(fā)者構(gòu)建實時 AI 應(yīng)用。微服務(wù)可以獨立管理，并在云端進行無縫部署，從而縮短開發(fā)周期。

搶先體驗版的 Audio Effects 微服務(wù)中包含四種先進的音頻功能：

背景噪音消除：使用 AI 模型消除多種常見的背景噪音，同時保留說話者的自然聲音。

房間回聲消除：使用 AI 模型消除音頻中的混響，恢復說話者聲音的清晰度。

音頻超高分辨率：提高音頻信號的時間分辨率，改善音頻質(zhì)量。該功能目前支持 8 kHz 到 16 kHz 以及 16 kHz 到 48 kHz 的上采樣。

聲學回聲消除：消除輸入音頻流中的實時聲學設(shè)備回聲，從而去除不匹配的聲對和雙聲。借助基于 AI 的技術(shù)，Maxine 實現(xiàn)了比傳統(tǒng)數(shù)字信號處理算法更有效的回聲消除。

Pexip 是一家領(lǐng)先的企業(yè)視頻會議和協(xié)作解決方案提供商，正在利用 NVIDIA 的 AI 技術(shù)將虛擬會議提升到更高水平，為現(xiàn)代員工隊伍提供先進的功能。

Pexip 戰(zhàn)略聯(lián)盟高級副總裁 Eddie Clifton 表示：“隨著 Maxine 向云原生微服務(wù)的轉(zhuǎn)化，我們能夠更加輕松地將 NVIDIA 的先進 AI 技術(shù)與我們獨特的服務(wù)器端架構(gòu)結(jié)合起來。這使我們的 Pexip 團隊能夠為虛擬會議提供更強的體驗。”

探索 SDK 的增強功能

Maxine 提供了三款由 GPU 加速的 SDK，能夠通過 AI 重塑實時通信的音頻、視頻和 AR 效果。

音頻效果 SDK 可提供多效果、低延遲，以及基于 AI 的音頻質(zhì)量增強算法。發(fā)言者聚焦是搶先體驗版中的新功能，該功能能夠分離前景和背景發(fā)言者的音軌，使聽眾能夠更加輕松地識別每種聲音。此外，還更新了音頻超高分辨率SDK 功能，使其具備更高的質(zhì)量。

視頻效果 SDK 會使用標準網(wǎng)絡(luò)攝像頭輸入創(chuàng)建基于 AI 的視頻效果。虛擬背景功能已獲得更新，增強了時間穩(wěn)定性，該功能能夠分割個人形象并應(yīng)用由 AI 驅(qū)動的背景去除、替換或模糊功能。

AR SDK 基于標準網(wǎng)絡(luò)攝像頭饋送，提供基于 AI 的實時 3D 面部追蹤和身體姿態(tài)估計。新功能包括：

眼神交流：通過預(yù)估和將視線與攝像頭對齊來模擬眼神交流。

人臉表情估計：追蹤人臉并推斷主體所呈現(xiàn)的表情。

更新了以下 AR 功能：

身體姿態(tài)估計：以 2D 和 3D 形式預(yù)測和追蹤人體的 34 個關(guān)鍵點，并且現(xiàn)已支持多人追蹤。

面部特征點追蹤：使用 126 個關(guān)鍵點來識別面部特征和輪廓。現(xiàn)已可使用“畫質(zhì)”模式來追蹤由于頭部運動和表情造成的頭部姿勢和面部變形（實時追蹤的自由度為 3 度），實現(xiàn)了更高質(zhì)量的跟蹤效果。

人臉網(wǎng)格：以高達 3000 個頂點和 6 個自由度的 3D 網(wǎng)格表示人臉，并且現(xiàn)在包括USC 創(chuàng)意技術(shù)研究所的 3D 可變形模型。

直接體驗 Maxine 的驚艷效果。

體驗由 AI 的強大功能帶來的先進效果

Maxine SDK 和微服務(wù)可為您提供一套低延遲的 AI 效果，且可與現(xiàn)有的客戶基礎(chǔ)設(shè)施進行集成。由于 Maxine 的尖端 AI 功能的構(gòu)建以 NVIDIA AI 平臺為基礎(chǔ)，并且擁有領(lǐng)先的預(yù)訓練模型，所以開發(fā)者用戶可利用其來創(chuàng)建、定制和部署優(yōu)質(zhì)的音頻和視頻質(zhì)量功能。

Maxine 也是NVIDIA Omniverse Avatar Cloud Engine的一部分，NVIDIA Omniverse Avatar Cloud Engine 是一系列基于云的 AI 模型和服務(wù)，可供開發(fā)者構(gòu)建、定制和部署交互式虛擬形象。Maxine 的可定制云原生微服務(wù)允許您在 AI 效果制作流程中進行獨立部署。而且，您可以在本地、云端或邊緣部署 Maxine。

審核編輯：湯梓紅