SIGGRAPH 2023 | NVIDIA 擴展 Maxine 視頻編輯功能，展示 3D 虛擬會議研究成果

Maxine 的生產(chǎn)版本現(xiàn)已在 NVIDIA AI Enterprise 中推出；研究演示示范了 3D 技術(shù)如何提升視頻通信的質(zhì)量。

在 NVIDIA Maxine 的幫助下，專業(yè)人士、團隊、創(chuàng)作者等能夠利用 AI 的強大性能用普通麥克風和網(wǎng)絡攝像頭創(chuàng)造出高品質(zhì)的音視頻效果。

通過這套由 GPU 加速的軟件開發(fā)工具套件和云原生微服務，用戶可以部署能夠改進實時通信服務和平臺的音視頻及增強現(xiàn)實效果的 AI 功能。Maxine 還將擴展視頻編輯功能，使團隊的視頻通信能力達到新的高度。

此外，在本周舉行的 SIGGRAPH 大會上，NVIDIA Research 還演示了 AI 如何通過 3D 功能樹立視頻會議的新標桿。

NVIDIA Maxine 功能擴展至視頻編輯領域

無線連接使人們能夠在更多地點參加虛擬會議。一般情況下，當通話者在移動中或位于連接不佳的地點時，音視頻質(zhì)量就會受到嚴重影響。

而借助背景音降噪、超高分辨率、眼神交流等先進的實時 Maxine 功能，遠程用戶可以獲得更好的人際交流體驗。

此外，Maxine 現(xiàn)在還可用于視頻編輯。NVIDIA 合作伙伴正在使用提升視頻會議質(zhì)量的 Maxine 功能改變這一專業(yè)工作流。無論是銷售宣傳還是網(wǎng)絡研討會，編輯視頻的目的都是為了盡可能廣泛的吸引受眾。通過 Maxine，專業(yè)人員可以充分利用 AI 功能增強音視頻信號。

有了 Maxine，發(fā)言人可以將目光從屏幕移到參考筆記或腳本上，而在屏幕上他們?nèi)栽谥币曠R頭。用戶還能以低分辨率拍攝視頻，并在后期提高質(zhì)量。另外，Maxine 還使用戶能夠用多種不同語言錄制視頻并導出英語視頻。

今年的 Maxine 搶先體驗版中將發(fā)布的功能有：

• Interpreter：將中文、俄語、法語、德語和西班牙語翻譯成英語，同時將用戶影像轉(zhuǎn)換成他們在說英文的動畫形象。

• Voice Font：使用戶能夠應用發(fā)言者的聲音特征并將其映射到輸出的音頻中。

• Audio Super Resolution：通過提高音頻信號的時間分辨率和擴展帶寬來提升音頻質(zhì)量。該功能目前支持從 8,000Hz 到 16,000Hz 以及從 16,000Hz 到 48,000Hz 的上采樣，在更新后還減少了 50% 的延遲，提高了 2 倍的吞吐量。

• Maxine Client：將 Maxine 微服務的 AI 功能加入到 PC 上的視頻會議中。該應用針對低延遲流式傳輸進行了優(yōu)化，并將使用云來滿足其所有 GPU 計算需求。瘦客戶端將于今年秋季在 Windows 上推出，之后還將增加對其他操作系統(tǒng)的支持。

Maxine 可以部署在云端、本地或邊緣，這意味著用戶可以在幾乎任何地方進行高質(zhì)量的通信。

樹立視頻會議的新標桿

許多合作伙伴和客戶正在體驗 Maxine 帶來的高質(zhì)量視頻會議和視頻編輯。Maxine 的兩項功能 Eye Contact 和 Live Portrait 現(xiàn)已在 NVIDIA AI Enterprise 軟件平臺上發(fā)布。Eye Contact 通過估計用戶的視線并將其與攝像頭對齊來模擬用戶直視攝像頭。而 Live Portrait 則能通過用戶的實時視頻畫面將用戶的人像照片轉(zhuǎn)換成動畫。

軟件公司 Descript 的目標是讓視頻與文檔和幻燈片一樣，成為每位溝通者的主要工具。借助 NVIDIA Maxine，使用 Descript 的專業(yè)人員和初學者都可以使用 AI 功能改進他們的視頻內(nèi)容工作流程。

Descript 業(yè)務和企業(yè)發(fā)展主管 Jay LeBoeuf 表示：“有了 NVIDIA Maxine 的 Eye Contact 功能，用戶再也不用擔心背誦腳本或枯燥乏味的重復拍攝視頻了。他們每次都可以在保持完美屏幕形象的同時，準確無誤地說完腳本?！?/p>

Reincubate 的 Camo 應用程序充分利用人們已擁有的硬件和設備，擴大精彩視頻的制作渠道。為此，該應用為用戶提供了更大的圖像控制權(quán)，并實現(xiàn)了強大、高效的視頻特效和轉(zhuǎn)換處理流程。通過使用 NVIDIA Maxine 所提供的技術(shù)，Camo 為用戶提供了一條更加簡單的精彩視頻創(chuàng)作途徑。

Reincubate 創(chuàng)始人兼首席執(zhí)行官 Aidan Fitzpatrick 表示：“將 NVIDIA Maxine 集成到 Camo 中讓我們能夠輕松地充分利用用戶 RTX GPU 的高性能。有了 Maxine，團隊能夠更快、更有信心地開展工作。”

Quicklink 的 Cre8 是一個功能強大的視頻制作平臺，可用于創(chuàng)建專業(yè)的品牌化制作以及虛擬和混合現(xiàn)場活動。其用戶友好的界面整合了直觀的設計與構(gòu)建、編輯和自定義專業(yè)化制作所需的所有工具。Cre8 采用 NVIDIA Maxine 技術(shù)，最大程度地提高了生產(chǎn)力以及視頻制作的質(zhì)量，使一切盡在用戶的掌握之中。

Quicklink 首席執(zhí)行官 Richard Rees 表示：“Quicklink Cre8 可以提供全球先進的視頻制作平臺。通過 NVIDIA Maxine，我們能夠添加更多先進功能，比如自動構(gòu)圖、視頻噪音消除、噪音和回聲消除以及眼神交流模擬等?！?/p>

gemelo.ai 打造了一個能夠擴展用戶的語音、內(nèi)容和互動的 AI 孿生創(chuàng)建平臺。gemelo.ai 團隊可以使用 Maxine 的 Live Portrait 功能，為經(jīng)過擴展的個性化內(nèi)容和一對一互動帶來新的可能性。

帶來了顛覆的變化。我們的客戶現(xiàn)在可以設計并部署無比逼真的數(shù)字孿生，獲得無限擴展內(nèi)容制作以及跨應用、網(wǎng)站和混合現(xiàn)實體驗交互的‘超能力’。”

NVIDIA Research 展示 3D 視頻如何提高沉浸式通信的質(zhì)量

除了支持 Maxine 的高級功能外，NVIDIA AI 還能提升 3D 視頻通信的質(zhì)量。NVIDIA Research 最近發(fā)表的一篇論文展示了 AI 如何利用最少的捕捉設備來支持 3D 視頻會議系統(tǒng)。

3D 網(wǎng)真會議系統(tǒng)通常價格昂貴、需要很大的空間或制作工作室，并且要用到高帶寬、高容量的視頻流式傳輸，這些都限制了該技術(shù)的普及。NVIDIA Research 分享了一種新的方法，該方法運行在基于 VisionTransformer 的新型編碼器上，可將普通網(wǎng)絡攝像頭輸入的 2D 視頻轉(zhuǎn)換成 3D 視頻。AI 無需在與會者之間來回傳遞 3D 數(shù)據(jù)，使通話的帶寬要求與 2D 會議相同。

這項技術(shù)采用體積渲染技術(shù)，將用戶的 2D 視頻自動創(chuàng)建為一種被稱為神經(jīng)輻射場（NeRF）的 3D 呈現(xiàn)方式。因此，與會者可以像在傳統(tǒng)視頻會議中一樣，在解碼可實時渲染的高質(zhì)量 3D 圖像的同時傳輸 2D 視頻。而且借助 Maxine 的 Live Portrait，用戶能夠以 3D 形式呈現(xiàn)自己的肖像。

以 AI 為媒介的 3D 視頻會議可以大幅降低 3D 捕捉成本、提供高保真的 3D 呈現(xiàn)、展示逼真或風格化的虛擬形象并在視頻會議中實現(xiàn)相互之間的眼神交流。相關(guān)研究項目展示了 AI 如何幫助提升通信和虛擬互動水平，這也為 NVIDIA 未來的視頻會議技術(shù)指明了方向。

請觀看下面的系統(tǒng)演示。SIGGRAPH 與會者可以蒞臨 Emerging Technologies 展臺，在 Looking Glass 設計的 3D 顯示屏上現(xiàn)場觀看演示。

供應情況

進一步了解現(xiàn)已在 NVIDIA AI Enterprise 上提供的 NVIDIA Maxine。

了解 3D 視頻會議項目背后的更多研究。

主題圖片由 NVIDIA Research 提供。

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

【1】SIGGRAPH 主題演講：NVIDIA 首席執(zhí)行官帶來生成式 AI 多項創(chuàng)新 SIGGRAPH 2023 | NVIDIA 發(fā)布新一代 GH200 Grace Hopper 超級芯片平臺 SIGGRAPH 2023 | NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級 SIGGRAPH 2023 | NVIDIA Omniverse 開啟通往 OpenUSD 廣闊天地的大門 SIGGRAPH 2023 | NVIDIA 與全球數(shù)據(jù)中心系統(tǒng)制造商大力推動 AI 與工業(yè)數(shù)字化的發(fā)展 SIGGRAPH 2023 | NVIDIA 與全球工作站廠商共同推出用于生成式 AI、LLM 開發(fā)、內(nèi)容創(chuàng)作和數(shù)據(jù)科學的系統(tǒng) SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業(yè)加速采用自定義生成式 AI SIGGRAPH 2023 | NVIDIA 與 Hugging Face 將連接數(shù)百萬開發(fā)者與生成式 AI 超級計算

更多精彩，仍在繼續(xù)...

敬請持續(xù)關(guān)注

點擊“閱讀原文”，或掃描下方海報二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講回放，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。