使用 OpenUSD 和數(shù)字孿生打造沉浸式活動(dòng)

Moment Factory 是一家全球多媒體娛樂(lè)工作室。該工作室結(jié)合視頻、燈光、建筑、音響、軟件和交互等領(lǐng)域的專業(yè)技術(shù)，為世界各地的觀眾打造沉浸式體驗(yàn)。從現(xiàn)場(chǎng)表演、多媒體秀到互動(dòng)裝置，Moment Factory 憑借令人嘆為觀止和極具娛樂(lè)性的體驗(yàn)名聲大噪，比如 Billie Eilish 的 Happier Than Ever 世界巡演中炫目的視覺(jué)效果、在全球各地自然景點(diǎn)舉辦的 Lumina Night Walks、AT&T Discovery District 的數(shù)字場(chǎng)景建設(shè)等。

Moment Factory 擁有一支 400 多人的專業(yè)團(tuán)隊(duì)，在蒙特利爾、東京、巴黎、紐約和新加坡設(shè)有辦事處。該工作室已成為娛樂(lè)行業(yè)的領(lǐng)導(dǎo)者。

圖 1. Moment Factory 負(fù)責(zé) Billie Eilish 的 Happier Than Ever 世界巡演的創(chuàng)意指導(dǎo)、舞臺(tái)設(shè)計(jì)和內(nèi)容創(chuàng)作。

使用 OpenUSD 簡(jiǎn)化沉浸式體驗(yàn)開(kāi)發(fā)

將這些體驗(yàn)變?yōu)楝F(xiàn)實(shí)需要龐大的團(tuán)隊(duì)，擁有不同專長(zhǎng)的高技能專家各自使用著獨(dú)特的工具。為了在高度復(fù)雜的制作流程中實(shí)現(xiàn)最佳的效率，Moment Factory 希望使用一種可互操作的開(kāi)放數(shù)據(jù)格式和開(kāi)發(fā)平臺(tái)，以便無(wú)縫集成從概念到實(shí)施的所有環(huán)節(jié)。

Moment Factory 使用通用場(chǎng)景描述（OpenUSD）作為解決方案。OpenUSD 是一個(gè)用于在 3D 世界中進(jìn)行描述、合成、仿真和協(xié)作的可擴(kuò)展框架和生態(tài)系統(tǒng)。NVIDIA Omniverse 軟件平臺(tái)可以幫助團(tuán)隊(duì)開(kāi)發(fā)基于 OpenUSD 的 3D 工作流和應(yīng)用，它提供了一個(gè)統(tǒng)一環(huán)境，通過(guò)與 Moment Factory 工具的實(shí)時(shí)連接，實(shí)現(xiàn)數(shù)字孿生的實(shí)時(shí)可視化和協(xié)作。

利用 OpenUSD 與 Omniverse，Moment Factory 可以統(tǒng)一不同數(shù)字內(nèi)容創(chuàng)建（DCC）工具的數(shù)據(jù)，構(gòu)建真實(shí)世界環(huán)境的數(shù)字孿生。團(tuán)隊(duì)中的每個(gè)成員都可以與該數(shù)字孿生進(jìn)行交互，并在不影響其他元素的情況下迭代自己負(fù)責(zé)的項(xiàng)目部分。

例如，場(chǎng)景設(shè)計(jì)師可以使用 3D 設(shè)計(jì)軟件 Vectorworks 制作基本布局和獨(dú)特的場(chǎng)景片段。同時(shí)，在同一場(chǎng)景中，視聽(tīng)和燈光設(shè)計(jì)師可以使用 Moment Factory 自主開(kāi)發(fā)的現(xiàn)場(chǎng)娛樂(lè)操作系統(tǒng)和虛擬投影映射軟件 X-Agora 處理燈光和投影儀。

藝術(shù)家和設(shè)計(jì)師可以同步使用 Epic Games 虛幻引擎、Blender 和 Adobe Photoshop 等工具在場(chǎng)景中渲染和創(chuàng)建吸睛的視覺(jué)效果，而且不會(huì)影響仍在進(jìn)行中的項(xiàng)目層。

Moment Factory 創(chuàng)新團(tuán)隊(duì)的解決方案架構(gòu)師兼項(xiàng)目負(fù)責(zé)人 Arnaud Grosjean 表示：“USD 的獨(dú)特之處在于它可以被分割成更小的片段，使大家在保持連接的同時(shí)，能夠各自處理項(xiàng)目中自己負(fù)責(zé)的部分。憑借其靈活性和互操作性，我們能夠創(chuàng)建出強(qiáng)大的自定義 3D 管線?！?/p>

圖 2. USD 場(chǎng)景由場(chǎng)地、場(chǎng)景設(shè)計(jì)、視聽(tīng)和來(lái)自不同數(shù)據(jù)源的傳感器數(shù)據(jù)等無(wú)損層組成。

數(shù)字孿生模擬真實(shí)世界的體驗(yàn)

為了在沉浸式活動(dòng)被部署到現(xiàn)實(shí)世界之前先對(duì)其進(jìn)行模擬，Moment Factory 正在 NVIDIA Omniverse 中開(kāi)發(fā)其裝置的數(shù)字孿生。Omniverse 是一個(gè)計(jì)算平臺(tái)，可幫助團(tuán)隊(duì)開(kāi)發(fā)基于 OpenUSD 的 3D 工作流和應(yīng)用。Omniverse 提供了一個(gè)統(tǒng)一環(huán)境，通過(guò)與 DCC 工具實(shí)時(shí)連接，實(shí)現(xiàn)數(shù)字孿生的實(shí)時(shí)可視化和協(xié)作。

他們創(chuàng)建的第一個(gè)數(shù)字孿生 Blackbox 是一個(gè)可以在部署到現(xiàn)實(shí)世界前預(yù)覽沉浸式體驗(yàn)片段的實(shí)驗(yàn)和原型設(shè)計(jì)空間。從概念構(gòu)思和設(shè)計(jì)到集成和運(yùn)行，它幾乎成為了項(xiàng)目生命周期每個(gè)階段的關(guān)鍵空間。

為了構(gòu)建 Blackbox 的數(shù)字孿生，Moment Factory 使用了基于 NVIDIA Omniverse 的完全可自定義基礎(chǔ)應(yīng)用 USD Composer。

圖 3. 如右邊屏幕所示，Blackbox 中的實(shí)時(shí)視頻投影和燈光實(shí)時(shí)反映在其數(shù)字孿生中。

通過(guò)該裝置的虛擬復(fù)制品，團(tuán)隊(duì)能夠?qū)?xiàng)目進(jìn)行無(wú)數(shù)次迭代，測(cè)試各項(xiàng)不同的因素?？蛻艨梢蕴崆霸谔摂M環(huán)境中觀看演出，因此該團(tuán)隊(duì)還可以更好地向潛在客戶推銷沉浸式體驗(yàn)的概念。

在構(gòu)建大規(guī)模沉浸式體驗(yàn)的過(guò)程中，主要的挑戰(zhàn)之一是在各利益相關(guān)方之間達(dá)成共識(shí)并處理好變化。

Grosjean 解釋說(shuō)：“每個(gè)人對(duì)場(chǎng)景的結(jié)構(gòu)都有自己的想法，因此我們需要一種能夠在一個(gè)統(tǒng)一、動(dòng)態(tài)的環(huán)境中，協(xié)調(diào)每個(gè)項(xiàng)目貢獻(xiàn)者的方法。有了數(shù)字孿生，我們就可以與各個(gè)核心專業(yè)領(lǐng)域的利益相關(guān)者一起測(cè)試和模擬潛在的想法?！?/p>

CAD 制圖員、視聽(tīng)設(shè)計(jì)師、交互設(shè)計(jì)師等都為 Blackbox 的數(shù)字孿生做出了貢獻(xiàn)，藝術(shù)家和 2D/3D 設(shè)計(jì)師可以渲染并嘗試該沉浸式體驗(yàn)的實(shí)際效果。

開(kāi)發(fā) Omniverse 連接器和擴(kuò)展程序

Moment Factory 不斷開(kāi)發(fā)和測(cè)試 Omniverse 的擴(kuò)展程序，為其數(shù)字孿生帶來(lái)新的功能和可能性。

他們?yōu)?X-Agora 開(kāi)發(fā)了一個(gè) Omniverse 連接器。X-Agora 是 Moment Factory 自主開(kāi)發(fā)的一款多視窗軟件，具有設(shè)計(jì)、規(guī)劃和操作演出的功能。目前，該軟件已能實(shí)現(xiàn) Nucleus 連接、USD 導(dǎo)入/導(dǎo)出功能以及早期實(shí)時(shí)模式。

視頻投影是沉浸式活動(dòng)的關(guān)鍵要素。該團(tuán)隊(duì)經(jīng)常嘗試將視覺(jué)內(nèi)容映射和投射到建筑表面、場(chǎng)景元素，有時(shí)甚至是移動(dòng)物體上，從而將靜態(tài)空間轉(zhuǎn)化成充滿動(dòng)感的迷人環(huán)境。

NDI 是網(wǎng)絡(luò)設(shè)計(jì)接口（Network Design Interface）的縮寫(xiě)，它是由 NewTek 開(kāi)發(fā)的一種流行的 IP 視頻協(xié)議，可在互聯(lián)設(shè)備和系統(tǒng)之間實(shí)現(xiàn)高效的實(shí)時(shí)視頻制作和流式傳輸。在沉浸式體驗(yàn)中，Moment Factory 通常使用視頻線將媒體系統(tǒng)連接到物理投影儀。通過(guò) NDI，他們就可以在虛擬場(chǎng)地內(nèi)復(fù)制這種連接，以數(shù)字方式有效模擬整個(gè)體驗(yàn)。

為了實(shí)現(xiàn) Omniverse RTX 渲染器與創(chuàng)意內(nèi)容之間的無(wú)縫連接，Moment Factory 開(kāi)發(fā)了一個(gè)用于 Omniverse 的 NDI 擴(kuò)展程序。該擴(kuò)展程序不僅支持視頻投影，還使該團(tuán)隊(duì)能夠模擬 LED 墻、屏幕和像素場(chǎng)，從而在數(shù)字孿生中反映現(xiàn)實(shí)世界中的布置。

使用 Omniverse Kit 開(kāi)發(fā)的這一擴(kuò)展程序還允許用戶使用視頻源作為動(dòng)態(tài)紋理。Moment Factory 的開(kāi)發(fā)人員使用 kit-cv-video-example 和 kit-dynamic texture-example 開(kāi)發(fā)了該擴(kuò)展程序。

任何人都可以在 GitHub 上訪問(wèn)和使用 Moment Factory 的 Omniverse-NDI-extension，并將其安裝到 Omniverse Launcher 上或使用以下命令啟動(dòng)：

$ ./link_app.bat --app create
$ ./app/omni.create.bat --/rtx/ecoMode/enabled=false --ext-folder exts --enable mf.ov.ndi

Omniverse 中的擴(kuò)展程序是可重復(fù)使用的組件或工具，開(kāi)發(fā)者可利用它們加速 3D 工作流以及添加新功能。它們既可以用于隨機(jī)化對(duì)象等簡(jiǎn)單任務(wù)，也可以用于實(shí)現(xiàn)可視化腳本等更加復(fù)雜的工作流。

該團(tuán)隊(duì)還開(kāi)發(fā)了一個(gè)將 MPDCI（一種描述多投影儀設(shè)備的 VESA 標(biāo)準(zhǔn)）轉(zhuǎn)換為 USD 的擴(kuò)展程序——Omniverse-MPCDI-converter。團(tuán)隊(duì)目前正在測(cè)試 MVR（My Virtual Rig）和 GDTF（通用設(shè)備類型格式）轉(zhuǎn)換器的擴(kuò)展程序，以便將照明裝置和設(shè)備導(dǎo)入數(shù)字孿生。

更引人注目的是正在開(kāi)發(fā)中的激光雷達(dá) UDP 模擬器擴(kuò)展程序，它可以在 Omniverse 中實(shí)現(xiàn)傳感器模擬，并將合成數(shù)據(jù)連接到激光雷達(dá)兼容軟件。

點(diǎn)擊“閱讀原文”，了解更多關(guān)于NVIDIA Omniverse的信息并免費(fèi)試用。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開(kāi)放。掃描下方海報(bào)二維碼，立即注冊(cè) GTC 大會(huì)。