借助攝影測量方法以及GPU賦力的深度學(xué)習(xí),以虛擬形式探訪陵墓的細(xì)節(jié)。
現(xiàn)在,游客無需越洋飛行就能探索納菲爾塔莉墓的精致細(xì)節(jié)。
納菲爾塔莉墓被譽(yù)為埃及最好的墓穴之一。主人納菲爾塔莉被認(rèn)為是拉美西斯二世五位妻子中最美麗的一位。拉美西斯二世為其建造的陵墓是紀(jì)念其美貌的圣地,陵墓中三間墓室和走廊墻壁都用彩飾進(jìn)行裝飾。
納菲爾塔莉墓與王后谷中的大多數(shù)陵墓一樣,在考古學(xué)家發(fā)現(xiàn)之前也曾遭到過盜墓。雖然已采取相應(yīng)的保護(hù)措施,但景點(diǎn)仍然非常脆弱。
Simon Che de Boer及其位于新西蘭的視覺特效研發(fā)公司realityvirtual.co找到了一種數(shù)字方式來保護(hù)納菲爾塔莉墓,為無數(shù)人參觀墓中景象提供了機(jī)會(huì)。
納菲爾塔莉:永恒之旅(Nefertari: A Journey to Eternity)提供VR體驗(yàn),通過高端攝影測量、視覺效果技術(shù)和AI,打造令人震撼的細(xì)節(jié)體驗(yàn),使納菲爾塔莉墓重現(xiàn)昔日輝煌。游客可以采用數(shù)字方式四處行走,從不同視角進(jìn)行參觀,還可以進(jìn)行放大以近距離觀察
對(duì)于需要跨越半個(gè)地球才能目睹這一景觀的游客來說,這是一個(gè)效果逼真的替代選擇。
使用NVIDIA Quadro GPU處理海量數(shù)據(jù)
為了復(fù)制陵墓精致的細(xì)節(jié),Che de Boer拍攝了近4000張4200萬像素的景點(diǎn)照片,然后將攝影測量(在照片中進(jìn)行測量的科學(xué))與深度學(xué)習(xí)方法結(jié)合,對(duì)其進(jìn)行處理和可視化。
NVIDIA GPU在處理現(xiàn)場采集的大量攝影測量數(shù)據(jù)上發(fā)揮了關(guān)鍵作用,其處理速度比CPU快很多倍。
GPU也是進(jìn)行3D重建和呈現(xiàn)細(xì)節(jié)紋理不可或缺的部分。通過借助部署高端NVIDIA Quadro GPU的強(qiáng)大HP工作站,realityvirtual.co使用CapturingReality將數(shù)據(jù)轉(zhuǎn)換為密集的240億3D點(diǎn)云,以進(jìn)行初始創(chuàng)建。
初始清理工作則使用Autodesk MeshMixer和Maya完成。然后,他們使用內(nèi)部專用流程完成改良工作并提高效率,包括填充孔、推斷材料特性、去除噪點(diǎn)和清理人工痕跡。
Che de Boer 在陵墓內(nèi)部拍攝圖像
接下來,他們對(duì)這些龐大的數(shù)據(jù)集進(jìn)行優(yōu)化,以便在Unreal Engine中以每秒90幀的穩(wěn)定速度進(jìn)行實(shí)時(shí)渲染,利用Granite的紋理流保留全部240億個(gè)細(xì)節(jié)點(diǎn)。
Che de Boer說:“由于數(shù)據(jù)集非常龐大,處理和播放速度是關(guān)鍵。NVIDIA的新架構(gòu)與Unreal Engine相結(jié)合,加快了處理速度,并為處理龐大的數(shù)據(jù)量提供支持?!?/p>
AI助力創(chuàng)建更為逼真的VR
如果不去除陵墓中的現(xiàn)代人工痕跡,就不可能參觀到“真正”的古墓。為了實(shí)現(xiàn)這一目標(biāo),realityvirtual.co收集了陵墓的所有壓縮數(shù)據(jù),并且使用可編程Tensor Core和單個(gè)高端NVIDIA Quadro GPU提供的24Gb VRAM容量訓(xùn)練其超級(jí)采樣集。
通過訓(xùn)練計(jì)算機(jī)使其理解所看到的事物,計(jì)算機(jī)可以修改圖像以清除現(xiàn)代人工痕跡。例如,通過圖像修復(fù)方法去除出口標(biāo)志、牌匾、扶手、地板和鹵素?zé)?,并使用與周邊環(huán)境相關(guān)的元素取代這些區(qū)域。
為了覆蓋圖像中的缺口、清除不需要的元素或修復(fù)源攝影測量圖像中的重疊區(qū)域,realityvirtual.co利用一種新的基于AI的圖像修復(fù)方法(此方法由NVIDIA Research開發(fā),并且即將通過NVIDIA NGX技術(shù)堆棧提供給軟件開發(fā)者),使用周邊環(huán)境的元素填充這些區(qū)域。
Che de Boer說:“如果沒有高端NVIDIA Quadro提供的內(nèi)存,處理4200萬像素圖像的數(shù)據(jù)是不可能的。我們?cè)跀z影測量和AI處理過程中廣泛使用了NVIDIA CUDA cuDNN,且貫穿到我們創(chuàng)作的各個(gè)環(huán)節(jié),以實(shí)現(xiàn)最為逼真的效果。這看起來非常震撼,您可以獲得一種身臨其境的感覺,如果我們將NVIDIA RTX實(shí)時(shí)光線追蹤整合到未來的版本中,這種體驗(yàn)只會(huì)變得更好?!?/p>
更新的內(nèi)部版本已通過realityvirtual.co的超級(jí)采樣法運(yùn)行。這是在他們自己的數(shù)據(jù)集上進(jìn)行超級(jí)采樣訓(xùn)練,進(jìn)一步提高了最終紋理映射的細(xì)節(jié)水平。
無論參觀者距離陵墓的現(xiàn)代人工痕跡有多近,都無法分辨得出它們。除此之外,最近越來越多的項(xiàng)目開始使用realityvirtual.co的deepPBR方法,以消除圖像擴(kuò)散、粗糙和位移。這對(duì)使用基于物理渲染的引擎(例如Unreal Engine)而言非常重要。
所有這些數(shù)據(jù)都是自行進(jìn)行訓(xùn)練的,這是一個(gè)AI使用自身數(shù)據(jù)進(jìn)行自我改進(jìn)的好例子。此結(jié)果可用作教學(xué)模擬,并可在STEAM游戲平臺(tái)免費(fèi)獲得,但是需要Vive、Rift或Windows VR頭盔。
為了繼續(xù)記錄遺產(chǎn)并在未來對(duì)其進(jìn)行數(shù)字保護(hù),最近Che de Boer與來自洛桑聯(lián)邦理工學(xué)院(EPFL,瑞士洛桑的一所著名的研究大學(xué))的Sarah Kenderdine教授達(dá)成了戰(zhàn)略合作關(guān)系。他們希望通過合作以虛擬形式重建新西蘭的克賴斯特徹奇大教堂,重現(xiàn)它2011年遭到地震破壞之前的樣子。此外,他們也在其他一些尚未公布但非常著名的自然景觀上進(jìn)行合作。
Che de Boer 表示:“這些都是知之者眾而見之者寡的地方,我們的目標(biāo)是讓全世界的人都能參觀這些景點(diǎn),否則他們可能在有生之年都沒有機(jī)會(huì)感受這些景點(diǎn)?!?/p>
-
gpu
+關(guān)注
關(guān)注
28文章
4798瀏覽量
129516 -
AI
+關(guān)注
關(guān)注
87文章
31892瀏覽量
270708 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5521瀏覽量
121672
原文標(biāo)題:借助超現(xiàn)實(shí)VR探索埃及納菲爾塔莉墓
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
GPU在深度學(xué)習(xí)中的應(yīng)用 GPUs在圖形設(shè)計(jì)中的作用
GPU深度學(xué)習(xí)應(yīng)用案例
深度學(xué)習(xí)GPU加速效果如何
GPU算力租用平臺(tái)怎么樣
實(shí)時(shí)控制應(yīng)用中的 RTD 替代測量方法
![實(shí)時(shí)控制應(yīng)用中的 RTD 替代<b class='flag-5'>測量方法</b>](https://file.elecfans.com/web1/M00/D9/4E/pIYBAF_1ac2Ac0EEAABDkS1IP1s689.png)
數(shù)字示波器的測量方法有哪三種
基于Python的深度學(xué)習(xí)人臉識(shí)別方法
深度學(xué)習(xí)中的時(shí)間序列分類方法
深度學(xué)習(xí)中的無監(jiān)督學(xué)習(xí)方法綜述
新手小白怎么學(xué)GPU云服務(wù)器跑深度學(xué)習(xí)?
噪聲的測量方法
![噪聲的<b class='flag-5'>測量方法</b>](https://file.elecfans.com/web2/M00/2B/D6/pYYBAGHWS02ARnwOAABPVrgy7mU207.png)
噪聲的測量方法
![噪聲的<b class='flag-5'>測量方法</b>](https://file1.elecfans.com/web2/M00/C7/C3/wKgZomYWPL6AHDUhAADAQAqOxJ0402.png)
評(píng)論