在智能手機(jī)上快速生成照片級(jí)真實(shí)感彩色3D全息圖

利用人工智能，科學(xué)家現(xiàn)在甚至可以在智能手機(jī)上快速生成照片級(jí)真實(shí)感彩色3D全息圖。根據(jù)一項(xiàng)新的研究顯示，這項(xiàng)新技術(shù)可以在虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）耳機(jī)以及其他應(yīng)用中得到應(yīng)用。

全息圖能夠出色地展現(xiàn)3D世界，而且它的呈現(xiàn)效果非常漂亮。全息圖可以根據(jù)觀看者的位置提供變化的視角，并允許眼睛調(diào)整焦深以交替聚焦在前景和背景上。

提起三維場(chǎng)景可視化，虛擬現(xiàn)實(shí)（VR）是最常見的一種技術(shù)。雖然用戶實(shí)際上是注視著 2D 顯示器，但 VR 會(huì)產(chǎn)生 3D 觀看的錯(cuò)覺，從而使人視覺疲勞和感到頭暈惡心。更好的 3D 可視化解決方案可能在于一種誕生了六十年的技術(shù)：全息圖。

然而，盡管像三星這樣的公司最近在開發(fā)能夠顯示全息視頻的硬件方面取得了長(zhǎng)足的進(jìn)步，但實(shí)際生成全息數(shù)據(jù)以供此類設(shè)備顯示仍然是一個(gè)重大挑戰(zhàn)。

長(zhǎng)期以來，研究者們一直在試圖制造出計(jì)算機(jī)生成的全息圖，但傳統(tǒng)上，該過程需要一臺(tái)超級(jí)計(jì)算機(jī)來進(jìn)行物理模擬，這非常耗時(shí)，并且產(chǎn)生的效果真實(shí)感不高。

為了把全息影像帶給大眾，科學(xué)家們嘗試了許多不同的策略來減少所需的計(jì)算量——例如，用簡(jiǎn)單的查找表代替復(fù)雜的物理模擬。然而，這些往往以犧牲圖像質(zhì)量為代價(jià)。

現(xiàn)在麻省理工學(xué)院（MIT）的研究人員已經(jīng)開發(fā)出一種新的方法，幾乎可以瞬間產(chǎn)生全息圖——這種基于深度學(xué)習(xí)的方法非常有效，它可以在筆記本電腦上一眨眼就產(chǎn)生全息圖。他們?cè)诮盏摹蹲匀弧冯s志上詳細(xì)介紹了他們的研究結(jié)果，該研究部分由索尼公司資助。

麻省理工學(xué)院計(jì)算機(jī)科學(xué)家Liang Shi說：“一切都神奇地完成了，這真的超出了我們的預(yù)期?！?/p>

Shi指出，利用物理模擬計(jì)算全息圖涉及到計(jì)算全息圖中許多塊的外觀，然后將它們結(jié)合起來得到最終的全息圖。他說，使用查找表就像記憶一組常用的全息圖塊，但這犧牲了準(zhǔn)確性，仍然需要組合步驟。

在某種程度上，計(jì)算機(jī)生成的全息圖有點(diǎn)像計(jì)算如何切蛋糕，Shi說。使用物理模擬來計(jì)算空間中每個(gè)點(diǎn)的外觀是一個(gè)耗時(shí)的過程，類似于使用八次精確切割來生產(chǎn)八片蛋糕。使用計(jì)算機(jī)生成全息圖的查找表就像在切割前標(biāo)記每個(gè)切片的邊界一樣。雖然這樣做省去了計(jì)算切割位置的步驟，節(jié)省了一點(diǎn)時(shí)間，但執(zhí)行所有八次切割仍然需要大量時(shí)間。

相比之下，新技術(shù)利用深度學(xué)習(xí)，從根本上解決了如何只切三次蛋糕就把蛋糕切成八片的問題，Shi說。卷積神經(jīng)網(wǎng)絡(luò)——一個(gè)大致模擬人腦如何處理視覺數(shù)據(jù)的系統(tǒng)——學(xué)習(xí)“捷徑”來生成一個(gè)完整的全息圖，而不需要單獨(dú)計(jì)算每一塊全息圖的顯示方式，“這將使總運(yùn)算量減少幾個(gè)數(shù)量級(jí)，”他說。

研究人員首先建立了一個(gè)由4000張計(jì)算機(jī)生成的圖像組成的自定義數(shù)據(jù)庫，每個(gè)圖像都包含每個(gè)像素的顏色和深度信息。該數(shù)據(jù)庫還包括對(duì)應(yīng)于每個(gè)圖像的三維全息圖。接下來，算法開始發(fā)揮作用。卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何生成新的全息圖，通過多攝像頭設(shè)置或激光雷達(dá)傳感器進(jìn)行計(jì)算。

新系統(tǒng)需要不到620 kilobytes的內(nèi)存，并且可以在單個(gè)消費(fèi)級(jí)GPU上每秒生成60幅分辨率為1920×1080像素的彩色3D全息圖。研究人員可以在iPhone11Pro上以每秒1.1個(gè)全息圖的速度運(yùn)行它，在Google Edge TPU上以每秒2個(gè)全息圖的速度運(yùn)行它，這意味著有朝一日它可以在未來的虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）移動(dòng)耳機(jī)上實(shí)時(shí)生成全息圖。

實(shí)時(shí) 3D 全息技術(shù)還有助于 VR、3D 打印等系統(tǒng)的發(fā)展。研究團(tuán)隊(duì)表示，新系統(tǒng)可以幫助 VR 觀眾沉浸在更真實(shí)的場(chǎng)景中，同時(shí)消除眼睛疲勞和長(zhǎng)期使用 VR 的其他副作用。這項(xiàng)技術(shù)可以很容易地應(yīng)用在調(diào)制光波相位的顯示器上。目前，大多數(shù)價(jià)格合理的消費(fèi)級(jí)顯示器只調(diào)節(jié)亮度，但如果廣泛采用 3D 全息技術(shù)，相位調(diào)制顯示器的成本會(huì)下降。

未來的研究可能會(huì)增加眼睛跟蹤技術(shù)，通過創(chuàng)建只有眼睛看的地方才有高分辨率的全息圖來加速系統(tǒng)的速度，Shi說。另外，他補(bǔ)充，另一個(gè)方向是根據(jù)人的視覺敏銳度來制作全息圖。

原文標(biāo)題：研究人員推出3D全息圖生成新方法 可在智能手機(jī)上實(shí)時(shí)運(yùn)行

文章出處：【微信公眾號(hào)：IEEE電氣電子工程師學(xué)會(huì)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq