DeepFocus，基于AI實(shí)現(xiàn)更逼真的VR圖像

DeepFocus是一種基于AI的渲染系統(tǒng)，用于在VR中渲染自然逼真的人眼聚焦效果。本文來自Facebook工程博客，LiveVideoStack進(jìn)行了翻譯。感謝阿里巴巴高級算法專家盛驍杰提供的技術(shù)審校。

研究內(nèi)容：

一種新的基于AI的框架，用于在VR中渲染自然逼真的人眼聚焦效果。DeepFocus可與高級原型頭盔配合使用，在不同的焦距實(shí)時渲染模糊效果。例如，當(dāng)有人戴著支持DeepFocus的設(shè)備觀看附近的一個物體時，它會立即聚焦并變得清晰，而背景物體則會像在現(xiàn)實(shí)生活中一樣，呈現(xiàn)出失焦模糊效果。這種失焦模糊（也稱為視網(wǎng)膜模糊）對于實(shí)現(xiàn)VR中的真實(shí)感和深度感知非常重要。DeepFocus是第一個能夠?yàn)閂R應(yīng)用程序?qū)崟r產(chǎn)生這種效果的系統(tǒng)。我們現(xiàn)在開放我們的工作和數(shù)據(jù)集，以幫助VR研究界的其他人。

它是如何運(yùn)作的：

一些傳統(tǒng)方法，例如使用累積緩沖算法（accumulation buffer），可以實(shí)現(xiàn)物理上精確的失焦模糊。但它們無法實(shí)時生成復(fù)雜，豐富的內(nèi)容，因?yàn)檫@種處理，即使是對于最先進(jìn)的芯片，要求也太高了。與此不同的是，我們使用深度學(xué)習(xí)解決了這個問題。我們開發(fā)了一種新穎的端到端卷積神經(jīng)網(wǎng)絡(luò)，一旦眼睛看到場景的不同部分，就會產(chǎn)生具有精確視網(wǎng)膜模糊的圖像。該網(wǎng)絡(luò)包括新的保持體積的交織層，以減少輸入的空間維度，同時充分保留圖像細(xì)節(jié)。然后，網(wǎng)絡(luò)的卷積層運(yùn)行在相同的，降低了的空間分辨率上，從而運(yùn)行時間能夠明顯減少。

為什么重要：

隨著對新型VR頭顯技術(shù)的研究不斷深入，DeepFocus將能夠模擬精確的視網(wǎng)膜模糊，從而產(chǎn)生非常逼真的視覺效果。該平臺還表明AI可以幫助解決VR渲染高度計(jì)算密集型視覺效果的挑戰(zhàn)。DeepFocus為克服未來新型顯示系統(tǒng)的實(shí)際渲染和優(yōu)化限制提供了基礎(chǔ)。

由于DeepFocus僅依賴于標(biāo)準(zhǔn)RGB-D顏色和深度輸入，因此它幾乎適用于所有現(xiàn)有的VR游戲和應(yīng)用程序。它還兼容VR研究界目前正在探索的所有三種頭顯類型，分別是：變焦顯示器（如Half Dome），多焦點(diǎn)顯示器（例如，F(xiàn)RL先前的工作）和光場顯示器。

詳細(xì)了解Facebook Reality Labs如何創(chuàng)建DeepFocus。

（https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/）

閱讀完整的論文：

DeepFocus：用于計(jì)算顯示的學(xué)習(xí)圖像合成

（https://research.fb.com/publications/deepfocus-siggraph-asia-2018/）