微軟：深度學(xué)習(xí)和人工智能改變游戲圖形的生成與創(chuàng)作案列分享

9月25日，由北京市委宣傳部、北京市海淀區(qū)委員會、中國音像與數(shù)字出版協(xié)會指導(dǎo)，北京市海淀區(qū)委宣傳部支持，北京海淀中關(guān)村科學(xué)城電子競技產(chǎn)業(yè)協(xié)會、北京時度效文化傳播有限公司共同主辦的以“科技·創(chuàng)新·未來”為主題的2020 BIGC 北京國際游戲創(chuàng)新大會正式開幕。在此次大會上，微軟亞洲研究院首席研究員童欣做了主題為《智能圖形生成與創(chuàng)作》的報告，就深度學(xué)習(xí)和人工智能將如何改變游戲圖形的生成與創(chuàng)作進(jìn)行了分享。

微軟亞洲研究院首席研究員童欣以下是童欣博士的演講實錄：

很榮幸有機會來到這里，向大家介紹一下我們在微軟亞洲研究院所做的與游戲相關(guān)的一些研究工作。今天我報告的題目叫做《智能圖形生成與創(chuàng)作》。首先做一個我所在的研究院的背景介紹：微軟亞洲研究院是微軟公司在亞太地區(qū)設(shè)立的研究機構(gòu)，于1998年成立，主要致力于推動整個計算機科學(xué)領(lǐng)域的前沿技術(shù)發(fā)展。

我所在的研究小組，是網(wǎng)絡(luò)圖形組。我們主要的研究方向，是希望推動三維圖形技術(shù)和系統(tǒng)方面的創(chuàng)新，比如新的算法和系統(tǒng)。另一方面，我們也希望把我們在圖形技術(shù)和系統(tǒng)方面的研究成果，應(yīng)用到微軟以及其他圖形產(chǎn)品當(dāng)中去。比如在過去的20年中，我們研究的圖形技術(shù)已經(jīng)應(yīng)用到了第一代 Xbox 上所有水體效果的繪制中，還有《光暈》游戲里所有真實材質(zhì)的繪制中，而且在光照貼圖的壓縮中也都使用了我們的技術(shù)。同時 Xbox 中向后兼容性的整個圖形系統(tǒng)的原型也是由我們微軟亞洲研究院研發(fā)的。我們研究組一直有一個愿景——希望讓每一個用戶都可以容易地創(chuàng)建、分享、使用可視圖形的內(nèi)容，實現(xiàn)自己的想象。

智能圖形生成的背景與介紹

回看過去幾十年里計算機游戲中的計算機圖形，我們可以發(fā)現(xiàn)，游戲中的圖形從過去二維的、很簡單的像素顆粒級圖形，發(fā)展到現(xiàn)在，已經(jīng)完全達(dá)到了一個影視級的、非常逼真的三維虛擬世界效果。玩家在游戲里可以感受到栩栩如生的場景和浸入式的體驗，充分享受游戲中的故事。如今游戲中的圖形技術(shù)，也已經(jīng)應(yīng)用到了影視內(nèi)容的制作中，很多影視制作越來越多地采用游戲引擎來制作圖形內(nèi)容。

看完這些生動、逼真的內(nèi)容以后，我們再來看一看現(xiàn)有三維圖形內(nèi)容生成的手段，你會發(fā)現(xiàn)一件很有意思的事情：現(xiàn)在的三維造型軟件，在過去的幾十年里，其實并沒有太多革命性的改變，我們還是通過一個復(fù)雜的二維界面和軟件工具，來創(chuàng)建三維的內(nèi)容。我們也確實研發(fā)了很多新的三維捕捉設(shè)備，比如對形體而言，有三維掃描儀，對材質(zhì)而言，有光穹，以及大家廣泛使用的運動捕捉設(shè)備等等。所有這些設(shè)備，如果大家曾經(jīng)使用過的話，就會發(fā)現(xiàn)一些問題。

圖2：一些三維捕捉設(shè)備

首先，這些設(shè)備都非常昂貴，例如一臺最低端的三維掃描儀，專業(yè)一點的基本也要十萬人民幣起，更不用說那些幾百萬的運動捕捉設(shè)備了。第二，通常這些設(shè)備使用起來非常復(fù)雜，它們大多都需要專用的場地、專用的處理，即使獲得了數(shù)據(jù)，也會需要很多手工的工作，經(jīng)過處理之后，才可能給最終用戶使用。所有這些過程需要大量的人力、專業(yè)的技能和訓(xùn)練，在這之后，才能創(chuàng)作出想要的內(nèi)容。

總結(jié)一下傳統(tǒng)三維圖形的創(chuàng)作手段，我們會發(fā)現(xiàn)問題在于：第一，它們都是高集中度的，需要專業(yè)的生產(chǎn)者經(jīng)過多年培訓(xùn)之后，才能創(chuàng)作出高質(zhì)量的內(nèi)容。第二，整個生產(chǎn)流程實際上是高強度的，需要工作很長時間，很多藝術(shù)家和程序員可能需要做一年、兩年甚至更長的時間，才能做出一款全新游戲中的圖形內(nèi)容。第三，創(chuàng)造出內(nèi)容后唯一增長的是這些藝術(shù)家以及相關(guān)工作人員的經(jīng)驗，很難被其他人使用，或者大量、重復(fù)的應(yīng)用到其他游戲中去，這是一個很浪費的事情。

近年來，隨著機器學(xué)習(xí)技術(shù)的發(fā)展，在圖形學(xué)研究中，大家也開始越來越多地探索如何結(jié)合人工智能的技術(shù)來進(jìn)行圖形內(nèi)容的生成。總的來說，其基本思路就是廉價設(shè)備（如深度攝像頭或者彩色攝像頭）+智能算法+少量的用戶輸入，從而可以更加方便的產(chǎn)生出高質(zhì)量的三維內(nèi)容。若要實現(xiàn)這個思路，那么就要依賴于已有的大量數(shù)據(jù)和機器學(xué)習(xí)技術(shù)。

當(dāng)智能圖形生成越來越多地被用于專業(yè)的圖形內(nèi)容生產(chǎn)中時，我們會發(fā)現(xiàn)，和傳統(tǒng)方法相比，圖形內(nèi)容的生成已經(jīng)從手工驅(qū)動或者算法驅(qū)動，變成了數(shù)據(jù)驅(qū)動。這意味著，當(dāng)產(chǎn)生了越來越多的高質(zhì)量數(shù)據(jù)時，工作室或者游戲的開發(fā)人員就有可能產(chǎn)生出更多好的結(jié)果，即高復(fù)用度。同時，在整個過程中，手工工作會越來越少，計算會越來越重要。當(dāng)大量的手工工作變成自動或半自動的時候，大家可以想到，實際上我們對內(nèi)容創(chuàng)建的集中度的要求降低了，這意味著你可以讓很多人來貢獻(xiàn)內(nèi)容。這是一件很好的事情。

接下來，我會主要展示在過去幾年中，包括今年，我們所做的一些最新的研究工作。坦白地說，這些研究工作離真正的落地應(yīng)用，即真正用于游戲創(chuàng)作，可能還有一段距離，但我們希望通過這些技術(shù)的展望，能讓大家看到技術(shù)發(fā)展在未來的三到五年內(nèi)，會給我們的游戲內(nèi)容或者圖形內(nèi)容的創(chuàng)作，帶來哪些新的可能性。

我將從以下幾個部分分享，第一個部分是如何通過人工智能技術(shù)，結(jié)合數(shù)據(jù)，幫助大家生成傳統(tǒng)的圖形內(nèi)容，如三維模型、材質(zhì)庫等等。第二部分是如何結(jié)合現(xiàn)在的人工智能技術(shù)、機器學(xué)習(xí)技術(shù)，幫助大家更容易地把已有的真實世界的場景、物體高度真實地數(shù)字化，放到游戲和計算機里。

智能圖形素材生成

首先來看智能圖形素材生成這一部分。我們發(fā)現(xiàn)藝術(shù)家其實很善于畫二維的草圖。當(dāng)你看了草圖之后，很容易通過草圖想象出來一個三維模型。因此，我們想做的一件事情就是當(dāng)用戶腦海里有了一個三維物體，或者他看到一個三維物體之后，他通過勾勒像圖3中間這樣的草圖，讓系統(tǒng)自動幫他生成一個很不錯的三維形狀，或者一個初始的三維形狀。有了這個之后，用戶可以快速地通過畫大量草圖來做一個概念設(shè)計，之后再把差不多的三維形狀放到三維造型軟件里做一些細(xì)化，這樣就可以快速生成他想要的三維內(nèi)容了。

圖3：用戶勾勒的二維草圖與相關(guān)的三維模型

為了實現(xiàn)這個想法，我們采用了最新的機器學(xué)習(xí)和深度學(xué)習(xí)的技術(shù)。通過產(chǎn)生大量的訓(xùn)練數(shù)據(jù)，來建立草圖和對應(yīng)三維形狀的對應(yīng)關(guān)系。在給出數(shù)據(jù)之后，系統(tǒng)就建立了一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，并根據(jù)用戶的輸入自動預(yù)測三維形狀。用戶可能會說，這個技術(shù)聽起來很神奇，但是它不一定靠譜吧，因為我給你一個二維草圖，我怎么知道你要預(yù)測一個什么東西，如果預(yù)測的不是我要的怎么辦。那也沒有問題，因為我們的系統(tǒng)允許用戶不斷的輸入想要的細(xì)節(jié)來進(jìn)行修改。系統(tǒng)網(wǎng)絡(luò)會根據(jù)用戶添加的輸入不斷細(xì)化形狀，最后快速生成你想要的三維結(jié)果，比如圖4。

圖4：用戶修改示范

最開始，用戶可能畫了一個輪廓，我們生成了一個立體的像海星的形狀，這時用戶說，我希望海星中間凸起的地方，更尖銳一點，用戶可以畫幾道，隨著這個改變，系統(tǒng)會自動地細(xì)化它的形狀，在不斷地生成越來越多的細(xì)節(jié)之后，最后就生成了用戶想要的形狀。我們現(xiàn)在來看一個 demo。

這個 demo 展示了畫海星的過程。我們希望整個過程是一個與用戶完全交互的過程。我們不僅把這個系統(tǒng)教給一些沒有繪畫經(jīng)驗的用戶使用，同時我們也請了來自北京電影學(xué)院動畫學(xué)院的學(xué)生，這些具有一定造型經(jīng)驗的專業(yè)用戶，來使用。圖5的這些結(jié)果，是一些比較專業(yè)的用戶在大概半小時左右的學(xué)習(xí)，掌握系統(tǒng)之后，通過繪制草圖所創(chuàng)作出來的各種各樣的三維形狀，大家可以看到既有很簡單的形狀，也有很漂亮復(fù)雜的形狀。我們希望這樣的系統(tǒng)能夠很大程度地減輕用戶創(chuàng)作大量三維形狀、制作概念設(shè)計時的負(fù)擔(dān)。

圖5：專業(yè)用戶的作品

第二個工作是我們怎么幫助用戶快速生成更加真實的材質(zhì)貼圖的。如果大家對游戲圖形創(chuàng)作有一些經(jīng)驗的話就知道，很多時候我們想讓一個東西很接近現(xiàn)實，除了三維形狀之外，我們還要給它一個很真實的材質(zhì)貼圖，比如木頭或者鐵，來決定這個物體在不同的光照下的顏色明暗和反光，使它看起來和真實的一樣。

以前藝術(shù)家是在真實的世界中拍一張圖，然后把這張圖放到 Photoshop 里，再通過大量的操作來生成它的反射貼圖、幾何細(xì)節(jié)、紋理貼圖等等，最后交給游戲去使用。我們希望通過我們的研究，用戶只需拿一個手機出去，拍幾張圖片，系統(tǒng)就可以全自動生成逼真的物體效果。如果用戶拍一張照片，系統(tǒng)可以生成一個非常相似的材質(zhì)；如果用戶拍了很多張，并且從各個方面仔細(xì)地拍攝的話，系統(tǒng)的生成結(jié)果質(zhì)量就會越高，越接近于想要的真實世界的材質(zhì)。同時，我們還希望算法能夠支持任意的分辨率，因為通常用戶都希望分辨率越高越好，那么不管是一張小圖還是大圖，送到算法里，都希望它能夠生成很好的結(jié)果出來。

圖6：材質(zhì)貼圖圖片生成

為了做這件事情，我們結(jié)合了深度神經(jīng)網(wǎng)絡(luò)技術(shù)以及傳統(tǒng)的反向繪制優(yōu)化技術(shù)，來實現(xiàn)這個優(yōu)化的過程。基本想法是這樣的：首先挑出一張圖，結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)，預(yù)測一個初步的材質(zhì)結(jié)果。這個初步的結(jié)果可能看起來還行，但是不太好，沒關(guān)系。隨后我們把它送到一個編碼器里，通過優(yōu)化中間這個編碼，使得輸出材質(zhì)繪制結(jié)果和原來輸入的這張圖進(jìn)行對比差別最小。如果有多張圖，我們希望輸出的這個材質(zhì)能夠和所有的多張拍攝的圖片都一樣，那么就可以認(rèn)為這個材質(zhì)很合適了?；旧鲜沁@樣一個過程，整個過程是全自動的，不需要用戶任何的手工或者輸入。

圖7：深度逆繪制技術(shù)的應(yīng)用過程

圖8展示了一個結(jié)果。這是在我們的辦公室里拍的一張賀卡的材質(zhì)，它表面有一些金屬的部分，也有一些紙的部分，同時還有一些凸凹。我們大概拿手機拍了20張左右的圖，我比較了最上面，叫做 ground truth 的部分，就是我們的真實賀卡樣本、在光照下的結(jié)果。如果我只拍一張，大家看到，實際上大部分的結(jié)果還是對的，但里面的反光就看著不是太好；如果拍20張左右之后，所產(chǎn)生出來的材質(zhì)的這個反光，還有所有的細(xì)節(jié)，基本上就和輸入圖像的真實材質(zhì)沒有什么差別了。這個辦法實際上是一個非常好的辦法。即使在時間不允許、條件不允許的情況下，用戶只拍了一張，那這個結(jié)果也已經(jīng)基本可用了。你拍多張以后，可以保證這個結(jié)果就是你想要的，這就避免了使用專業(yè)設(shè)備去拍攝很多的東西。

圖8：在賀卡上的應(yīng)用效果

視頻2是另外一個結(jié)果，這是一個皮革，在這里我們只拍了2張圖，大家看到這個皮革具有非常復(fù)雜的材質(zhì)細(xì)節(jié)外觀，它有皮革的部分、有線的部分，有兩種材質(zhì)，同樣，它表面有非常豐富的凹凸變化。所有這些變化都能被我們完美地恢復(fù)出來，然后我們把它放到一個新的虛擬環(huán)境中，當(dāng)我們進(jìn)行繪制時，所有的材質(zhì)都能展示出非常真實的外觀、反光等效果。

智能圖形數(shù)字化

剛才我們講到了，如何用機器學(xué)習(xí)和人工智能技術(shù)幫助大家生成圖形的素材，那我們怎么用這些技術(shù)幫助大家去做真實世界的數(shù)字化呢？

真實世界數(shù)字化的一個任務(wù)是通過掃描一個真實世界的物體，生成這個物體高度真實的數(shù)字克隆。這個過程，我們希望足夠簡單，用戶拿手機或者一個單反相機，不需要用任何專業(yè)的設(shè)備，只要繞著物體拍一拍就可以了。同時，我們希望拍攝的結(jié)果不是一個只能在原有的視點觀看的照片集合，而是用戶想從什么角度看，就能從什么角度看的全新的呈現(xiàn)。因為原來在拍攝的時候可能是在一個特定的光照下進(jìn)行的，那我們希望在任何新的光照下，都能夠看到這個物體，不希望對物體有限制。對于玩具貓這種毛茸茸的東西，如果大家知道一些計算機視覺和圖形學(xué)的知識，就會知道，這樣的物體在以前是非常難拍的。我們的技術(shù)既能拍半透明的物體，也能拍毛茸茸的物體，還可以拍一些簡單的物體，比如茶壺。

同樣，我們也希望我們的技術(shù)可以結(jié)合深度神經(jīng)網(wǎng)絡(luò)，建立一個全新的三維物體表達(dá)。傳統(tǒng)的方式是一個三維的精確的形狀加一個材質(zhì)貼圖。然而，這種精確的三維形狀加材質(zhì)對很多物體，比如毛茸茸的物體、半透明的物體，都需要有不同的表達(dá)，而這些不同的表達(dá)相差甚遠(yuǎn)，很難用一個統(tǒng)一的方式來進(jìn)行繪制和建模。所以我們希望結(jié)合深度神經(jīng)網(wǎng)絡(luò)做一個統(tǒng)一的深度物體表達(dá)。我們的物體的幾何是物體一個粗略的三維幾何，在這個幾何上，我們生成了材質(zhì)貼圖，但這種不是物理意義的材質(zhì)貼圖，而是由神經(jīng)網(wǎng)絡(luò)生成的，我們叫做深度特征材質(zhì)貼圖。有了這些抽象的材質(zhì)貼圖，再加上三維形狀，通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行投影繪制、生成出用戶想要的任何圖像，這是一個全新的繪制流水線。

有了這個技術(shù)，大家可以看到，通過手機所拍攝的圖像就可以非常真實地重建出我們現(xiàn)實世界的任何場景、物體。比如圖9中最左邊的半透明物體，可以看到，把它放到一個新的光照下，這和我們拍攝的光照是完全不同的，但仍可以看到它表面的高光的變化，這些半透明的效果都被完美地重現(xiàn)了出來。圖9中間這個物體是毛絨的玩具，幾個物體互相之間有遮擋，光照在上面的時候不僅有陰影，還有光在它們之間的一些反射效果，非常復(fù)雜。我們的技術(shù)可以很真實地再現(xiàn)所有的結(jié)果，保證在任何光照和視點下都可以進(jìn)行非常高度真實感的繪制。圖9最右邊是一個小玩具，當(dāng)這個玩具用我們的技術(shù)表達(dá)了以后，可以把它放到不同的光照環(huán)境中去繪制，視點也可以進(jìn)行遠(yuǎn)近的調(diào)整。大家可以想象一下，這樣的技術(shù)意味著我們可以快速地把真實世界的任何一個物體融入到游戲里，變成一個道具，同時也方便大家把真實的物體圖形傳送到其他地方去，比如做一些和增強現(xiàn)實等相關(guān)的應(yīng)用，該技術(shù)都可以快速地生成很好的結(jié)果。

圖9：智能圖形數(shù)字化的結(jié)果展示

剛才講到了從傳統(tǒng)的流水線慢慢地發(fā)展，結(jié)合深度學(xué)習(xí)技術(shù)，加上傳統(tǒng)的三維形狀表達(dá)來做新的繪制算法，幫助大家生成更加真實的效果。而隨著深度學(xué)習(xí)的發(fā)展，未來將可以完全繞開三維形狀，直接從大家收集的圖像出發(fā)，生成高度真實的圖像。

以前我們做游戲、做很多圖像圖形的生成時，最重要的就是要恢復(fù)三維形狀。那么當(dāng)你有了這些方法之后，就會帶來一種全新的可能性：也許我們只要拍足夠多真實世界的圖片和視頻，我們就可以生成新的內(nèi)容了，我們可能再也不需要進(jìn)行三維建模、材質(zhì)建模了。

以上這些是我們在圖形方面所做的一些研究成果，其實在微軟亞洲研究院，除了我們所做的圖形圖像方面的工作，還有很多研究組都在對游戲平臺做貢獻(xiàn)。比如，我們的機器學(xué)習(xí)組就和 Xbox 的 PlayFab 合作構(gòu)建智能后臺，幫助 Xbox 改進(jìn)了排行榜的響應(yīng)時間，通過智能算法和超強的在線數(shù)據(jù)處理引擎，把它從兩分鐘一次更新提升到毫秒級的更新。此外，還有我們的語音組等等，都對游戲不同的內(nèi)容生成做出了技術(shù)貢獻(xiàn)。

總結(jié)與展望

最后總結(jié)一下，我剛才講的是一些例子，通過這些例子我希望闡述的一個觀點是：深度學(xué)習(xí)和人工智能，很可能會改變游戲，特別是圖形方式產(chǎn)生的開發(fā)方式。我們可能不能說一定會改變，但這是很可能會改變的。一個重要的事實是，我們的數(shù)據(jù)生成方法已經(jīng)從人力驅(qū)動逐漸變成數(shù)據(jù)驅(qū)動，手動算法開發(fā)也會優(yōu)化到基于數(shù)據(jù)分析的自動算法優(yōu)化。如果你做神經(jīng)網(wǎng)絡(luò)的優(yōu)化，會看到很多東西已經(jīng)不是靠人手了，而是靠大量的數(shù)據(jù)分析，反饋數(shù)據(jù)的搜索，再做神經(jīng)網(wǎng)絡(luò)的優(yōu)化，整個過程可能全都自動化了。我們甚至可能創(chuàng)造一個全新的方式，徹底拋開已有的傳統(tǒng)圖形的表達(dá)，產(chǎn)生一種基于圖像的三維內(nèi)容的繪制和生產(chǎn)系統(tǒng)，這都是可能的。

往更大的方面講，我們會看到有三種力量在慢慢地改變我們游戲的開發(fā)方式，一個就是云，當(dāng)我們有了云端游戲（cloud gaming）以后，我們所有的游戲都不在單機上運行，而是在服務(wù)器上運行，那么游戲引擎怎么做到可擴展？我們怎么在一臺機上運行多個游戲引擎，多個備份，我們一個游戲引擎能運行在50個 GPU 上嗎，怎么去做？我們還不知道。

人工智能不僅會改變內(nèi)容創(chuàng)造的方式，其實它也會改變游戲運行的方式。比如，我們可以將深度學(xué)習(xí)網(wǎng)絡(luò)運用到現(xiàn)有的圖形繪制流水線中去。我們也會有一些新的設(shè)備，比如我們的 GPU 有專用的深度學(xué)習(xí)計算單元，不管你用不用，它都在那兒，那就意味著當(dāng)你做繪制的時候，如果你也用了這些深度學(xué)習(xí)的算法，你的代價是零，基本不增加任何的開銷。還有一些新的終端設(shè)備，像 VR、AR 等等，所有這些硬件的新設(shè)備，我們的云的新平臺，加上我們?nèi)斯ぶ悄艿男录夹g(shù)，我相信會對整個游戲行業(yè)的開發(fā)、運行、運營都帶來一個全新的改變和革命。
編輯：hfy