為什么說三維重建才是計(jì)算機(jī)視覺的靈魂?

編者按：在“全民計(jì)算機(jī)視覺”的今天，其發(fā)展歷程卻鮮少有人追溯。梳理研究的過去將能讓我們更好地探索未來。權(quán)龍教授為我們介紹了三維重建的歷史發(fā)展與應(yīng)用前景，也為大家在研究學(xué)習(xí)、職業(yè)選擇等方面給出了一些實(shí)用建議。

王井東：您的主要研究方向是三維重建，它的發(fā)展現(xiàn)狀和應(yīng)用前景如何，您為什么看好它？

權(quán)龍：說三維重建首先要從計(jì)算機(jī)視覺講起。計(jì)算機(jī)視覺包含兩個(gè)基本方向，物體識(shí)別和三維重建。圖像識(shí)別的突破性進(jìn)展源自于2012年卷積神經(jīng)網(wǎng)絡(luò)（CNN）的興起。在此之前，計(jì)算機(jī)視覺的核心研究方向是三維重建。因?yàn)樵诋?dāng)時(shí)，對(duì)于圖像的特征提取主要是通過三維重建的方法來定義和實(shí)現(xiàn)的。自2012年以來，圖像的特征便逐漸由神經(jīng)網(wǎng)絡(luò)來自動(dòng)學(xué)習(xí)。

三維重建的應(yīng)用是很廣泛的，對(duì)于自動(dòng)駕駛、VR、AR等應(yīng)用領(lǐng)域應(yīng)用來講，三維重建是核心技術(shù)，并且實(shí)時(shí)三維重建是必然趨勢(shì)，因?yàn)槲覀兩钤谌S空間里，必須將虛擬世界恢復(fù)到三維，我們才可以和環(huán)境進(jìn)行交互。所以僅僅研究識(shí)別肯定是不夠的，計(jì)算機(jī)視覺下一步必須走向三維重建，并且把三維重建和識(shí)別融為一體。

古建筑修復(fù)與重建是三維重建的一個(gè)具有代表性的應(yīng)用，比如近期被燒毀的巴黎圣母院，如果通過三維模型（https://www.altizure.cn/project-model?pid=57f8d9bbe73f6760f10e916a）進(jìn)行數(shù)字重建，應(yīng)該能夠達(dá)到原汁原味還原其真實(shí)面貌的目的。目前在我們的三維重建項(xiàng)目中，名勝古跡的三維電子存檔是很重要的一部分。從表面上看，三維重建似乎沒有自動(dòng)駕駛那么復(fù)雜，其實(shí)它比自動(dòng)駕駛更難，因?yàn)樽詣?dòng)駕駛的三維感知是給車識(shí)別，而VR、AR中的三維重建場(chǎng)景是提供給人類感知的，所以對(duì)三維重建的結(jié)果要求非常高?？傮w來講，三維重建是計(jì)算機(jī)視覺的靈魂。

權(quán)龍教授（左）和王井東博士（右）合影

王井東：三維重建在計(jì)算機(jī)視覺中確實(shí)非常重要，您可以帶大家回顧一下計(jì)算機(jī)視覺和三維重建的發(fā)展歷程嗎？

權(quán)龍：1987年在倫敦舉辦的第一屆國(guó)際計(jì)算機(jī)視覺大會(huì)ICCV可以作為現(xiàn)代計(jì)算機(jī)視覺研究的一個(gè)開端。之前很多人認(rèn)為做圖像處理就是計(jì)算機(jī)視覺，其實(shí)是二者是有區(qū)別的。

計(jì)算機(jī)視覺的目標(biāo)是對(duì)圖像進(jìn)行理解。準(zhǔn)確來講，計(jì)算機(jī)無法做到“理解”，只能做到“認(rèn)知”。我們的研究目的是從圖像中獲取視覺特征，有了視覺特征才能開展一系列的工作。因此回顧計(jì)算機(jī)視覺的發(fā)展歷程，根據(jù)算力條件的不同，我們可以看到一個(gè)特征提取的演化過程。

80年代，人人都在做以edge為主的邊緣提取，有了edge之后，再把它高層化后的線段元做簡(jiǎn)單的統(tǒng)計(jì)分類或者三維重建。Edge在數(shù)學(xué)上很容易定義，在定義了很多優(yōu)化準(zhǔn)則后，到1986年John Canny提出了Canny edge detection之后，這個(gè)研究方向就到頭了。

90年代，人們對(duì)三維重建愈加重視，當(dāng)時(shí)歐洲比美國(guó)要領(lǐng)先。幾何也追求特征提取，但一維的edge不適合幾何計(jì)算，幾何最本質(zhì)的元素是點(diǎn)，所以很多工作開始圍繞點(diǎn)的特征去展開，對(duì)點(diǎn)的特征進(jìn)行描述，然后就可以把很多東西變成矢量的無序集合，再做統(tǒng)計(jì)。三維重建的終極目標(biāo)是用非標(biāo)定相機(jī)（uncalibrated camera）進(jìn)行重建。

1992年，Oliver Faugeras和Richard Hartley各自獨(dú)立地解決了非標(biāo)定相機(jī)兩張圖像下的三維重建問題，引入了基于七點(diǎn)算法的基礎(chǔ)矩陣（Fundamental Matrix）概念，這標(biāo)志著三維視覺的崛起。

1994年，我提出了六點(diǎn)算法（Invariants of six points and projective reconstruction from three uncalibrated images），解決了非標(biāo)定相機(jī)三張圖像下的三維重建，進(jìn)而在理論上徹底解決了多視重建的幾何問題（multi-view geometry）。這兩項(xiàng)工作共同奠定了三維重建的理論基礎(chǔ)，對(duì)計(jì)算機(jī)視覺的發(fā)展起到了決定性的作用。

到了2012年，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的出現(xiàn)對(duì)于特征提取和圖像識(shí)別都是一個(gè)顛覆性的飛躍，從而觸發(fā)了新一波人工智能高速發(fā)展的浪潮。事實(shí)上，卷積神經(jīng)網(wǎng)絡(luò)在1989年就應(yīng)用于圖像識(shí)別問題，它是今天所有卷積神經(jīng)網(wǎng)絡(luò)的鼻祖模型。

從誕生到2012年的十幾年之間，發(fā)生變化的并非卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)，而是：(一）GPU的出現(xiàn)提升了計(jì)算力；(二）斯坦福大學(xué)教授李飛飛創(chuàng)建的ImageNet，她把上百萬張照片發(fā)到網(wǎng)絡(luò)上進(jìn)行標(biāo)注。這兩件事促成了卷積神經(jīng)網(wǎng)絡(luò)在2012年的復(fù)活。CNN的本質(zhì)其實(shí)是兩點(diǎn)，第一點(diǎn)是提取特征，第二點(diǎn)是標(biāo)準(zhǔn)分類器。所以本質(zhì)上還是提取特征，只不過特征的表達(dá)能力比之前的手工定義要高得多。

所以從特征提取這條線索上看，雖然目前計(jì)算機(jī)視覺看似處于一輪新的熱潮，但事實(shí)上一直以來大家都在做同樣的事情，只不過在不同的階段，提取的特征和采用的方式有所不同。

王井東：現(xiàn)在主流的計(jì)算機(jī)視覺研究主要集中在歐洲、美國(guó)和中國(guó)。您認(rèn)為這三者的發(fā)展現(xiàn)狀和未來將如何？

權(quán)龍：確實(shí)是三足鼎立。上個(gè)世紀(jì)八九十年代，歐洲的計(jì)算機(jī)視覺發(fā)展迅速，研究人員在一定意義上把計(jì)算機(jī)視覺當(dāng)作一個(gè)應(yīng)用數(shù)學(xué)的問題。三維重建需要大量傳統(tǒng)數(shù)學(xué)知識(shí)，這批研究人員都有非常好的應(yīng)用數(shù)學(xué)基礎(chǔ)，那就用數(shù)學(xué)工具去解決這些視覺問題。

同期，美國(guó)計(jì)算機(jī)視覺的研究人員也非常活躍，但主要集中在應(yīng)用領(lǐng)域，研究方向并不是非常清晰。隨著2012年這一波由卷積神經(jīng)網(wǎng)絡(luò)引發(fā)的人工智能的再次崛起，美國(guó)在應(yīng)用方面突飛猛進(jìn)，歐洲依然保持扎實(shí)的基礎(chǔ)研究的風(fēng)格。后起之秀就是中國(guó)了，飛速發(fā)展的經(jīng)濟(jì)和創(chuàng)新氣氛使得計(jì)算機(jī)視覺的研究和商業(yè)應(yīng)用在極短的時(shí)間內(nèi)快速發(fā)展起來了。

王井東：您不僅在計(jì)算機(jī)視覺的研究上一如既往，也創(chuàng)立了專注三維重建的公司Altizure，那么關(guān)于學(xué)術(shù)和產(chǎn)業(yè)的選擇，您能為同學(xué)們分享一些經(jīng)驗(yàn)和建議嗎？

權(quán)龍：每個(gè)人都有不同的理想和發(fā)展方向，有的人可能更適合做應(yīng)用，有的人更適合做學(xué)術(shù)研究，這是因人而異的。沒必要每個(gè)人都要去做科研當(dāng)教授，也沒必要每個(gè)人都去創(chuàng)業(yè)，只要能發(fā)揮自己的特長(zhǎng)，選擇哪一條路都是非常好的。在這個(gè)多元化的社會(huì)，大家都在從不同的角度推進(jìn)科技的進(jìn)步。

王井東：當(dāng)時(shí)是什么促使您從學(xué)術(shù)界“跨界”進(jìn)入產(chǎn)業(yè)界？

權(quán)龍：很簡(jiǎn)單，我一直在研究計(jì)算機(jī)視覺三維重建，以前的結(jié)果還不成熟，而到了某一個(gè)時(shí)機(jī)它終于能投入應(yīng)用了，那我們當(dāng)然要做應(yīng)用，這是研究的最高境界。研究就是這樣，可能在很長(zhǎng)時(shí)間里效果都不夠理想，那我們就要繼續(xù)研究，但當(dāng)它有了用武之地時(shí)，我覺得投入實(shí)踐是順理成章的。

王井東：您認(rèn)為一個(gè)計(jì)算機(jī)視覺方向的學(xué)生應(yīng)該學(xué)好哪些知識(shí)，才能做更好的研究？

權(quán)龍：我對(duì)所有的人的建議是，打好應(yīng)用數(shù)學(xué)和計(jì)算機(jī)的功底。應(yīng)用數(shù)學(xué)是理論基礎(chǔ)，計(jì)算機(jī)是實(shí)現(xiàn)手段，兩方面的能力缺一不可。我不太贊同大學(xué)開設(shè)人工智能專業(yè)的做法，其實(shí)人工智能在一定意義上就是應(yīng)用數(shù)學(xué)，尤其是卷積神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是數(shù)學(xué)優(yōu)化和統(tǒng)計(jì)，你要有很好的應(yīng)用數(shù)學(xué)功底。

王井東：很多人說深度學(xué)習(xí)和計(jì)算機(jī)視覺到了瓶頸期，您認(rèn)為目前最大的問題是什么？您最期待的突破又在哪里？

權(quán)龍：“瓶頸期”不是一個(gè)合適的詞匯。因?yàn)樗举|(zhì)上是一個(gè)應(yīng)用科學(xué)，現(xiàn)在有了卷積神經(jīng)網(wǎng)絡(luò)這樣強(qiáng)大的工具，所有的應(yīng)用方向都可以重新去摸索。剛才講到特征提取，提取完特征后去做具體的應(yīng)用，很多東西是可以繼續(xù)改進(jìn)的，差別在于進(jìn)步有多大。

卷積神經(jīng)網(wǎng)絡(luò)的特征提取已經(jīng)是一個(gè)很大的突破了，在這個(gè)基礎(chǔ)之上，我想會(huì)有一系列新的應(yīng)用出現(xiàn)。如果實(shí)在要說突破，那就是硬件和算力的突破。目前大熱的自動(dòng)駕駛領(lǐng)域?qū)⒑艽罅Χ鹊赝七M(jìn)算力的發(fā)展，VR、AR也是同樣。有朝一日，如果算力能夠有一個(gè)顯著的突破性進(jìn)展，很多無法想象的事情將會(huì)發(fā)生。