為什么說三維重建才是計算機視覺的靈魂?

編者按：在“全民計算機視覺”的今天，其發(fā)展歷程卻鮮少有人追溯。梳理研究的過去將能讓我們更好地探索未來。權(quán)龍教授為我們介紹了三維重建的歷史發(fā)展與應(yīng)用前景，也為大家在研究學(xué)習(xí)、職業(yè)選擇等方面給出了一些實用建議。

王井東：您的主要研究方向是三維重建，它的發(fā)展現(xiàn)狀和應(yīng)用前景如何，您為什么看好它？

權(quán)龍：說三維重建首先要從計算機視覺講起。計算機視覺包含兩個基本方向，物體識別和三維重建。圖像識別的突破性進展源自于2012年卷積神經(jīng)網(wǎng)絡(luò)（CNN）的興起。在此之前，計算機視覺的核心研究方向是三維重建。因為在當(dāng)時，對于圖像的特征提取主要是通過三維重建的方法來定義和實現(xiàn)的。自2012年以來，圖像的特征便逐漸由神經(jīng)網(wǎng)絡(luò)來自動學(xué)習(xí)。

三維重建的應(yīng)用是很廣泛的，對于自動駕駛、VR、AR等應(yīng)用領(lǐng)域應(yīng)用來講，三維重建是核心技術(shù)，并且實時三維重建是必然趨勢，因為我們生活在三維空間里，必須將虛擬世界恢復(fù)到三維，我們才可以和環(huán)境進行交互。所以僅僅研究識別肯定是不夠的，計算機視覺下一步必須走向三維重建，并且把三維重建和識別融為一體。

古建筑修復(fù)與重建是三維重建的一個具有代表性的應(yīng)用，比如近期被燒毀的巴黎圣母院，如果通過三維模型（https://www.altizure.cn/project-model?pid=57f8d9bbe73f6760f10e916a）進行數(shù)字重建，應(yīng)該能夠達到原汁原味還原其真實面貌的目的。目前在我們的三維重建項目中，名勝古跡的三維電子存檔是很重要的一部分。從表面上看，三維重建似乎沒有自動駕駛那么復(fù)雜，其實它比自動駕駛更難，因為自動駕駛的三維感知是給車識別，而VR、AR中的三維重建場景是提供給人類感知的，所以對三維重建的結(jié)果要求非常高。總體來講，三維重建是計算機視覺的靈魂。

權(quán)龍教授（左）和王井東博士（右）合影

王井東：三維重建在計算機視覺中確實非常重要，您可以帶大家回顧一下計算機視覺和三維重建的發(fā)展歷程嗎？

權(quán)龍：1987年在倫敦舉辦的第一屆國際計算機視覺大會ICCV可以作為現(xiàn)代計算機視覺研究的一個開端。之前很多人認(rèn)為做圖像處理就是計算機視覺，其實是二者是有區(qū)別的。

計算機視覺的目標(biāo)是對圖像進行理解。準(zhǔn)確來講，計算機無法做到“理解”，只能做到“認(rèn)知”。我們的研究目的是從圖像中獲取視覺特征，有了視覺特征才能開展一系列的工作。因此回顧計算機視覺的發(fā)展歷程，根據(jù)算力條件的不同，我們可以看到一個特征提取的演化過程。

80年代，人人都在做以edge為主的邊緣提取，有了edge之后，再把它高層化后的線段元做簡單的統(tǒng)計分類或者三維重建。Edge在數(shù)學(xué)上很容易定義，在定義了很多優(yōu)化準(zhǔn)則后，到1986年John Canny提出了Canny edge detection之后，這個研究方向就到頭了。

90年代，人們對三維重建愈加重視，當(dāng)時歐洲比美國要領(lǐng)先。幾何也追求特征提取，但一維的edge不適合幾何計算，幾何最本質(zhì)的元素是點，所以很多工作開始圍繞點的特征去展開，對點的特征進行描述，然后就可以把很多東西變成矢量的無序集合，再做統(tǒng)計。三維重建的終極目標(biāo)是用非標(biāo)定相機（uncalibrated camera）進行重建。

1992年，Oliver Faugeras和Richard Hartley各自獨立地解決了非標(biāo)定相機兩張圖像下的三維重建問題，引入了基于七點算法的基礎(chǔ)矩陣（Fundamental Matrix）概念，這標(biāo)志著三維視覺的崛起。

1994年，我提出了六點算法（Invariants of six points and projective reconstruction from three uncalibrated images），解決了非標(biāo)定相機三張圖像下的三維重建，進而在理論上徹底解決了多視重建的幾何問題（multi-view geometry）。這兩項工作共同奠定了三維重建的理論基礎(chǔ)，對計算機視覺的發(fā)展起到了決定性的作用。

到了2012年，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的出現(xiàn)對于特征提取和圖像識別都是一個顛覆性的飛躍，從而觸發(fā)了新一波人工智能高速發(fā)展的浪潮。事實上，卷積神經(jīng)網(wǎng)絡(luò)在1989年就應(yīng)用于圖像識別問題，它是今天所有卷積神經(jīng)網(wǎng)絡(luò)的鼻祖模型。

從誕生到2012年的十幾年之間，發(fā)生變化的并非卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)，而是：(一）GPU的出現(xiàn)提升了計算力；(二）斯坦福大學(xué)教授李飛飛創(chuàng)建的ImageNet，她把上百萬張照片發(fā)到網(wǎng)絡(luò)上進行標(biāo)注。這兩件事促成了卷積神經(jīng)網(wǎng)絡(luò)在2012年的復(fù)活。CNN的本質(zhì)其實是兩點，第一點是提取特征，第二點是標(biāo)準(zhǔn)分類器。所以本質(zhì)上還是提取特征，只不過特征的表達能力比之前的手工定義要高得多。

所以從特征提取這條線索上看，雖然目前計算機視覺看似處于一輪新的熱潮，但事實上一直以來大家都在做同樣的事情，只不過在不同的階段，提取的特征和采用的方式有所不同。

王井東：現(xiàn)在主流的計算機視覺研究主要集中在歐洲、美國和中國。您認(rèn)為這三者的發(fā)展現(xiàn)狀和未來將如何？

權(quán)龍：確實是三足鼎立。上個世紀(jì)八九十年代，歐洲的計算機視覺發(fā)展迅速，研究人員在一定意義上把計算機視覺當(dāng)作一個應(yīng)用數(shù)學(xué)的問題。三維重建需要大量傳統(tǒng)數(shù)學(xué)知識，這批研究人員都有非常好的應(yīng)用數(shù)學(xué)基礎(chǔ)，那就用數(shù)學(xué)工具去解決這些視覺問題。

同期，美國計算機視覺的研究人員也非?；钴S，但主要集中在應(yīng)用領(lǐng)域，研究方向并不是非常清晰。隨著2012年這一波由卷積神經(jīng)網(wǎng)絡(luò)引發(fā)的人工智能的再次崛起，美國在應(yīng)用方面突飛猛進，歐洲依然保持扎實的基礎(chǔ)研究的風(fēng)格。后起之秀就是中國了，飛速發(fā)展的經(jīng)濟和創(chuàng)新氣氛使得計算機視覺的研究和商業(yè)應(yīng)用在極短的時間內(nèi)快速發(fā)展起來了。

王井東：您不僅在計算機視覺的研究上一如既往，也創(chuàng)立了專注三維重建的公司Altizure，那么關(guān)于學(xué)術(shù)和產(chǎn)業(yè)的選擇，您能為同學(xué)們分享一些經(jīng)驗和建議嗎？

權(quán)龍：每個人都有不同的理想和發(fā)展方向，有的人可能更適合做應(yīng)用，有的人更適合做學(xué)術(shù)研究，這是因人而異的。沒必要每個人都要去做科研當(dāng)教授，也沒必要每個人都去創(chuàng)業(yè)，只要能發(fā)揮自己的特長，選擇哪一條路都是非常好的。在這個多元化的社會，大家都在從不同的角度推進科技的進步。

王井東：當(dāng)時是什么促使您從學(xué)術(shù)界“跨界”進入產(chǎn)業(yè)界？

權(quán)龍：很簡單，我一直在研究計算機視覺三維重建，以前的結(jié)果還不成熟，而到了某一個時機它終于能投入應(yīng)用了，那我們當(dāng)然要做應(yīng)用，這是研究的最高境界。研究就是這樣，可能在很長時間里效果都不夠理想，那我們就要繼續(xù)研究，但當(dāng)它有了用武之地時，我覺得投入實踐是順理成章的。

王井東：您認(rèn)為一個計算機視覺方向的學(xué)生應(yīng)該學(xué)好哪些知識，才能做更好的研究？

權(quán)龍：我對所有的人的建議是，打好應(yīng)用數(shù)學(xué)和計算機的功底。應(yīng)用數(shù)學(xué)是理論基礎(chǔ)，計算機是實現(xiàn)手段，兩方面的能力缺一不可。我不太贊同大學(xué)開設(shè)人工智能專業(yè)的做法，其實人工智能在一定意義上就是應(yīng)用數(shù)學(xué)，尤其是卷積神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是數(shù)學(xué)優(yōu)化和統(tǒng)計，你要有很好的應(yīng)用數(shù)學(xué)功底。

王井東：很多人說深度學(xué)習(xí)和計算機視覺到了瓶頸期，您認(rèn)為目前最大的問題是什么？您最期待的突破又在哪里？

權(quán)龍：“瓶頸期”不是一個合適的詞匯。因為它本質(zhì)上是一個應(yīng)用科學(xué)，現(xiàn)在有了卷積神經(jīng)網(wǎng)絡(luò)這樣強大的工具，所有的應(yīng)用方向都可以重新去摸索。剛才講到特征提取，提取完特征后去做具體的應(yīng)用，很多東西是可以繼續(xù)改進的，差別在于進步有多大。

卷積神經(jīng)網(wǎng)絡(luò)的特征提取已經(jīng)是一個很大的突破了，在這個基礎(chǔ)之上，我想會有一系列新的應(yīng)用出現(xiàn)。如果實在要說突破，那就是硬件和算力的突破。目前大熱的自動駕駛領(lǐng)域?qū)⒑艽罅Χ鹊赝七M算力的發(fā)展，VR、AR也是同樣。有朝一日，如果算力能夠有一個顯著的突破性進展，很多無法想象的事情將會發(fā)生。