計(jì)算機(jī)視覺倚靠幾何洞察發(fā)展

　　如今，深度學(xué)習(xí)已顛覆計(jì)算機(jī)視覺領(lǐng)域，端到端的深度學(xué)習(xí)模型幾乎是任何問題的最佳解決方案。尤其是卷積神經(jīng)網(wǎng)絡(luò)（CNN），因?yàn)樗Ч稳憾鴱V受歡迎?？墒?，這些深度學(xué)習(xí)模型都像是一個(gè)個(gè)黑盒子，盒子內(nèi)的奧秘仍然不為人所知。筆者認(rèn)為，現(xiàn)在的研究人員只是簡(jiǎn)單地寫少量代碼來調(diào)用深度學(xué)習(xí)接口，盡管這種直白的使用方式能解決大多數(shù)計(jì)算機(jī)視覺問題，但是最終效果顯然還存在更大的提升空間。

　　是我曾經(jīng)開發(fā)的一種使用深度學(xué)習(xí)技術(shù)判斷攝像頭姿態(tài)的算法。這是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)經(jīng)典問題，并且有非常完整的相關(guān)理論研究。當(dāng)時(shí)用深度學(xué)習(xí)訓(xùn)練了一個(gè)端到端的模型，這個(gè)模型取得了很好的效果?？墒牵F(xiàn)在回想，覺得當(dāng)時(shí)自己完全忽略了這個(gè)問題的已有理論背景。在本文的末尾作者補(bǔ)充了相關(guān)工作的最新進(jìn)展，從更偏向理論的角度重新審視了問題，并用基于幾何的方法取得了巨大的效果提升。

　　簡(jiǎn)單地調(diào)用深度學(xué)習(xí)接口就能解決問題的時(shí)代即將結(jié)束，計(jì)算機(jī)視覺領(lǐng)域的下一次進(jìn)步將源自對(duì)幾何形態(tài)的深入研究。

　　為何源自幾何

　　在計(jì)算機(jī)視覺領(lǐng)域，幾何描述這個(gè)世界的結(jié)構(gòu)和形狀，涉及深度、體積、形狀、姿態(tài)、視差、運(yùn)動(dòng)和光流等測(cè)量角度。

　　幾何在視覺模型中地位較高的原因在于幾何定義了這個(gè)世界的結(jié)構(gòu)，而且我們?nèi)祟惸芾斫膺@種結(jié)構(gòu)（比如，從經(jīng)典的中學(xué)習(xí)）。因此，有很多復(fù)雜的幾何關(guān)系并不需要利用深度學(xué)習(xí)技術(shù)從頭學(xué)起，比如，物體的深度和運(yùn)動(dòng)狀態(tài)等。通過使用已有的幾何知識(shí)構(gòu)建體系結(jié)構(gòu)，我們可以將它們對(duì)應(yīng)到現(xiàn)實(shí)中，簡(jiǎn)化了學(xué)習(xí)過程。本文結(jié)尾的一些示例將介紹如何使用幾何來提高深度學(xué)習(xí)架構(gòu)的性能。

　　另一種范式是使用語義表示。語義表示指的是用語言來描述物體在現(xiàn)實(shí)中的關(guān)系。例如，我們可以將物體描述為“貓”或“狗”。但是，幾何在語義上有兩大特性：

　　幾何形態(tài)可以直接觀察。人們直接用視覺觀察這個(gè)世界的幾何形態(tài)。在最基本的層面上，人們可以通過追蹤幀與幀之間相應(yīng)像素的關(guān)系來直接觀察物體的運(yùn)動(dòng)狀態(tài)和深度情況。另外一些有趣的例子，包括根據(jù)陰影觀察形狀或是從立體視差推測(cè)深度。與此相反，語義表示是人類語言所特有的，每個(gè)標(biāo)簽對(duì)應(yīng)于一個(gè)名詞實(shí)體，無法直接觀察。

　　幾何是基于測(cè)量的連續(xù)變量。例如，人們可以用“米”來度量深度或是用像素來衡量視差，而語義表征則是離散量或二值標(biāo)簽。

　　為什么這些屬性很重要呢？其中一個(gè)重要的原因在于這些屬性對(duì)無監(jiān)督學(xué)習(xí)非常有幫助。

　　英國劍橋中心，幾何結(jié)構(gòu)的運(yùn)動(dòng)重建，來自于手機(jī)的視頻拍攝

　　無監(jiān)督學(xué)習(xí)

　　無監(jiān)督學(xué)習(xí)無需標(biāo)注數(shù)據(jù)就能學(xué)習(xí)物體的表示和結(jié)構(gòu)。獲取大量的已標(biāo)注訓(xùn)練數(shù)據(jù)需要耗費(fèi)財(cái)力物力，因此無監(jiān)督學(xué)習(xí)提供了更具擴(kuò)展性的框架。

　　作者上面提到幾何學(xué)的兩個(gè)特性正好可以用來訓(xùn)練無監(jiān)督學(xué)習(xí)模型：可觀察性和連續(xù)表示。

　　例如筆者去年發(fā)表的一篇，介紹了如何利用無監(jiān)督訓(xùn)練和幾何形態(tài)來預(yù)測(cè)物體的深度，這篇論文給出了幾何學(xué)原理與上述兩個(gè)特性結(jié)合形成無監(jiān)督學(xué)習(xí)模型的絕佳案例，也有幾篇思路類似的。

　　語義還不夠嗎？

　　語義在計(jì)算機(jī)視覺領(lǐng)域一直備受關(guān)注，許多高引用論文成果都來自圖像分類和語義分割領(lǐng)域。

　　僅依靠語義來設(shè)計(jì)一套表達(dá)方式會(huì)存在問題，因?yàn)檎Z義是由人類定義的。人工智能系統(tǒng)理解語義并提供與人類交互的接口必不可少，而語義是人類定義的，很有可能這種定義并不是最合理的定義方式。直接從觀察到的幾何世界學(xué)習(xí)可能更自然。

　　與此同時(shí)，低層次的幾何形態(tài)也是嬰兒學(xué)習(xí)觀察世界的形式。根據(jù)的調(diào)查，人類在出生后的前九個(gè)月學(xué)習(xí)協(xié)調(diào)眼睛的聚焦和感知深度、顏色和幾何形狀等屬性。直到第十二個(gè)月才學(xué)會(huì)如何識(shí)別物體和語義。這說明在人類視覺中學(xué)習(xí)幾何學(xué)的基礎(chǔ)是非常重要的，人類會(huì)很好地把這些洞察融入到計(jì)算機(jī)視覺模型中。