對于模型和數(shù)據(jù)的可視化及可解釋性的研究方法進行回顧

一年一度的CVPR在鹽湖城開幕啦！最新的消息：

今年的最佳論文，授予了來自斯坦福大學(xué)和 UC Berkeley 的 Amir R. Zamir等人的“Taskonomy: Disentangling Task Transfer Learning”。

最佳學(xué)生論文則被來自CMU的Hanbyul Joo等人憑借“Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies”摘得。

同時，也要恭喜昨天剛被我“門”蹭熱度的Kaiming大神榮獲PAMI 年輕學(xué)者獎.

除了明星獎項的揭曉，會議第一天最吸引人的除了workshop外就是一個個專題tutorial了：

周一的會議共開設(shè)了11個專題tutorial，我們下面就為大家介紹其中一些有趣的tutorial。

一些已經(jīng)放出來的tutorials slides下載見附件:

https://pan.baidu.com/s/1yv8orYTbsYLNnlTlCVc_Pw

機器學(xué)習(xí)的可解釋性對于研究人員來說有著十分重要的作用，它除了可以幫助我們理解模型運行的機理外，還能幫助我們有的放矢地提高模型的表現(xiàn)甚至啟發(fā)我們開發(fā)新的模型。Tutorial：Interpretable Machine Learning for Computer Vision就為我們帶來了這方面的內(nèi)容。

這個tutorial著眼于復(fù)雜的機器學(xué)習(xí)模型在計算機視覺方面的應(yīng)用。計算機視覺在物體識別、標(biāo)注和視覺問答等方面有著廣泛的應(yīng)用，但很多時候深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)的運作機理對我們來說還像黑箱一樣無法清晰透徹的了解。隨著近年來模型的深度加深，我們理解模型及其預(yù)測結(jié)果的過程變得日益困難。

這一tutorial將通過模型的可解釋性廣泛回顧計算機視覺的各個研究領(lǐng)域，除了介紹可解釋性的基本知識及其重要性外，還將就目前對于模型和數(shù)據(jù)的可視化及可解釋性的研究方法進行回顧。

Tutorial包含了四個演講，分別是：

來自谷歌大腦的Been Kim帶來了“機器學(xué)習(xí)中可解釋的介紹”；

來自FAIR的Laurens van der Maaten作的“利用t分布隨機鄰近嵌入方法用于視覺模型理解的準(zhǔn)則”；

來自MIT的周博磊帶來的：“重新審視深度網(wǎng)絡(luò)中單一單位(Single Units )的重要性”；

最后是來自牛津大學(xué)的Andrea Vedaldi帶來的“利用自然原像、有意義擾動和矢量嵌入來理解深度網(wǎng)絡(luò)”。

https://interpretablevision.github.io/

除了這個tutorial之外還有一個類似的tutorial：Interpreting and Explaining Deep Models in Computer Vision。

這一tutorial就視覺領(lǐng)域的可解釋性進行了概覽，提供了如何在實踐中使用這些技術(shù)的例子，并對不同的技術(shù)進行了分類。其主要內(nèi)容如下：

可解釋性的定義；

理解深度表示的技術(shù)和解釋DNN中個體預(yù)測；

定量評測可解釋性的方法；

實踐中應(yīng)用可解釋性；

利用可解釋模型在復(fù)雜系統(tǒng)中得到新的見解。

另一個有趣的tutorial是：Computer Vision for Robotics and Driving，這一tutorial主要由來自谷歌大腦的Anelia Angelova和來自多倫多大學(xué)的Sanja Fidler進行講解，主要講解了計算機視覺深度學(xué)習(xí)在機器人（以及自動駕駛）方面的發(fā)展、應(yīng)用和新的研究機會。

機器人視覺的特殊性主要在于數(shù)據(jù)和任務(wù)上，首先輸入數(shù)據(jù)是多模態(tài)（多傳感器）數(shù)據(jù)，而輸出則需要三維數(shù)據(jù)（很多情況下是稀疏的）。在實際情況中，需要在實時性、啟發(fā)式理解、環(huán)境交互方面有著良好的表現(xiàn)。

這一領(lǐng)域中新的研究機會主要在以下幾個方面：

多傳感器、多輸入、數(shù)據(jù)相關(guān)性的研究；

結(jié)構(gòu)化特征的使用和學(xué)習(xí)；

自監(jiān)督學(xué)習(xí)；

聯(lián)合感知、規(guī)劃和行為；

主動感知技術(shù)；

同時就機器人在三維空間中的學(xué)習(xí)問題和自動駕駛中的深度學(xué)習(xí)問題進行了深入的報告。希望研究機器人或者感興趣的朋友們可以從中獲得需要的信息。

除此之外，對于發(fā)展勢頭越來越旺的非監(jiān)督學(xué)習(xí)谷歌大腦和谷歌Research聯(lián)合推出了一個tutorial：Unsupervised Visual Learning。

這一tutorial從非監(jiān)督學(xué)習(xí)的各種優(yōu)點談起，從新的特征表示到擅長處理的特定問題，從加速學(xué)習(xí)過程到減少樣本使用量等各個方面進行了展開。隨后利用一個報告詳細闡述了如何從視頻（時序相關(guān)）和圖像（空間相關(guān)）數(shù)據(jù)中學(xué)習(xí)特征表示，并在另一個報告中延伸了如何從真實世界的3D數(shù)據(jù)中進行學(xué)習(xí)，包括特征、深度的學(xué)習(xí)以及特征點的匹配問題。最后闡述了自監(jiān)督學(xué)習(xí)在機器人中的應(yīng)用，并用了三個例子進行了闡述：

從深度信息中進行在線自監(jiān)督學(xué)習(xí)；

用于抓取的自監(jiān)督學(xué)習(xí)過程；

模仿學(xué)習(xí)；

幾何和三維重建是計算機視覺的重要部分，今年也有多個相關(guān)的tutorial進行了深入地探討。

首先來自印度理學(xué)院的Venu Madhav Govindu介紹了基于Motion Averaging的方法進行大規(guī)模三維重建的方法，其tutorial系統(tǒng)的介紹了基于李群的方法，并歸納了不同的motion averaging方法，同時還對算法進行了最佳實踐。這一tutorial旨在幫助研究人員們在新環(huán)境中使用這一方法用于大規(guī)模SFM以及三維稠密建模。

另一個tutorial則從優(yōu)化方面介紹了一種基于L無窮的最小化方法來解決一系列L2最小化所面臨的問題。這一tutorial講解了基于L-infinity的幾何視覺優(yōu)化方法，通過數(shù)學(xué)和算法概念以及應(yīng)用來深入理解如何使用這種新的優(yōu)化概念。

在感知層面，多視角視覺數(shù)據(jù)分析tutorial主要著重于常見的多視角視覺數(shù)據(jù)的分析及其主要的應(yīng)用，包括多視角聚類、分類和零樣本學(xué)習(xí)，并討論了目前和未來將要面對的挑戰(zhàn)。

另一個相關(guān)的tutorial著重于超快的3D感知、重建和理解，將在22號舉辦。對于3D環(huán)境的捕捉、重建了理解使得人們需要建立高質(zhì)量的傳感器和高效的算法。研究人員們建立了一套高幀率的深度傳感器系統(tǒng)，超快的幀率（~1000fps）使得幀間移動大幅減少，同時使得多傳感器的融合變得簡單?；诖搜邪l(fā)出了高效的重建、跟蹤和理解算法。Tutorial介紹了從零開發(fā)這一傳感器的來龍去脈。

對于視覺本質(zhì)的理解Tutorial：A Crash Course on Human Vision

從low,Mid,High level提供了不同層次的理解。它講解了人類的視覺系統(tǒng)，并提供了認(rèn)識了理解視覺系統(tǒng)的方法，以助于前沿計算機視覺的研究。Tutorial分為兩個部分，首先從Low-level開始，講述了光的物理本質(zhì)、視網(wǎng)膜的生理構(gòu)成，以及顏色、感受野、V1過程和運動感知；第二部分從感知深度和大小、視覺注意力和以及以及識別等方面及進行了闡述。

最后一個關(guān)于人類行為識別的Tutorial：Human Activity Recognition。這一領(lǐng)域的研究熱點主要集中在一下幾個方面：

行為可靠的時空定位；

行為的端到端模型；

群體行為識別；

行為預(yù)測；

大規(guī)模數(shù)據(jù)集和卷積模型的的建立；