解耦表征所得出的因子是否真正獨立

而今，深度學(xué)習(xí)大行其道。

結(jié)果來看，它是能說會畫外加打游戲，但這是如何實現(xiàn)的？模型里的中間數(shù)據(jù)有什么意義？換句話說，模型訓(xùn)練中所生成的高維數(shù)據(jù)如何進行有意義的理解？

這離不開非監(jiān)督學(xué)習(xí)解耦表征（Unsupervised Learning of Disentangled Representations）。

一個在好奇心驅(qū)動的探索（curiosity driven exploration）、抽象推理（abstract reasoning）、視覺概念學(xué)習(xí)（visual concept learning ）等方面早已用起來的方法。

但是目前，并未有什么方案可以統(tǒng)一衡量非監(jiān)督學(xué)習(xí)解耦表征的有效性和局限性。即，解耦表征所得出的因子是否真正獨立？某些解耦表征指標(biāo)是否的確代表解耦的有效程度？

為解決這一問題，F(xiàn)rancesco Locatello等人在“Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations ”(ICML 2019)一文中，對目前最佳的一些非監(jiān)督解耦表征模型做出了大規(guī)?？蓮?fù)現(xiàn)評估，并指出了一些未來發(fā)展方向，造福業(yè)界人士。

該評估經(jīng)由7個不同數(shù)據(jù)集上超12000個模型得出，涵蓋了對業(yè)界最佳的解耦方法以及一些評估指標(biāo)的評測，不僅可復(fù)現(xiàn)，而且該研究的代碼和10800個預(yù)訓(xùn)練好的模型都已開源在disentanglement_lib，研究者們也可以將自己的解耦模型在此進行統(tǒng)一評估，與其他解耦模型進行對比，非常棒。

啥是解耦

通俗來講，解耦就是將一個對象分解為各自獨立的因素。不同的因素控制不同的結(jié)果，一個因素只控制一個結(jié)果的改變。解耦表征，也就是找出對象特征里的可解釋因子，從而對高維的數(shù)據(jù)產(chǎn)生有意義的理解。

非監(jiān)督解耦認(rèn)為，現(xiàn)實世界的數(shù)據(jù)是由一些可解釋的獨立因子不同組合產(chǎn)生的，可以通過非監(jiān)督學(xué)習(xí)的方式找到這些獨立因子。如在Shapes3D數(shù)據(jù)集中，每個圖像由六個獨立因子控制，分別是：物體形狀、物體大小、相機角度、地板顏色、墻壁顏色，物體顏色。

圖 | Shapes3D數(shù)據(jù)集的獨立真值因子可視化：地板顏色：上左；墻壁顏色：上中；物體顏色：上右；物體尺寸：下左；物體形狀：下中；相機角度：下右。

解耦表征希望捕捉到這些獨立因子，下圖中每個3D圖像數(shù)據(jù)是10維的數(shù)據(jù)，用FactorVAE解耦模型（一種變分自編碼器variational autoencoders，即VAE的變種）對3D圖像進行解耦，企圖找出十維數(shù)據(jù)的每一維度信息，也即獨立控制因子，結(jié)果有些因子被成功分離，而有些因子仍然未被捕捉。上右和上中表明，模型成功分解了地板顏色，然而，下左一和下左二兩圖表明物體顏色和尺寸仍未被分解開來，物體的顏色和大小都在變化，說明控制的兩個因子并未獨立分解。

圖 | 可視化用FactorVAE模型所學(xué)到的隱含維度信息。墻壁顏色、地板顏色、相機角度被成功分解（見上右一、上中、和下中）；物體的形狀、尺寸、顏色還未被分解出來（見上左一和下左一、下左二）

本大型可復(fù)現(xiàn)研究的關(guān)鍵結(jié)論

為了理解高維數(shù)據(jù)，目前已有大量的非監(jiān)督解耦模型。這些解耦模型一般基于變分自編碼器（variational autoencoders， VAE，一種非監(jiān)督生成模型，通過將數(shù)據(jù)分解出獨立隱含因子來進行數(shù)據(jù)的生成，也即將高維數(shù)據(jù)映射成低維數(shù)據(jù)，并且低維數(shù)據(jù)的每一維度都獨立控制著該數(shù)據(jù)的某一個性質(zhì)）衍變而來，同時研究者們也設(shè)計了一些度量指標(biāo)來衡量解耦水平，但實際上，并沒有一個大規(guī)模的可復(fù)現(xiàn)實驗來對這些模型及指標(biāo)做出統(tǒng)一的衡量。

為解決這一問題，F(xiàn)rancesco Locatello等人對六個現(xiàn)有最佳模型（BetaVAE，AnnealedVAE，F(xiàn)actorVAE，DIP-VAE I / II和Beta-TCVAE， 以上皆為變分自編碼器的變種）和六個解耦指標(biāo)（BetaVAE評分，F(xiàn)actorVAE評分，MIG，SAP，Modularity和DCI Disentanglement）的實際解耦的程度做了統(tǒng)一的可復(fù)現(xiàn)衡量實驗，通過7個數(shù)據(jù)集上12800個模型的訓(xùn)練，衡量模型和參數(shù)的實際效果，他們有了這樣的發(fā)現(xiàn)：

1、無法證實解耦模型的確可以進行可靠的解耦。

解耦模型的結(jié)果，即所分析出的獨立因子并不是每次都確定，會隨著模型的改變而變化，也就是說，分析出的獨立因子并不是真正的唯一控制因子。解耦表征是非監(jiān)督的，如果沒有一些真值標(biāo)簽，其實無法衡量是否成功解耦。如想對解耦進行衡量，必須提前規(guī)定好數(shù)據(jù)集和模型的歸納偏好（Inductive Bias）。即，必須有假設(shè)才能知曉結(jié)果是否吻合假設(shè)，如果什么假設(shè)都沒有，那就無法衡量結(jié)論好壞。

將不同解耦模型在同一個數(shù)據(jù)集上多次訓(xùn)練，只是每次隨機數(shù)不同，解耦指標(biāo)FactorsVAE分?jǐn)?shù)的分布跨度很大，即使同一個模型，僅僅隨機數(shù)不同，F(xiàn)actorsVAE分?jǐn)?shù)就會變化，并且該影響超過了正則化強度所能施加的影響。因此這種解耦表征的結(jié)果不固定，所解出的因子便難以稱之為獨立因子，畢竟我們設(shè)想現(xiàn)實世界中的對象是由確定因素以某種組合造成的。

圖 | 不同模型在Cars3D數(shù)據(jù)集上FactorsVAE分?jǐn)?shù)的分布：左圖是不同分解模型的FactorsVAE分布；右圖是FactorVAE模型不同正則化強度的FactorsVAE分布。

2、解耦表征有益于下游任務(wù)（如分類任務(wù)）也是無法證實的。

FactorVAE分?jǐn)?shù)和分類表現(xiàn)（基于Gradient Boosted Trees，GBT）并沒有什么相關(guān)性，也就是FactorVAE分?jǐn)?shù)高的解耦模型，利用模型解出的因子實現(xiàn)的分類任務(wù)表現(xiàn)也不一定就很好。

圖 | 利用相應(yīng)解耦模型的下游分類任務(wù)在dSprites數(shù)據(jù)集上的表現(xiàn)

由此，他們得出了這樣一些見解：

1． 進行非監(jiān)督的解耦表征需設(shè)置歸納偏好。未來工作需要明確描述強加的歸納偏好并明確是否利用了顯性和隱性監(jiān)督。

2． 找到好的能適用多個數(shù)據(jù)集的非監(jiān)督模型歸納偏好非常關(guān)鍵。

3． 應(yīng)證明引入解耦表征舉措的具體實際益處。

4． 解耦模型效果應(yīng)該在多種數(shù)據(jù)集上具有可重復(fù)性。

開源解耦表征庫

該研究所用評估流程及方法、所用解耦模型（10800個，有一些模型關(guān)于Shapes3D不可用）、所采用的解耦衡量指標(biāo)，以及一些幫助理解模型的可視化工具都開源在disentanglement_lib（https://github.com/google-research/disentanglement_lib）此庫優(yōu)點有三：

易復(fù)現(xiàn)。少于4個shell命令，disentanglement_lib即可重現(xiàn)評估所用的任何模型。另，雖所用參考模型所需算力非常之巨，但別怕，10800個預(yù)訓(xùn)練好的模型已奉上。

能修改?？蓪嶒灧桨缚梢赃M行一些修改，驗證你自己的想法。

易擴展。該庫可實現(xiàn)公正統(tǒng)一的、可復(fù)現(xiàn)的，標(biāo)準(zhǔn)化的評估，可以輕松地將自己的新模型與參考模型對比。