DeepMind提出一種全新的“深度壓縮感知”框架

DeepMind提出一種全新的“深度壓縮感知”框架，將壓縮感知與深度學習相結(jié)合，顯著提高了信號恢復的性能和速度，并提出一種改進GAN的新方法。

壓縮感知(CS)是一種優(yōu)雅的框架，用于從壓縮信號中恢復稀疏信號。

例如，CS可以利用自然圖像的結(jié)構(gòu)，僅從少量的隨機測量中恢復圖像。

CS具有靈活性和數(shù)據(jù)效率高的優(yōu)點，但由于其稀疏性和昂貴的重建過程，CS的應用受到限制。

那么，將CS與深度學習的思想相結(jié)合，是否能得到更優(yōu)雅的框架呢？

近日，DeepMind的Yan Wu，Mihaela Rosca，Timothy Lillicrap等研究人員在ICML 2019發(fā)表論文Deep Compressed Sensing，基于前人將CS和神經(jīng)網(wǎng)絡生成器結(jié)合起來的方法，提出一個全新的框架。

深度壓縮感知(DCS)框架通過聯(lián)合訓練生成器和通過元學習優(yōu)化重建過程，顯著提高了信號恢復的性能和速度。作者探索了針對不同目標的測量訓練，并給予最小化測量誤差推導出一系列模型。

作者表示：“我們證明了，生成對抗網(wǎng)絡(GANs)可以被視為這個模型家族中的一個特例。借鑒CS的思想，我們開發(fā)了一種使用來自鑒別器的梯度信息來改進GAN的新方法?！?/p>

壓縮感知，一種優(yōu)雅的框架

壓縮感知是什么呢？

有人這樣評價道：

壓縮感知是信號處理領域進入 21 世紀以來取得的最耀眼的成果之一，并在磁共振成像、圖像處理等領域取得了有效應用。壓縮感知理論在其復雜的數(shù)學表述背后蘊含著非常精妙的思想?；谝粋€有想象力的思路，輔以嚴格的數(shù)學證明，壓縮感知實現(xiàn)了神奇的效果，突破了信號處理領域的金科玉律 —— 奈奎斯特采樣定律。即，在信號采樣的過程中，用很少的采樣點，實現(xiàn)了和全采樣一樣的效果。[1]

編碼和解碼是通信中的核心問題。壓縮感知(CS)提供了將編碼和解碼分離為獨立的測量和重建過程的框架。與常用的自動編碼模型(具有端到端訓練的編碼器和解碼器對)不同，CS通過在線優(yōu)化從低維測量重建信號。

該模型架構(gòu)具有高度的靈活性和采樣效率：高維信號可以從少量隨機測量數(shù)據(jù)中重建，幾乎不需要或根本不需要任何訓練。

CS已經(jīng)成功地應用于測量噪聲大、成本高的場景，如MRI。它的采樣效率使得諸如“單像素相機”的開發(fā)成為可能，可以從單個光傳感器重全分辨率的圖像。

然而，尤其是在現(xiàn)代深度學習方法蓬勃發(fā)展的大規(guī)模數(shù)據(jù)處理中，CS的廣泛應用受到了它的稀疏信號假設和重建優(yōu)化過程緩慢的阻礙。

最近，Bora et al. (2017)將CS與單獨訓練的神經(jīng)網(wǎng)絡生成器相結(jié)合。雖然這些預訓練的神經(jīng)網(wǎng)絡沒有針對CS進行優(yōu)化，但它們表現(xiàn)出的重建性能優(yōu)于現(xiàn)有的方法，如Lasso (Tibshirani, 1996)。

在本文中，我們提出一種深度壓縮感知框架(deep compressed sensing，DCS)，在此框架中，神經(jīng)網(wǎng)絡可以從頭開始訓練，用于測量和在線重建。

我們證明，深度壓縮感知框架可以自然地生成一系列模型，包括GANs，可以通過訓練具有不同目標的測量函數(shù)推導得出。

這項工作的貢獻如下：

我們展示了如何在CS框架下訓練深度神經(jīng)網(wǎng)絡。

結(jié)果表明，與以往的模型相比，元學習重建方法具有更高的精度和快幾個數(shù)量級的速度。

我們開發(fā)了一種新的基于潛在優(yōu)化的GAN訓練算法，提高了GAN的性能。

我們將這個新框架擴展到訓練半監(jiān)督GAN，并表明潛在優(yōu)化會產(chǎn)生具有語義意義的潛在空間。

深度壓縮感知：結(jié)合深度神經(jīng)網(wǎng)絡

我們首先展示了將元學習與Bora et al. (2017)的模型相結(jié)合的好處。然后將測量矩陣推廣到參數(shù)化的測量函數(shù)，包括深度神經(jīng)網(wǎng)絡。

之前的工作依賴于 random projection作為測量函數(shù)，而我們的方法通過將RIP作為訓練目標來學習測量函數(shù)。然后，我們通過在測量上添加RIP之外的其他特性，得到了兩個新的模型，包括一個帶有鑒別器引導的潛在優(yōu)化的GAN模型，這導致了更穩(wěn)定的訓練動態(tài)和更好的結(jié)果。

壓縮感知與元學習

我們假設CSGM(Bora et al. 2017)的運行時效率和性能可以通過使用元學習訓練潛在的優(yōu)化過程、通過梯度下降步驟的反向傳播來提高。

CS模型的潛在優(yōu)化過程可能需要數(shù)百個或數(shù)千個梯度下降步驟。通過使用元學習來優(yōu)化這個優(yōu)化過程，我們的目標是用更少的更新來實現(xiàn)類似的結(jié)果。

為此，我們訓練模型參數(shù)，以及潛在的優(yōu)化程序，以盡量減低預期的測量誤差:

我們的算法如下：

算法1：元學習壓縮感知

具有學習測量函數(shù)的深度壓縮感知

在算法1中，我們使用RIP屬性來訓練生成器。我們可以使用相同的方法，并加強RIP屬性來學習測量函數(shù)F本身，而不是使用random projection。

下面的算法2總結(jié)了這個擴展算法。我們稱之為深度壓縮感知(DCS) ，以強調(diào)測量和重建可以是深度神經(jīng)網(wǎng)絡。

算法2：深度壓縮感知

實驗和結(jié)果

表2和表3總結(jié)了我們的模型以及Bora等人的基準模型的結(jié)果。

表2：使用不同測量函數(shù)的MNIST測試數(shù)據(jù)的重建損失。除了第一行之外，所有行都來自我們的模型。“±”表示測試樣本間的標準差。(L)表示習得的測量函數(shù)，越低越好。

表3：使用不同測量函數(shù)的CelebA測試數(shù)據(jù)的重建損失。除了第一行之外，所有行都來自我們的模型。“±”表示測試樣本間的標準差。(L)表示習得的測量函數(shù)，越低越好。

可以看到，DCS的性能明顯優(yōu)于基準。此外，雖然基線模型使用了數(shù)千個梯度下降步驟，并且多次重啟，但是我們只使用了3個步驟，沒有重啟，大幅提高了效率。

有趣的是，對于固定的函數(shù)F，隨機線性投影的表現(xiàn)優(yōu)于神經(jīng)網(wǎng)絡。這個實證結(jié)果符合壓縮感知文獻中描述的隨機投影的最優(yōu)性，以及更通用的Johnson-Lindenstrauss定理。

更多結(jié)果如下：

表4：與 Spectral Normalised GANs的比較。

圖2：利用隨機線性投影(上)、訓練線性投影(中)和訓練神經(jīng)網(wǎng)絡(下)的10個測量的重建。

圖3：使用0(左)、3(中)和5(右)個梯度下降步驟進行潛在優(yōu)化的CS-GAN樣本。采用0步驟的CS-GAN相當于原始GAN。

圖4：在CIFAR訓練期間的Inception Score(越高越好)和FID分數(shù)(越低越好)。