深度學習怎么實現(xiàn)圖像到圖像的翻譯

圖像到圖像的翻譯是一類視覺和圖形問題，其目標是學習輸入圖像和輸出圖像之間的映射。 它可以應用到廣泛的應用程序中，例如收集樣式轉(zhuǎn)移，對象變形，季節(jié)轉(zhuǎn)移和照片增強。

CycleGAN

使用周期一致的對抗網(wǎng)絡進行不成對的圖像到圖像翻譯（ICCV 2017）

論文/項目/語義學者

作者提出了一種在沒有配對示例的情況下學習將圖像從源域X轉(zhuǎn)換為目標域Y的方法。 目的是學習映射G：X→Y，從而利用對抗損失將來自G（X）的圖像分布與分布Y區(qū)分開。 由于此映射的約束嚴重不足，因此我們將其與反映射F：Y→X耦合，并引入循環(huán)一致性損失以強制執(zhí)行F（G（X））≈X（反之亦然）。

成對的訓練數(shù)據(jù)（左）由訓練示例構成，它們具有一對一的對應關系。 未配對的訓練集沒有這種對應關系（摘自本文）

圖取自本文。

該模型包含兩個映射函數(shù)G：X→Y和F：Y→X，以及相關的對抗標識符DY和DX。 DY鼓勵G將X轉(zhuǎn)換為與域Y不可區(qū)分的輸出，反之亦然，對于DX，F(xiàn)和X則相反。 為了進一步規(guī)范化映射，他們引入了兩個"周期一致性損失"，這些損失捕捉了直覺，即如果我們從一個域轉(zhuǎn)換到另一個域然后再次返回，我們應該到達起點。

StarGAN

用于多域圖像到圖像轉(zhuǎn)換的統(tǒng)一生成對抗網(wǎng)絡（CVPR 2018）

論文/代碼/語義學者

現(xiàn)有的圖像到圖像轉(zhuǎn)換方法在處理兩個以上的域時具有有限的可擴展性和魯棒性，因為應該為每對圖像域分別構建不同的模型。 StarGAN是一種新穎且可擴展的方法，可以僅使用一個模型就可以對多個域執(zhí)行圖像到圖像的轉(zhuǎn)換。

跨域模型與我們提出的模型StarGAN之間的比較。 （a）要處理多個域，應為每對圖像域建立跨域模型。 （b）StarGAN能夠使用一個生成器來學習多個域之間的映射。 該圖表示連接多個域的星形拓撲。（摘自本文）

StarGAN概述，由兩個模塊（鑒別器D和生成器G）組成。（a）D學會區(qū)分真實圖像和偽圖像，并將真實圖像分類到其對應的域。 （b）G接受圖像和目標域標簽作為輸入，并生成偽圖像。 目標域標簽在空間上復制并與輸入圖像連接在一起。 給定原始域標簽，?G嘗試從偽造圖像中重建原始圖像。 （d）G試圖生成與真實圖像沒有區(qū)別的圖像，并被D分類為目標域。