如何去解決文本到圖像生成的跨模態(tài)對比損失問題？

Google提出了一個跨模態(tài)對比學(xué)習(xí)框架來訓(xùn)練用于文本到圖像合成的 GAN 模型，用于研究解決生成的跨模態(tài)對比損失問題。

從文本到圖像的自動生成，如何訓(xùn)練模型僅通過一段文本描述輸入就能生成具體的圖像，是一項非常具有挑戰(zhàn)性的任務(wù)。

與其它指導(dǎo)圖像創(chuàng)建的輸入類型相比，描述性句子是一種更直觀、更靈活的視覺概念表達(dá)方式。強(qiáng)大的自動文本到圖像的生成系統(tǒng)可以成為快速、有效的內(nèi)容生產(chǎn)、制作工具，用于更多具有創(chuàng)造性的應(yīng)用當(dāng)中。

在CVPR 2021中，Google提出了一個跨模態(tài)對比生成對抗網(wǎng)絡(luò)（XMC-GAN），訓(xùn)練用于文本到圖像合成的 GAN 模型，通過模態(tài)間與模態(tài)內(nèi)的對比學(xué)習(xí)使圖像和文本之間的互信息最大化，解決文本到圖像生成的跨模態(tài)對比損失問題。

XMC-GAN 文本到圖像合成模型中的模態(tài)間和模態(tài)內(nèi)對比學(xué)習(xí)

XMC-GAN 被成功應(yīng)用于三個具有挑戰(zhàn)性的數(shù)據(jù)集：一個是MS-COCO 圖像描述集合，另外兩個是用Localized Narratives注釋的數(shù)據(jù)集，一個是包括MS-COCO 圖像（稱為LN-COCO） ，另一個描述開放圖像數(shù)據(jù) （LN-OpenImages）。結(jié)果顯示 XMC-GAN生成圖像所描繪的場景相比于使用其它技術(shù)生成的圖像質(zhì)量更高，在每個方面都達(dá)到了最先進(jìn)的水平。

MS-COCO對圖像質(zhì)量和文本對齊的人工評估

此外，XMC-GAN還在 LN-OpenImages 上進(jìn)行了一系列訓(xùn)練和評估，這相比于 MS-COCO 更具有挑戰(zhàn)性，由于數(shù)據(jù)集更大，圖像涵蓋主題范圍更加廣泛且復(fù)雜。

對于人類評估和定量指標(biāo)，XMC-GAN 在多個數(shù)據(jù)集模型中相較之前有顯著的改進(jìn)。可以生成與輸入描述非常匹配的高質(zhì)量圖像，包括更長，更詳細(xì)的敘述，同時端到端模型的復(fù)雜度也相對較為簡單，這代表了從自然語言描述生成圖像的創(chuàng)造性應(yīng)用的重大進(jìn)步。

責(zé)任編輯：lq6