借助機器翻譯來生成偽視覺-目標語言對進行跨語言遷移

雖然目前傳統(tǒng)的跨模態(tài)檢索工作已取得了巨大的進展，但由于缺少低資源語言的標注數(shù)據(jù)，這些工作通常關(guān)注于高資源語言（比如英語），因此極大地限制了低資源語言在該領(lǐng)域的發(fā)展。

為了解決這一問題，作者針對跨語言跨模態(tài)檢索任務(wù)（CCR）展開了研究，該任務(wù)旨在僅使用人工標注的視覺-源語言（如英語）語料庫對模型進行訓(xùn)練，使其可以適用于其他目標語言（非英語）進行評估【如下圖所示】。

傳統(tǒng)跨模態(tài)檢索&跨語言跨模態(tài)檢索（CCR）

在這篇論文中，作者旨在借助機器翻譯來生成偽視覺-目標語言對進行跨語言遷移，來緩解人工標注多語言視覺-語言語料庫困難的問題。雖然機器翻譯可以快速的處理大量的文本語言轉(zhuǎn)換，但是其準確性并不能得到保證，因此在翻譯過程中將會引入大量的噪聲，導(dǎo)致翻譯的目標語言句子并不能準確的描述其對應(yīng)的視覺內(nèi)容【如下圖所示】。

然而之前的基于機器翻譯的CCR工作大多忽略了這個問題，它們通常使用大規(guī)模的預(yù)訓(xùn)練模型在通過機器翻譯得到的大規(guī)模多語言視覺-語言語料庫上進行大規(guī)模預(yù)訓(xùn)練，并且只關(guān)注于視覺-目標語言數(shù)據(jù)對之間的對齊。然而直接在這種噪聲數(shù)據(jù)對上應(yīng)用跨模態(tài)匹配將會嚴重影響檢索性能，神經(jīng)網(wǎng)絡(luò)模型有很強的能力來擬合這種給定的(噪聲)數(shù)據(jù)。

為了解決這個問題，作者提出了一個噪聲魯棒學(xué)習(xí)方法來緩解機器翻譯中所引入的噪聲問題，該論文是首個關(guān)注于CCR任務(wù)中由機器翻譯所引入噪聲問題的工作。

方法

模型框架圖

作者首先先引入了其「基線模型」

基線模型

視覺編碼器：給定一個視頻，使用預(yù)訓(xùn)練的2D CNN來提取視頻特征序列，然后輸入到Transformer塊中，來增強幀間交互，最終得到一個視頻特征向量

文本編碼器：作者設(shè)計了一個雙分支編碼器，分別又一個源語言分支和一個目標語言分支組成。每個語言分支都包含一個Transformer block 和一個預(yù)訓(xùn)練的mBERT backbone，將源語言和目標語言分別輸入到對應(yīng)的分支中，得到對應(yīng)的源語言句子特征和目標語言句子特征

將以上三個特征分別映射到多語言多模態(tài)空間中

作者使用了傳統(tǒng)的跨模態(tài)檢索任務(wù)中常用的triplet ranking loss進行約束：

噪聲魯棒的特征學(xué)習(xí)

基線模型只是簡單的進行了跨語言跨模態(tài)對齊，并沒有對噪聲進行處理，接下來作者提出了多視圖自蒸餾來生成pseudo-tagets以監(jiān)督目標語言分支的學(xué)習(xí)

作者首先借助于cross-attention來生成一個相對干凈的中間目標語言句子特征，通過將源語言token序列作為query，利用cross-attenion固有的性質(zhì)，對目標語言token序列進行過濾。

cross-attention權(quán)重示例圖

如圖3所示，錯誤的單詞(用紅色標記)和源語言單詞之間的注意權(quán)重被分配了低值。其過程表示如下：

多視角自蒸餾

作者引入了基于相似度視角和基于特征視角的自蒸餾損失

基于相似度視角的自蒸餾（Similarity-based view）：

給定（V, S, T），默認其兩兩之間互為匹配對，忽視翻譯得到的目標語言句子T中所包含噪聲的事實。對此，作者將cross-attention所生成的特征作為teacher，使用特征和視覺特征計算計算得到一個soft pseudo-targets作為目標語言分支的監(jiān)督

soft pseudo-targets示例圖

基于特征視角的自蒸餾（Feature-based view）：

通過l1范式實現(xiàn)特征蒸餾

循環(huán)語義一致性

受無監(jiān)督機器翻譯的啟發(fā)，作者引入了循環(huán)語義一致性模塊，提高源語言分支從噪聲中提高原始語義信息的能力。增加源語言分支的魯棒性。

語言無關(guān)特征學(xué)習(xí)

考慮到特定語言特征缺少跨語言遷移能力，作者通過對抗學(xué)習(xí)的方式來訓(xùn)練模型學(xué)習(xí)語言無關(guān)特征。構(gòu)建一個分類器F作為判別器來分辨輸入特征是源語言還是目標語言，判別器和特征編碼器相互博弈：

訓(xùn)練和測試

最終的目標函數(shù)為：

測試時作者采用了目標語言和翻譯的源語言（由于測試時只使用目標語言）加權(quán)和的方式：

實驗

作者在三個跨語言跨模態(tài)數(shù)據(jù)集上進行了實驗對比，其中為兩個多語言視頻文本檢索數(shù)據(jù)集（VATEX和MSRVTT-CN），一個多語言圖像文本檢索（Multi30K）；其中MSRVTT-CN是作者對MSRVTT進行中文擴展得到的多語言數(shù)據(jù)集

在VATEX數(shù)據(jù)集上進行SOTA對比實驗



MSRVTT-CN上性能對比




Multi30K上進行性能對比實驗

魯棒分析實驗

為了進一步證明模型對抗翻譯噪聲的魯棒能力，作者通過增加翻譯次數(shù)以進一步增加訓(xùn)練數(shù)據(jù)的噪聲程度，如圖所示，在經(jīng)過多次翻譯后，基線模型的性能明顯下降，而本文所提出的模型性能更加的穩(wěn)定，驗證了噪聲魯棒特征學(xué)習(xí)的有效性

將目標語言句子根據(jù)句子長度進行分組，作者假設(shè)越長的句子，翻譯越困難，因此包含的噪聲可能更多。結(jié)果表明，本文所提出的模型和基線模型的性能差距隨著句子長度的增加而增加。

t-SNE可視化實驗

作者隨機從VATEX的中文測試集中隨機選擇20個樣本，其中每個樣本包含10個對應(yīng)的英語翻譯句子和一個對應(yīng)的視頻。如圖所示，NRCCR的類內(nèi)特征更加的緊湊，表明了模型更好的學(xué)習(xí)到了跨語言跨模態(tài)對齊。

消融實驗

結(jié)果表明，使用兩個視角，性能得到了提升，表明基于相似度視角和基于特征視角彼此互補。引入循環(huán)語義一致性后，實現(xiàn)了額外的性能收益。此外，還表明了語言無關(guān)特征學(xué)習(xí)的重要性

審核編輯：劉清