融合強(qiáng)化注意力機(jī)制和序列優(yōu)化的圖像題注方法

圖像題注旨在為輸入圖像自動生成自然語言的描述語句，可用于輔助視覺障礙者感知周圍環(huán)境和幫助人們更便捷地處理大量非結(jié)構(gòu)化視覺信息等場景。當(dāng)前的主流方法主要是基于深度編碼器-解碼器框架作端到端的訓(xùn)練優(yōu)化，但由于視覺概念和語義實體之間對應(yīng)的偏差，導(dǎo)致在題注中對于圖像細(xì)粒度語義的識別和理解不足。本文針對此問題，提出了基于檢測特征和蒙特卡羅采樣的注意力機(jī)制和基于改進(jìn)策略梯度的序列優(yōu)化（Sequence Optimization）方法，并將二者融合成一個用于圖像題注的整體框架。

在我們的方法中，為了更好地提取圖像的強(qiáng)語義特征，首先用Faster R-CNN取代一般的卷積網(wǎng)絡(luò)作為編碼器；在此基礎(chǔ)上，基于蒙特卡羅采樣設(shè)計一個強(qiáng)化注意力機(jī)制（Reinforce Attention），以篩選出當(dāng)前時刻值得關(guān)注的視覺概念，實現(xiàn)更精準(zhǔn)的語義引導(dǎo)。在序列優(yōu)化階段，我們利用折扣因子和詞頻-逆文檔頻率（TF-IDF）因子改進(jìn)了策略梯度的評估函數(shù)，使得生成題注時具有更強(qiáng)語義性的單詞有更大的獎賞值，從而貢獻(xiàn)更多的梯度信息，更好地引導(dǎo)序列優(yōu)化。我們主要在MS COCO數(shù)據(jù)集上進(jìn)行訓(xùn)練和評測，模型在當(dāng)前所有權(quán)威的度量指標(biāo)得分上都取得了顯著的提升。以CIDEr指標(biāo)為例，和當(dāng)前比較代表性的方法[5]和[7]相比，我們的模型在最終得分上分別提升了8.0%和4.1%。

圖像題注旨在為一幅輸入圖像生成相匹配的自然語言描述，其工作流程如下圖1（a）所示。

圖1（a） 模型前向計算流程

開放域的圖像題注是一項頗具挑戰(zhàn)的任務(wù)，因為它不但需要對圖像中的所有局部和全局實體作實現(xiàn)細(xì)粒度語義理解，而且還需要生成這些實體間的屬性和聯(lián)系。從學(xué)術(shù)價值上來看，圖像題注領(lǐng)域的研究極大地激發(fā)著關(guān)于計算機(jī)視覺（CV）和自然語言處理（NLP）兩大領(lǐng)域如何更好地交叉融合；而在現(xiàn)實應(yīng)用的維度上，圖像題注的進(jìn)展對于構(gòu)建一個更好的AI交互系統(tǒng)來說至關(guān)重要，尤其是在輔助視覺障礙者更好地感知世界，以及更全面地協(xié)助人們更加便捷地組織和理解海量的非結(jié)構(gòu)化視覺信息等方面，有很大的價值。

圖像題注領(lǐng)域的研究進(jìn)展非?？?，近期產(chǎn)生了很多標(biāo)志性的工作。目前基于深度編碼器-解碼器框架（Encoder-Decoder）的視覺注意力模型（Attention Models），在圖像題注的各個標(biāo)準(zhǔn)數(shù)據(jù)集上都取得了較好的成績。視覺注意力模型主要用于提取空間顯著區(qū)域，以更好地映射到待生成詞匯。基于此衍生了大量的改進(jìn)工作，最近有部分研究工作致力于將自底向上（Bottom-up）的物體檢測和屬性預(yù)測方法（Object Detection&Attribute Prediction）和注意力機(jī)制融合到一起，在評價指標(biāo)得分上取得了不錯的提升。但所有的這些工作，都采用的是Word-Level的訓(xùn)練和優(yōu)化方法，這導(dǎo)致了如下兩個問題：第一個是“Exposure Bias”，是指模型在訓(xùn)練中根據(jù)給定的真實（Ground-Truth）單詞去計算下一個單詞的最大似然，而在測試中卻需要根據(jù)實際的生成（Generation）來預(yù)測下一個單詞；第二個問題是模型在訓(xùn)練和評估中目標(biāo)的不一致（Inconsistency），因為在訓(xùn)練時采用交叉熵?fù)p失函數(shù)，而在評估模型生成的題注（Generated Captions）時，卻采用的是針對NLP領(lǐng)域?qū)Ｓ玫囊恍┎豢晌⒌亩攘糠椒?，比如BLEU[11]，ROUGE，METEOR和CIDEr等。

為了解決上述問題，最近的一些工作創(chuàng)新性地引入了基于強(qiáng)化學(xué)習(xí)的優(yōu)化方法。借助策略梯度和基準(zhǔn)函數(shù)（Baseline Function）將原先的單詞級別（Word-Level）的訓(xùn)練改進(jìn)成序列化（Sequence-Level）的模式，極大地彌補(bǔ)了原先方案的不足，提升了圖像題注的性能。然而，這些方法也存在一些局限，比如在[5]和[10]中，通過一次序列采樣生成一句完整題注，得到一個獎賞值（Reward），而后默認(rèn)所有的單詞在梯度優(yōu)化時共享這一個值。顯然，在多數(shù)情況下這樣是不合理的，因為不同的單詞詞性不同、語義有側(cè)重、隱含的信息量顯著差異，應(yīng)該被區(qū)分為不同的語言實體（Linguistic Entity），在訓(xùn)練中對應(yīng)不同的視覺概念（Visual Concepts）。為了解決這些問題，我們提出了如下的融合強(qiáng)化注意力機(jī)制和序列優(yōu)化的圖像題注方法。

在我們的方法中，首先用Faster R-CNN取代一般的卷積網(wǎng)絡(luò)作為編碼器，對輸入圖像抽取基于物體檢測和屬性預(yù)測的強(qiáng)語義特征向量（Semantic Features）。之后，我們基于蒙特卡羅采樣設(shè)計一個強(qiáng)化注意力機(jī)制（Reinforce Attention），以篩選出當(dāng)前時刻值得關(guān)注的視覺概念，實現(xiàn)更精準(zhǔn)的語義實體引導(dǎo)。在序列優(yōu)化（Sequence Optimization）階段，我們采用策略梯度方法計算序列的近似梯度。而在計算每個采樣單詞的獎賞值時，我們利用折扣因子和詞頻-逆文檔頻率（TF-IDF）因子改進(jìn)了原始的策略梯度函數(shù)，使得生成題注時具有更強(qiáng)語義性的單詞有更大的獎賞值，從而為訓(xùn)練貢獻(xiàn)更多的梯度信息，以更好地引導(dǎo)序列優(yōu)化。在實驗中，我們在MS COCO數(shù)據(jù)集上的各項性能指標(biāo)得分均超過了當(dāng)前的基線方法，證明了方法設(shè)計的有效性。

圖像題注方法

總體上，圖像題注的方法可以被分為兩大類：一類是基于模板的（template-based），另一類是基于神經(jīng)網(wǎng)絡(luò)的（neural network-based）。前者主要通過一個模板來完成題注生成，而這個模板的填充需要基于對象檢測、屬性預(yù)測和場景理解的輸出。而本文中提出的方法采用的是跟后者一致的框架，所以下面我們主要介紹基于神經(jīng)網(wǎng)絡(luò)做圖像題注的相關(guān)工作。

近些年，加載了視覺注意力機(jī)制的深度編碼器-解碼器的一系列工作，在圖像題注任務(wù)的各個標(biāo)準(zhǔn)數(shù)據(jù)集上都取得了非常不錯的結(jié)果。此類方法的核心機(jī)制在于：融合了視覺注意力機(jī)制的卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)，能夠更好地挖掘隱含的上下文視覺信息，并在端到端地訓(xùn)練充分融合局部和全局的實體信息，從而為題注生成提供更強(qiáng)的泛化能力。之后的很多工作從此出發(fā)：一方面是繼續(xù)強(qiáng)化和改善注意力機(jī)制的功效，提出了一些新的計算模塊或網(wǎng)絡(luò)架構(gòu)；另一方面，部分工作致力于將基于檢測框架的特征提取和表征方法與注意力機(jī)制融合到一起，以獲得更好地實體捕捉能力。

但是目前基于視覺注意力的方法使用交叉熵的純單詞級別（Word-Level）訓(xùn)練模式存在兩個顯著的缺陷：Exposure Bias和Inconsistency。為了更好地解決這兩個問題，基于強(qiáng)化學(xué)習(xí)的優(yōu)化方法被引入圖像題注任務(wù)中。其中尤為代表性的工作是[10]，他們將問題重新建模為一個策略梯度優(yōu)化問題，并采用REINFORCE算法進(jìn)行優(yōu)化；為了減小方差、提升訓(xùn)練穩(wěn)定性，[10]提出了一個混合增量式的訓(xùn)練方法。隨后[5][15]等工作基于此做了不同的改進(jìn)，他們主要是提出了更好的基準(zhǔn)函數(shù)（Baseline Function），以更大限度地、更高效地提升序列優(yōu)化的效果。但是當(dāng)前的這些方法存在的一個顯著的局限性是：在對序列梯度進(jìn)行采樣逼近時，默認(rèn)一句話中的所有單詞享有共同的獎賞值。而這顯然是不合理的。為了彌補(bǔ)這個缺陷，我們引入了兩種優(yōu)化策略：第一，從強(qiáng)化學(xué)習(xí)中評估函數(shù)的計算出發(fā)，引入折扣因子，更精準(zhǔn)地計算每一個單詞采樣回傳的梯度值；第二，是從直接度量驅(qū)動（Metric-Driven）的初衷出發(fā)，將TF-IDF因子引入了獎賞計算中，以更好地發(fā)揮強(qiáng)語言實體對于序列整體優(yōu)化的驅(qū)動作用。

方法

我們的模型整體工作框架如圖1所示，其中（a）是一個從輸入到輸出的前向計算流程，（b）為基于強(qiáng)化學(xué)習(xí)的序列優(yōu)化過程。下面我們將從語義特征提取，題注生成器和序列優(yōu)化三個方面，依次遞進(jìn)地介紹我們的方法細(xì)節(jié)。

圖1（a） 模型前向計算流程

圖1（b） 基于強(qiáng)化學(xué)習(xí)的序列優(yōu)化過程

1、語義特征（Semantic Features）

對于輸入圖像，與常用做法不同的是，我們并非提取卷積特征向量，而是基于物體檢測和屬性預(yù)測提取圖像的語義特征向量，使得在訓(xùn)練過程中可以更好地與真實題注語句中的語言實體相匹配。在本文中，我們用Faster R-CNN[33]作為圖像題注模型中的視覺編碼器。給定輸入圖片Ⅰ，需要輸出的語義特征記為：

我們對Faster R-CNN最后的輸出做一個非極大值抑制（Non-maximum Suppression），對于每一個選中的候選區(qū)域

2、題注生成器（Caption Generator）

（1）模型結(jié)構(gòu)和目標(biāo)函數(shù)

給定一幅圖像Ⅰ以及相應(yīng)的語義特征向量

其中

其中，

和之前所有Encoder-Decoder框架一樣，這里采用交叉熵（XENT）損失函數(shù)來訓(xùn)練和優(yōu)化整個網(wǎng)絡(luò)，也就是求如下目標(biāo)函數(shù)的極小值：

（2）強(qiáng)化注意力機(jī)制（Reinforce Attention）

下面我們介紹兩層LSTM輸入向量

在每一步計算中，第一層的輸入

其中

得到第一層的輸出

在實際計算中，我們對該分布進(jìn)行蒙特卡羅采樣（MC Sampling）以得到

最后我們再次采用串聯(lián)運(yùn)算

由于上述公式（6）中我們運(yùn)用了不可微的蒙特卡羅采樣，因此我們需要重新定義一個和公式（4）稍有區(qū)別的新目標(biāo)函數(shù)。借鑒[19][29]中的工作，我們引入原目標(biāo)函數(shù)

這里我們采用REINFORCE算法[30]來近似計算的

其中

3、序列優(yōu)化（Sequence-Level Optimization）

為了更直接地優(yōu)化NLP度量指標(biāo)，并很好地解決Exposure Bias的問題，我們將圖像題注重新建模成一個基于強(qiáng)化學(xué)習(xí)的序列決策問題。我們可以將上文所述的生成模型視為一個智能體（Agent），與由圖像和詞匯構(gòu)成的外部環(huán)境（Environment）實時交互。我們定義狀態(tài)（state）為：

對于圖像題注任務(wù)，該目標(biāo)可以公式化為求負(fù)的期望累積獎賞的最小值：

這里

其中

但正如我們在導(dǎo)言中提及的那樣，這種計算方式忽視了不同語言實體對于整個序列獎賞值的貢獻(xiàn)差異，因此我們提出如下兩個改進(jìn)：（1）我們引入一個折扣因子

實驗

1、數(shù)據(jù)集（Datasets）

我們在當(dāng)前圖像題注領(lǐng)域最通用的數(shù)據(jù)集MS COCO[31]上來評測我們提出的方法。該數(shù)據(jù)集總計有123287張圖片，每張圖片有5句人工標(biāo)注的題注作為真實值（Ground Truth），其中劃分出訓(xùn)練集82783張和驗證集40504張。而測試集是另外的40775張圖片，專門用作在線系統(tǒng)測評（Online），官方不公開與之對應(yīng)的題注真實值。因此，當(dāng)模型需要在本地（Offline）驗證和調(diào)試時，我們采用另外的數(shù)據(jù)集劃分標(biāo)準(zhǔn)，從123297張圖片集中劃分出分別包含5000張圖片的驗證集和測試集。對于所有題注語句數(shù)據(jù)的預(yù)處理，包括分詞和詞典生成等，我們采用目前公用的開源代碼[https://github.com/karpathy/neuraltalk]，去掉不常用的詞匯，生成一個包含9487個不同單詞的詞典（即

2、實施細(xì)節(jié)（Implementation Details）

特征提取在提取語義特征時，我們采用的是一個基于ResNet-101[32]的Faster R-CNN網(wǎng)絡(luò)。我們設(shè)置IoU閾值為0.7用于區(qū)域候選框抑制（Suppression），0.3用于物體類別抑制。為了選取顯著性圖像區(qū)域，我們設(shè)置了一個0.2檢測的檢測置信度。在實驗中，我們發(fā)現(xiàn)每幅圖片最多選取到36個顯著語義區(qū)域，即

訓(xùn)練部署每一層LSTM隱藏單元

3、結(jié)果分析

在本地評測中，我們主要將模型在MS COCO數(shù)據(jù)集上的結(jié)果，和如下三個比較新的代表性模型進(jìn)行比較：（1）Adaptive Attention[6]，標(biāo)記為AdaAtt；（2）Self-Critical Sequence Training[5]，標(biāo)記為SCST；（3）Bottom up and Top Down Attention[7]，標(biāo)記為BU-Att。比較的結(jié)果如表1所示：

表1和其他代表性方法的性能對比

這里我們主要記錄了5項度量指標(biāo)，包括CIDEr，METEOR（標(biāo)記為MET），ROUGLE（標(biāo)記為ROU），BLEU-4（標(biāo)記為B-4）和BLEU-1（標(biāo)記為B-1）。從中我們可以得到如下的結(jié)論：（1）我們提出的方法，在圖像題注各項評測指標(biāo)上的得分，都顯著性地高于其他三種；（2）四種方法在各項指標(biāo)上的得分增幅，都基本保持一致。以CIDEr得分為例，我們發(fā)現(xiàn)從AdaAtt到BU-Att，再到我們的方法，每一次改進(jìn)都實現(xiàn)了約5個點的提升。這一定程度上可以說明，我們的這種改進(jìn)思路，對于圖像題注任務(wù)更進(jìn)一步的進(jìn)展，是具有借鑒意義的。

除此之外，我們分別分析了所提出方法的不同組件（Components）對圖像題注性能提升的貢獻(xiàn)：（1）首先我們考察只使用Reinforce Attention組件（標(biāo)記為Reinforce）的性能增益；（2）之后單獨(dú)考察我們提出的序列優(yōu)化改進(jìn)因子，即

表2針對模型不同組件的性能分析表

從中我們可以看出：我們改進(jìn)的兩個組件，都分別在BU-Att的基礎(chǔ)上實現(xiàn)了各項評測指標(biāo)得分的顯著提升，其中

圖2圖像題注結(jié)果可視化

（其中，圖片中的綠框表示Reinforce Attention的結(jié)果，語句中的綠框是生成的對應(yīng)的單詞）

結(jié)論

本文中，我們提出了一個融合強(qiáng)化注意力機(jī)制和序列優(yōu)化的圖像題注方法。首先，我們基于Faster R-CNN檢測特征和蒙特卡羅采樣設(shè)計出強(qiáng)化注意力機(jī)制；之后在序列優(yōu)化階段，引入折扣因子和TF-IDF因子改進(jìn)策略梯度的評估函數(shù)，使得生成題注時具有更強(qiáng)語義性的單詞有更大的獎賞值，從而貢獻(xiàn)出更多的梯度信息，更好地引導(dǎo)序列優(yōu)化。總體上，我們的方法實現(xiàn)了圖像和語句之間更好的細(xì)粒度語義匹配。通過在MS COCO上的實驗，我們驗證了方法設(shè)計的有效性。