- Attention的具體原理詳解

最新一篇CVPR2017年accepted paper關(guān)于VQA問題的文章中，作者使用到了基于Spatial和基于Temporal兩個層面的Attetion模型，效果肯定提升了不用說，該問題更是極好的利用了這兩點(diǎn)，其實(shí)這兩種應(yīng)用方式早在MT中得到了利用。

**今天實(shí)在太晚了，我要回家睡覺，先寫到這，不然又不知道幾點(diǎn)睡，不能總熬夜，周五前更新完

**上次說周五前更新完，結(jié)果拖了一周了，不過想想也沒說哪個周五，啊哈哈哈。這里趕緊補(bǔ)上

上圖的兩種attention用法都屬于soft attention，即通過確定性的得分計算來得到attended之后的編碼隱狀態(tài)，圖示來自論文

Jang Y, Song Y, Yu Y, et al. TGIF-QA: Toward Spatio-Temporal Reasoning in Visual Question Answering[J]. arXiv preprint arXiv:1704.04497, 2017.

我們來討論一下圖示中的左邊和右邊兩種attention是如何實(shí)現(xiàn)的。

（a）空間注意力 Spatial Attention

對與視頻轉(zhuǎn)文字，圖像轉(zhuǎn)文字，VQA問題啊，這種task都需要視覺信息，那么和text信息一樣，對visual content進(jìn)行編碼了以后，將編碼后的特征表示直接接入解碼器，可以得到我們想要的輸出，例如text sentences。這就是基礎(chǔ)的結(jié)構(gòu)，但是現(xiàn)在加入空間Attention之后，如何改變結(jié)構(gòu)呢。

假設(shè)前面視覺編碼后的特征表示為7x7x3072維featuremaps（論文里的參數(shù)）mt，然后來自text encoder的隱狀態(tài)為hq1x1024，生成一個7x7的attend mask，at=f（hq，mt），attended featuremaps 為atmt，所以現(xiàn)在的維度不就變成了1x3072了嗎？