Spatiotemporal Multiplier Networks for Video Action Recognition

Abstract

加入恒等映射核來捕捉長期依賴。

Intro

ST-ResNet：沒有提供它的設(shè)計選擇有系統(tǒng)的理由
重新考慮雙流的結(jié)合，ResNet較為深入的增加了解這些技術(shù)是如何相互作用的
引入這些新的結(jié)構(gòu)，產(chǎn)生了一個新的動作識別方法。

3 main contributions

展示了一種可乘的運動外觀流，表現(xiàn)非常好

討論在長期輸入的情況下，生成ST-ResNet的幾種方法（提出了加入時間核），這種方法允許新的時間聚合核注入，甚至進入了網(wǎng)絡(luò)的skip path。

基于如何在residual connections之間融合雙流，并且擴展到時間維度，提出了通用的卷積結(jié)構(gòu)，用于動作識別。

Related work

Historically：HOF,MBH,trajectories,HOG3D,Cubiods,SOEs
More recently:

unsupervised learning,

makes use of a combination of hand-crafted and learned features

C3D

aggregation of temporal information over extended time periods.(dynamic-image/LSTM/RNN/Siamese architecture/)

2-stream

Two-stream multiplier networks 3.1. Baseline architecture

雙流，卷積網(wǎng)絡(luò)在appearance上容易過擬合。
在每個流上都用ResNet作為base network architecture。

3.2. Connecting the two streams

加入cross-stream殘差連接。提出了幾種連接方式：
但是簡單的cross-residual連接這兩種流的層次導(dǎo)致了較低的分類與(非連接)兩流的性能相比基線。我們推測，性能下降是由于這些層的輸入分布的巨大變化在注入融合后的一個網(wǎng)絡(luò)流中來自另一個流的信號。

3.2.1 Additive interaction 相加

X^al+1=f(Xal)+F(Xal+f(Xml),Wal)

XalandXml是appearance stream 和motion stream的第l層的輸入，對應(yīng)的，根據(jù)鏈?zhǔn)椒▌t，在反向傳播中l(wèi)oss function的梯度L：

3.2.2 Multiplicative interaction 相乘

將motion信號作為appearance feature的調(diào)整，公式為：

X^al+1=f(Xal)+F(Xal?f(Xml),Wal)

?表示element-wise相乘。反向傳播梯度為：

連接方式如圖：

motion信號f(Xml)傳入到appearance流的殘差單元，殘差單元的梯度：

?

3.2.3 Discussion