行為關(guān)聯(lián)網(wǎng)絡(luò)：針對(duì)視頻中的完整行為建模

　　針對(duì)視頻中的完整行為建模，目前常用的方法為時(shí)間分段網(wǎng)絡(luò)（ Temporal Segment Network，TSN），但TSN不能充分獲取行為的變化信息。為了在時(shí)間維度上充分發(fā)掘行為的變化信息，文中提出了行為關(guān)聯(lián)網(wǎng)絡(luò) Action-related Network（ARN），首先使用 Bn-inception網(wǎng)絡(luò)提取視頻中行為的特征，然后將提取到的視頻分段特征與 Long short- Term Memory（LSTM）模塊輸出的特征拼接，最后進(jìn)行分類。通過(guò)以上方法，ARN可以兼顧行為的靜態(tài)信息和動(dòng)態(tài)信息。實(shí)驗(yàn)結(jié)果表明，在通用數(shù)據(jù)集HMDB-51上，ARN的識(shí)別準(zhǔn)確率為73.33%，比TSN提高了7%;當(dāng)增加行為信息時(shí)，ARN的識(shí)別準(zhǔn)確率將比SN提高10%以上。而在行為變化較多的數(shù)據(jù)集 Something-somethingⅥ1上，ARN的識(shí)別準(zhǔn)確率為28.12%，比TSN提高了51%。最后在HMDB51數(shù)據(jù)集的一些行為類別上，文中進(jìn)一步分析了ARN和TSN分別利用更完整的行為信息時(shí)識(shí)別準(zhǔn)確率的變化情況，結(jié)果表明ARN的單個(gè)類別識(shí)別準(zhǔn)確率高于TSN10個(gè)百分點(diǎn)以上。由此可見(jiàn)，ARN通過(guò)關(guān)聯(lián)行為變化，對(duì)完整行為信息進(jìn)行了更充分的利用，從而有效地提高了變化行為的識(shí)別準(zhǔn)確率。