一種從視頻中學(xué)習(xí)技能的框架（skills from videos，SFV）

無論是日常簡單的動作還是令人驚嘆的雜技，人類可以通過觀察別人的動作學(xué)會一系列驚人的技能。今天如果你想要學(xué)習(xí)新的技能，像YouTube一樣的視頻網(wǎng)站上擁有豐富的資源供你學(xué)習(xí)。

但遺憾的是，對于機(jī)器來說通過大量的視覺數(shù)據(jù)來進(jìn)行技能學(xué)習(xí)依然面臨著很大的挑戰(zhàn)。目前絕大多數(shù)的模仿學(xué)習(xí)需要精確的動作記錄，例如精密的動作捕捉系統(tǒng)。但獲取動作捕捉數(shù)據(jù)很多時候十分復(fù)雜，極大的依賴于設(shè)備，將環(huán)境局限于于室內(nèi)無遮擋的場景，這限制了可以被記錄的技能類型。那么如果存在一個智能體可以從視頻中學(xué)習(xí)技能就好了！

在這一工作中，伯克利BAIR的研究人員提出了一種從視頻中學(xué)習(xí)技能的框架（skills from videos，SFV），結(jié)合了前沿的計算機(jī)視覺和強(qiáng)化學(xué)習(xí)技術(shù)構(gòu)建的系統(tǒng)可以從視頻中學(xué)習(xí)種類繁多的技能，包括后空翻和很滾翻等高難度動作。同時智能體還學(xué)會了在仿真物理環(huán)境中復(fù)現(xiàn)這些技能的策略，而無需任何的手工位姿標(biāo)記。

SFV問題在計算機(jī)圖形學(xué)領(lǐng)域一直受到廣泛關(guān)注，先前的技術(shù)主要依靠手工的控制結(jié)構(gòu)來限制可以產(chǎn)生的行為，這使得主體可以學(xué)習(xí)到的技能非常有限，同時表現(xiàn)出來的動作也很不自然。近年來，深度學(xué)習(xí)技術(shù)在視覺模仿鄰域取得了很大的進(jìn)展，包括Atari游戲和簡單的機(jī)器人任務(wù)都取得的不錯的成績，但這些任務(wù)在所描述的與主體運行的環(huán)境只有些許的不同，并且所得到的結(jié)果也只是相對簡單的動力學(xué)過程。

基于深度學(xué)習(xí)視覺模仿的Atrai和簡單的機(jī)器人任務(wù)

框 架

研究人員提出的系統(tǒng)由三個部分構(gòu)成：位姿估計、運動重建和運動模仿。

-首先利用輸入的視頻實現(xiàn)位姿估計，從每一幀中預(yù)測出主角的位姿；

-隨后在運動重建階段，將上一階段預(yù)測的位姿進(jìn)行銜接得到參考的運動過程，并修正一些在位姿估計階段的缺陷；

-最終將參考運動過程傳輸給模仿階段，模擬的主體將會利用強(qiáng)化學(xué)習(xí)來訓(xùn)練模仿這些動作。

這一框架主要包括位姿估計、運動重建和運動模仿三個過程

位姿估計

研究人員利用基于視覺的運動估計器來預(yù)測給定視頻中主角的在每一幀的運動。位姿估計器利用人體網(wǎng)格恢復(fù)中的方法來構(gòu)建，利用了弱監(jiān)督對抗的方法訓(xùn)練從單目圖像中預(yù)測出位姿。

從視頻中恢復(fù)人體位姿

雖然在訓(xùn)練位姿估計器的時候需要進(jìn)行位姿標(biāo)記，但在訓(xùn)練完成后它就可以用于新的圖像而無需額外的標(biāo)記。

基于視覺的位姿估計器從每一幀中預(yù)測出主角的動作

運動重建

由于基于單幀圖像預(yù)測的位姿是不連續(xù)的，在上圖中可以看到明顯不連貫的動作。同時由于估計器某些錯誤估計的存在會產(chǎn)生一系列奇異結(jié)果造成估計的位姿出現(xiàn)跳變。這會造成智能體在物理上無法模仿。所以運動重建的目的就在于減輕上述原因帶來的影響，得到更為符合物理實際的參考運動，以便于智能體模擬。所以研究人員提出了下面的目標(biāo)函數(shù)來優(yōu)化新的參考運動：

其中保證了參考運動與原始運動接近，而則保證了相鄰幀之間運動相近以便得到更加平滑的運動結(jié)果，這兩個損失對應(yīng)了不同的權(quán)重w。

經(jīng)過優(yōu)化后的參考運動結(jié)果如下，可以看到明顯地改善了位姿之間的連續(xù)性，讓生成的運動估計更為平滑。

運動模仿

在獲取了參考運動序列后，就可以訓(xùn)練智能體來模擬這些技能了。研究人員使用了強(qiáng)化學(xué)習(xí)來訓(xùn)練智能體學(xué)習(xí)這些技能，其中獎勵函數(shù)也十分簡單，主要用于鼓勵智能體采取不斷減小t時刻與每一幀參考運動位姿之間差距的策略。

雖然簡單，但得到了很好的結(jié)果。智能體學(xué)會了一系列高難度動作，從不同的技能視頻片段中學(xué)會了不同的技能。

來一個側(cè)手翻

再來一個前空翻

鯉魚打挺也不賴

嘿！看我的回旋踢！

結(jié)果

在訓(xùn)練完成后，這一智能體可以學(xué)會從youtube中收集的20中不同的技能。

能唱能跳、能翻滾跳躍、武術(shù)也不在話下。

甚至對于與視頻中主角人類在形態(tài)上很不相似的Atlas機(jī)器，這一策略依然十分有效。

研究人員同時還發(fā)現(xiàn)，模擬智能體學(xué)習(xí)到的行為具有很強(qiáng)的泛化性。在新的環(huán)境中依舊可以學(xué)習(xí)如何適應(yīng)崎嶇的地面。

運動平滑而又穩(wěn)定

這一研究取得良好效果的關(guān)鍵在于，將SFV這一復(fù)雜問題分解成多個可控的部分，并選取合適的方法來解決這些問題，并將他們有機(jī)高效的結(jié)合起來。然而這一領(lǐng)域依舊面臨著很大挑戰(zhàn)，下面就是一個學(xué)習(xí)失敗的例子：

但這一工作依舊表明，充分合理地利用已有的技術(shù)我們可以在充滿挑戰(zhàn)的問題中得到不錯的結(jié)果。希望這一研究可以啟發(fā)小伙伴們對于相關(guān)領(lǐng)域的研究。