一種用深度學(xué)習(xí)框架對(duì)普通視頻進(jìn)行流暢穩(wěn)定的慢動(dòng)作回放的技術(shù)

編者按：生活中總有許多特殊時(shí)刻值得被記錄，而慢動(dòng)作回放能讓你看得更清晰，比如寶寶第一次蹣跚學(xué)步、第一次完成了酷炫的滑板技巧等。但是這些時(shí)刻無(wú)法預(yù)料，大多都是用手機(jī)或普通相機(jī)拍攝的視頻，其中的幀率對(duì)慢回放并不友好。在這篇論文中，英偉達(dá)AI團(tuán)隊(duì)提出了一種用深度學(xué)習(xí)框架對(duì)普通視頻進(jìn)行流暢穩(wěn)定的慢動(dòng)作回放的技術(shù)。以下是論智的編譯。

大多數(shù)高端單反相機(jī)和智能手機(jī)都能拍攝慢動(dòng)作，但是這項(xiàng)技術(shù)并未普及，因?yàn)檫@一過(guò)程需要大量數(shù)據(jù)。例如，索尼Xperia XZ2手機(jī)的Super Slow Motion模式可以每秒拍攝960幀的視頻，是默認(rèn)的30fps捕捉數(shù)據(jù)的32倍。這不僅需要大量?jī)?nèi)存，還要有高性能處理器對(duì)每一幀畫面進(jìn)行處理。

最近，英偉達(dá)推出了一種新算法，可以將原視頻進(jìn)行慢放處理。該論文將在本周的CVPR 2018上進(jìn)行展示。與傳統(tǒng)的使用時(shí)間拉伸幀來(lái)填補(bǔ)鏡頭間隙的慢動(dòng)作技術(shù)不同，英偉達(dá)團(tuán)隊(duì)用的是機(jī)器學(xué)習(xí)來(lái)進(jìn)行慢動(dòng)作處理，看起來(lái)像是出現(xiàn)了新的幀。

來(lái)自英偉達(dá)、馬薩諸塞大學(xué)阿默斯特分校和加利福尼亞大學(xué)默塞德分校的科學(xué)家們提出了一種無(wú)監(jiān)督的端到端神經(jīng)網(wǎng)絡(luò)，它可以生成任意數(shù)量的中間幀，從而輸出非常流暢的慢動(dòng)作鏡頭。這項(xiàng)技術(shù)被稱為“可變長(zhǎng)度多幀插值（variable-length multi-frame interpolation）”。論智將論文大致編譯如下。

視頻插值問(wèn)題向來(lái)富有挑戰(zhàn)性，因?yàn)樗枰啥鄠€(gè)視頻中間幀，保證在空間和時(shí)間上的連貫性。例如，從標(biāo)準(zhǔn)的序列（30fps）中生成240fps的視頻，就需要在每?jī)蓚€(gè)幀之間插入七個(gè)中間幀。為了生成高質(zhì)量的插入結(jié)果，不僅僅需要正確理解兩張輸入圖像之間的動(dòng)作，還要掌握?qǐng)D像之間的遮擋，否則就會(huì)造成失真效果。

目前技術(shù)的主要關(guān)注點(diǎn)都在單幀視頻插值上，但是這些方法不能直接用于生成任意高幀率的視頻。在這篇論文中，科學(xué)家們提出了一種高質(zhì)量的“可變長(zhǎng)度多幀插值”方法，它可以在任意時(shí)間在兩幀之間插入中間幀。這種方法的主要原理是將兩個(gè)輸入圖片扭曲到同一時(shí)間點(diǎn)，然后進(jìn)行適應(yīng)調(diào)整后將兩張圖像結(jié)合生成一個(gè)中間圖像，其中的運(yùn)動(dòng)軌跡和遮擋推理都在單一的端到端網(wǎng)絡(luò)中進(jìn)行建模。

Super SloMo

首先用其中一個(gè)光流計(jì)算卷積神經(jīng)網(wǎng)絡(luò)估算兩張輸入圖片之間的光流（場(chǎng)景中目標(biāo)物體、表面和邊緣運(yùn)動(dòng)的軌跡），在兩個(gè)輸入幀之間的時(shí)間線上同時(shí)計(jì)算向前和向后的光流。

中間光流估算的過(guò)程。橙色的像素參考的是第一和第二張圖片的相同位置的像素光流

之后，CNN會(huì)預(yù)測(cè)像素的移動(dòng)軌跡，為每一幀生成一個(gè)2D的預(yù)測(cè)軌跡作為光流場(chǎng)（flow field），之后它會(huì)融合在一起，為中間幀計(jì)算大概的光流場(chǎng)。這一估計(jì)過(guò)程在平滑的區(qū)域表現(xiàn)得很好，但是遇到邊界線時(shí)性能有所下降。

于是，研究人員們用另一個(gè)光流插值CNN調(diào)整之前計(jì)算出的光流場(chǎng)，并將預(yù)測(cè)路線進(jìn)行可視化。通過(guò)將可視化線路應(yīng)用到兩圖像上，研究人員可以刪除被視頻中物體遮擋住的像素，并且還可以減少軌跡上以及周圍的“人工痕跡”。

可視化線路的預(yù)測(cè)

最后，中間光流場(chǎng)對(duì)兩圖片進(jìn)行扭曲，以讓幀的過(guò)度更加平滑流暢。由于這兩個(gè)CNN的參數(shù)在每個(gè)被插入的時(shí)間點(diǎn)是不同的，這一方法可以同時(shí)生成任意多的中間幀。整個(gè)網(wǎng)絡(luò)過(guò)程如下圖所示：

對(duì)于光流計(jì)算和光流插值CNN，研究人員使用的是U-Net結(jié)構(gòu)。U-Net是完全卷積神經(jīng)網(wǎng)絡(luò)，它包含一個(gè)編碼器和一個(gè)解碼器。

訓(xùn)練

接著，研究人員從YouTube和攝像機(jī)中選取了一些240fps的視頻，其中包括The Slow Mo Guys（一個(gè)總共有11000個(gè)視頻的資料庫(kù)）的剪輯片段，最終得到了1132段視頻片段和37.6萬(wàn)個(gè)獨(dú)立的視頻幀數(shù)。在設(shè)備方面，他們用的是英偉達(dá)Tesla V100 GPU和經(jīng)過(guò)cuDNN加速的PyTorch深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。

最后的結(jié)果對(duì)比非常明顯，在下面這個(gè)從UCF101中截取的視頻片段中可以看到本文提出的方法和當(dāng)前其他方法的對(duì)比：

可以看到，英偉達(dá)的方法在眉毛和眉刷周圍都沒(méi)有什么失真的畫面，非常清晰。

結(jié)語(yǔ)

研究人員認(rèn)為，他們的方法在所有數(shù)據(jù)集上都達(dá)到了頂尖效果，生成了單一或多個(gè)中間幀。并且這一模型不用更改設(shè)置就能直接應(yīng)用到不同場(chǎng)景上，這一點(diǎn)是很了不起的。

但是據(jù)英偉達(dá)方面的消息，這一技術(shù)目前仍需要優(yōu)化改進(jìn)，投入到現(xiàn)實(shí)中仍需要解決很多問(wèn)題。研究人員表示，他們希望未來(lái)如果在消費(fèi)者設(shè)備和軟件商使用時(shí)，大部分處理過(guò)程能在云端完成。