數(shù)字視頻穩(wěn)定調(diào)查：概念、方法和挑戰(zhàn)

本文翻譯自《ACM技術(shù)洞察》科學(xué)雜志上的一篇文章：《Survey on Digital Video Stabilization: Concepts, Methods, and Challenges》，原文鏈接如下：

1名深圳大學(xué)大三學(xué)生

2名中原工學(xué)院研一學(xué)生

1名安陽工學(xué)院大三學(xué)生

1名南通科技學(xué)院大三學(xué)生

我們在OpenHarmony成長計劃啃論文俱樂部里，與華為、軟通動力、鴻湖萬聯(lián)等公司一起，學(xué)習(xí)和研究操作系統(tǒng)技術(shù)…

1.1 本文摘要

數(shù)字視頻穩(wěn)定是一項具有挑戰(zhàn)性的任務(wù)，旨在通過平滑相機軌跡將可能不穩(wěn)定的視頻轉(zhuǎn)換為令人愉快的視頻。

穩(wěn)定可以借助硬件（穩(wěn)定器）的方式實現(xiàn)，也可以通過軟件算法的方式實現(xiàn)。本文談的是后者。

盡管在解決這一任務(wù)的文獻中發(fā)現(xiàn)了各種作品，但它們的組織和分析尚未受到太多關(guān)注。在這項工作中，我們根據(jù)提議的分類法對視頻穩(wěn)定的文獻進行了全面回顧。介紹了該問題的正式定義，以及物理術(shù)語的簡要解釋。我們還就這一活躍領(lǐng)域的主要挑戰(zhàn)和未來趨勢進行了全面討論。

1.2 數(shù)字視頻穩(wěn)定的定義

數(shù)字視頻穩(wěn)定就是通過平滑相機軌跡將可能不穩(wěn)定的視頻轉(zhuǎn)換為令人愉快的視頻。視頻可以表示為一系列照片（幀）。

圖中，真實世界裁剪（白色）產(chǎn)生的照片和視頻（藍色）的表示。左：以矩形表示的照片。中間和右側(cè)：以音量表示的穩(wěn)定和不穩(wěn)定視頻。

數(shù)字視頻穩(wěn)定就想解決不用設(shè)備（直接用手）的情況下，把視頻拍得好看，很有商業(yè)價值。

2.1 相機運動方法

我拿著相機，可以前后左右走，舉高舉低（第一個圖），我拍特別角度，拿著相機轉(zhuǎn)（第二個圖），合起來就是復(fù)雜運動（第三個圖）。

2.2數(shù)字視頻穩(wěn)定的一些方法

2.2.1 經(jīng)典的方法（三步走）：

數(shù)字視頻穩(wěn)定的典型過程涉及三個不同的步驟，如下圖所示：(1) 攝像機運動估計，(2) 不需要的運動確定，以及 (3) 穩(wěn)定視圖渲染。

2.2.2 基于深度學(xué)習(xí)的方法：

深度學(xué)習(xí)的方法提出了深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，以有監(jiān)督或無監(jiān)督的方式穩(wěn)定視頻。

3.1相機的估計運動

拍攝的過程中，人會帶著相機運動，拍攝的事物也會運動，組合起來就是表觀運動，也就是拍出來的東西。相機的估計運動就是通過表觀運動（拍出來的東西）估計出相機本身是怎么運動的。

相機運動估計技術(shù)地圖，主要講了估計出相機本身是怎么運動中2D（二維），3D（三維）和2.5D（混合方法）的一些處理方法，并且給出了相應(yīng)的描述和優(yōu)缺點比較：

表 1. 對數(shù)字視頻穩(wěn)定中攝像機運動估計的進步做出貢獻的一些主要工作總結(jié)

3.2怎么確定不需要的運動

拍攝過程中因為不必要的抖動導(dǎo)致畫質(zhì)不好，這種運動需要確定，就是確定不需要的運動。

不需要的運動確認技術(shù)地圖，主要講了為了去除的不需要的運動部分以獲得更平滑的路徑中基于過濾的方法，基于插值的方法，基于優(yōu)化的方法，并且給出了相應(yīng)的描述和優(yōu)缺點比較：

表 2. 有助于推動數(shù)字視頻穩(wěn)定中的無用運動確定的一些主要工作總結(jié)

3.3穩(wěn)定視圖渲染

我們要處理一些丟失或者模糊的幀，也就是幀的修復(fù)。

穩(wěn)定渲染的技術(shù)地圖，主要講了渲染穩(wěn)定的幀中中基于填充的方法和基于裁剪的方法，并且給出了相應(yīng)的描述和優(yōu)缺點比較：

圖中，基于深度學(xué)習(xí)的方法中常用的方法。不穩(wěn)定的幀和一些時間信息提供給深度網(wǎng)絡(luò)，以在訓(xùn)練/推理階段預(yù)測穩(wěn)定/穩(wěn)定的幀。

深度學(xué)習(xí)數(shù)字視頻穩(wěn)定技術(shù)地圖，這種方法沒有明確地估計相機運動，但他們使用的是表觀運動。通常，不需要的運動的確定和移除是隱式完成的：網(wǎng)絡(luò)學(xué)習(xí)預(yù)測類似于真實穩(wěn)定視頻的視頻，以下就是給出論文技術(shù)的盤點：

表 4. 基于深度神經(jīng)網(wǎng)絡(luò)執(zhí)行數(shù)字視頻穩(wěn)定的方法總結(jié)

• 一些實際應(yīng)用可以受益于數(shù)字視頻穩(wěn)定及其開發(fā)所產(chǎn)生的知識。

• 需要更好地定義使用這些方法的場景。

• 與其計算機視覺領(lǐng)域類似，深度學(xué)習(xí)已成為近年來視頻穩(wěn)定的趨勢。

• 數(shù)字視頻穩(wěn)定文獻中的關(guān)鍵點之一是還沒有明確定義的評估指標(biāo)。

<本文完>

OpenHarmony 成長計劃—“啃論文俱樂部”（以下簡稱“啃論文俱樂部”）是在 2022年 1 月 11 日的一次日?；顒又姓Q生的。截至 3 月 31 日，啃論文俱樂部已有 87 名師生和企業(yè)導(dǎo)師參與，目前共有十二個技術(shù)方向并行探索，每個方向都有專業(yè)的技術(shù)老師帶領(lǐng)同學(xué)們通過啃綜述論文制定技術(shù)地圖，按“降龍十八掌”的學(xué)習(xí)方法編排技術(shù)開發(fā)內(nèi)容，并通過專業(yè)推廣培養(yǎng)高校開發(fā)者成為軟件技術(shù)學(xué)術(shù)級人才。

啃論文俱樂部的宗旨是希望同學(xué)們在開源活動中得到軟件技術(shù)能力提升、得到技術(shù)寫作能力提升、得到講解技術(shù)能力提升。大學(xué)一年級新生〇門檻參與，已有俱樂部來自多所高校的大一同學(xué)寫出高居榜首的技術(shù)文章。

如今，搜索“啃論文”，人們不禁想到、而且看到的都是我們——OpenHarmony 成長計劃—“啃論文俱樂部”的產(chǎn)出。

OpenHarmony開源與開發(fā)者成長計劃—“啃論文俱樂部”學(xué)習(xí)資料合集

1）入門資料：啃論文可以有怎樣的體驗

https://docs.qq.com/slide/DY0RXWElBTVlHaXhi?u=4e311e072cbf4f93968e09c44294987d

2）操作辦法：怎么從啃論文到開源提交以及深度技術(shù)文章輸出https://docs.qq.com/slide/DY05kbGtsYVFmcUhU

3）企業(yè)/學(xué)校/老師/學(xué)生為什么要參與 & 啃論文俱樂部的運營辦法https://docs.qq.com/slide/DY2JkS2ZEb2FWckhq

4）往期啃論文俱樂部同學(xué)分享會精彩回顧：

同學(xué)分享會No1.成長計劃啃論文分享會紀(jì)要（2022/02/18）https://docs.qq.com/doc/DY2RZZmVNU2hTQlFY

同學(xué)分享會No.2 成長計劃啃論文分享會紀(jì)要（2022/03/11）https://docs.qq.com/doc/DUkJ5c2NRd2FRZkhF

同學(xué)們分享會No.3 成長計劃啃論文分享會紀(jì)要（2022/03/25）

https://docs.qq.com/doc/DUm5pUEF3ck1VcG92?u=4e311e072cbf4f93968e09c44294987d

現(xiàn)在，你是不是也熱血沸騰，摩拳擦掌地準(zhǔn)備加入這個俱樂部呢？當(dāng)然歡迎啦！啃論文俱樂部向任何對開源技術(shù)感興趣的大學(xué)生開發(fā)者敞開大門。

掃碼添加 OpenHarmony 高校小助手，加入“啃論文俱樂部”微信群

后續(xù)，我們會在服務(wù)中心公眾號陸續(xù)分享一些 OpenHarmony 開源與開發(fā)者成長計劃—“啃論文俱樂部”學(xué)習(xí)心得體會和總結(jié)資料。記得呼朋引伴來看哦。