智能影像技術加速產業(yè)數字化變革

近日，Forrester咨詢公司對中國計算機視覺及智能影像市場進行了調查，訪問了包括研究機構、科研院校、投資機構以及部分互聯(lián)網企業(yè)，視頻行業(yè)企業(yè)，針對以視頻行業(yè)為代表的文娛產業(yè)中人工智能的應用趨勢、面臨的挑戰(zhàn)進行了分析，并提出相應的戰(zhàn)略建議。網易智能節(jié)選整理如下：

近年來，在互聯(lián)網、大數據、超級計算、傳感網、腦科學等新理論、新技術以及經濟社會發(fā)展強烈需求的共同驅動下，人工智能呈現出飛躍式的進步，進入新的發(fā)展階段。無論是企業(yè)還是政府在人工智能方面的關注和投入，都在不同層面推動著人工智能技術和應用的蓬勃發(fā)展。各種創(chuàng)新的AI應用逐步開始進入社會生活的各個場景。

同時，我們也看到，新興科技正在推動新一輪全球產業(yè)變革，而人工智能毫無疑問成為了釋放產業(yè)變革潛能的重要力量。作為人工智能技術的重要分支，計算機視覺技術在算法、數據及算力的加持下，更是得到了飛速的發(fā)展，已經具備大規(guī)模應用的可行性。特別是在文娛產業(yè)得到了廣泛應用的智能影像技術已經成為行業(yè)變革的核心驅動力，將進一步催生新應用、新產品、新產業(yè)、新業(yè)態(tài)、新模式的出現，推動智能影像產業(yè)生態(tài)的繁榮。

01

調查結果摘要

人工智能為影像分析技術帶來變革。人工智能在影像行業(yè)的綜合應用，特別是通過對動態(tài)視覺內容的理解和重構，是計算機視覺技術及計算機動畫技術的交叉和融合，給智能影像產業(yè)帶來了充滿想象力的廣闊舞臺和空間。

智能影像技術為產業(yè)變革帶來強勁動力。過去幾年文娛產業(yè)經歷了快速的發(fā)展，以內容制作方、視頻平臺方為代表行業(yè)參與者正面臨著諸多的挑戰(zhàn)，各方仍在行業(yè)變局中摸索前行，期望不斷通過運用新興技術和應用的創(chuàng)新提升自身的核心競爭力。智能影像技術在行業(yè)的應用日漸深入，成為新一輪行業(yè)變革的核心驅動力。

把握數字化轉型新契機，智能影像技術加速業(yè)務變革。智能影像技術不僅成為文娛產業(yè)商業(yè)價值變現的核心引擎，也在逐漸進入更多的內容原創(chuàng)領域，通過自動化影像加工、生產技術為產業(yè)升級提供動力。而且，智能影像技術也通過全面賦能推動應用在教育、零售等更多領域落地，成為行業(yè)價值創(chuàng)新的基石。

深耕行業(yè)場景，聚焦價值創(chuàng)造，拓展行業(yè)生態(tài)。智能影像技術企業(yè)需要聚焦行業(yè)實踐、商業(yè)價值閉環(huán)，以及開放性平臺技術，推動智能影像行業(yè)的協(xié)同發(fā)展和生態(tài)的進一步繁榮。

02

智能影像技術的發(fā)展歷程

2006年以來，隨著深度學習技術的進展，人工智能再次獲得了廣泛關注。特別在圖像領域，深度學習帶來的突破性效果在很多領域已經超過人類水平，各種類型的神經網絡不斷涌現，伴隨著計算力的提升以及海量數據的積累，人工智能為廣闊的圖像分析領域帶來深刻變革。資本市場對與計算機視覺的熱度空前高漲。

根據Forrester統(tǒng)計，全球在計算機視覺領域的投資持續(xù)增長，截止到2018年11月末投資較2017年增長113%，在過去的五年中復合增長率高達135%，在本次訪談調研中了解到，未來五年內全球計算機視覺軟件及服務市場規(guī)模將超過200億美金。

影像相關的市場規(guī)模相當可觀，人工智能技術的賦能將會催生更多商業(yè)場景，進一步推動整體市場繁榮。在眾多細分領域中，智能影像生產技術直接從源頭上提高了視頻影像的生產能力。除了與影像源頭密切相關的文娛產業(yè)，智能影像還將賦能廣告營銷、教育、游戲、零售乃至制造等相關行業(yè)。

影像生產技術以計算機視覺（Computer Vision） 與計算機圖形學為基礎。計算機視覺誕生于上世紀六十年代，是指能夠賦予機器自然視覺能力的學科，關注圖像的識別和分割。在初步興起的二十年時間里，“識別”領域進展有限，而分割領域取得了一定的進展。進入本世紀，隨著互聯(lián)網的不斷發(fā)展，圖片的來源日趨豐富，各類圖像數據庫開始出現，標注數據進一步促進計算機視覺的發(fā)展。

在深度學習廣泛應用之前，視覺算法一般分為：特征感知、圖像預處理、特征提取、特征篩選、推理與識別。手工設計特征需要對相關領域具有足夠的積累和經驗，對于提取的特征還需要進行大量調試工作。不同的特征對應的后端機器學習算法也有所不同。二者組合起來，通用性差而且需要投入大量工程性工作，進展緩慢且效果不佳，與人類水平有很大差距，遲遲難以大規(guī)模商用，對于圖像之外的多模態(tài)感知識別更是困難重重。

計算機圖形學（Computer Graphics）是指在計算機上用專門的軟件和硬件用來表現和控制圖像數據，它同樣誕生于上世紀六十年代。自誕生之初開始即開始踴躍發(fā)展，分形理論、曲面造型技術、光柵圖形學算法、光照模型、光線追蹤算法、輻射度算法等技術手段陸續(xù)被提出。80年代中期，皮克斯使用SGI計算機創(chuàng)作了第一段完全用計算機生成的短片。1995年首部計算機生成的動畫影片《玩具總動員》全球上映，1996年最早的全三維游戲《雷神之錘》發(fā)售。

一些事實標準的出現，如SGI公司開發(fā)的OpenGL開放式三維圖形標準，微軟公司的標準接口DirectX，Adobe公司的Postscript等，進一步加速了影像生產的產業(yè)化進程。但是，影像生產中大量人工仍然不可避免，具體到面向大眾的個性化影像生產而言，重復性的人力勞動已經嚴重制約了產能，亟需智能化、自動化的影像生產技術推動產業(yè)的升級。

03

智能影像生產技術的發(fā)展現狀

Forrester對人工智能技術進行分類研究時采用了Sense、Act、Think的框架。類比來看，在感知（Sense）層面，人工智能技術為靜態(tài)圖片識別乃至多模態(tài)影像識別帶來了突破；在思考（Think）層面，基于多模態(tài)識別結合商業(yè)需求可以形成深入的影像智能化理解。以感知、思考為基礎，在行動（Act）層面，人工智能技術為自動化影像生產帶來了強勁動力。為此，我們將智能影像生產技術分為兩部分：影像智能化理解(Sense和Think)和影像自動化生成（Act）。

傳統(tǒng)的計算機視覺技術大量聚焦在特征生成和選擇。端到端深度學習帶來了自動特征學習能力，從而極大促進了計算機視覺的發(fā)展。深度學習所需的大量訓練數據以及運算能力在當下也得到了良好的供應。對于“識別”這種人類無需思考即可在極短時間內作出判斷的任務目前是人工智能最擅長的領域。從包括圖像、語音、文字的多模態(tài)識別，人工智能對于影 像感知和理解能力不斷提升，推動了智能影像產業(yè)的快速發(fā)展。

此外，各種神經網絡的組合為靜態(tài)圖像識別提供了有力武器。憑借著AlexNet在ILSVRC競賽的一戰(zhàn)成名，卷積神經網絡（CNN）因其良好的泛化能力以及優(yōu)秀的實際效果已經替代了眾多傳統(tǒng)計算機視覺算法，成為當前圖像識別領域的主流。

在此基礎上，ResNet、Inception、Xception、DenseNet、ShuffleNet等多種改良結構也不斷涌現，推動了識別效果的進一步提高，在大規(guī)模人臉與人體識別、物體檢測與追蹤、3D視覺等領域都獲得了廣泛應用，已經達到了可以廣泛實際落地的程度，甚至有的受訪者表示這類任務的性能一定程度上已經達到飽和。

圖像、語音、文本等多模態(tài)識別進一步豐富了影像識別能力。深度學習不僅賦能了計算機視覺領域，還為語音識別、文本分析領域帶來突破。循環(huán)神經網絡（RNN）及其變種LSTM在這些領域取得令人矚目的進展而成為主流。以此為基礎，各種增強技術如雙向LSTM、Attention model等也開始得以廣泛應用。深度學習的理論基礎在“去黑盒化”的 道路上已經取得進展，各種技術的組合為也不斷刷新著各類任務的效果新高。多模態(tài)識別已成為計算機視覺和AI最令人激動的領域之一，現有感知能力甚至已經超出商業(yè)變現的步伐。尋找應用場景、促進技術落地的難度開始大于技術本身。

影像語義理解增加了商業(yè)模式的可能性。通過視頻結構化分析、目標檢測跟蹤、動作態(tài)勢感知、人物識別以及情感分析等多模態(tài)感知技術，人類已經可以從動態(tài)影像中獲取淺層信息。但是要做到商業(yè)模式變現，仍需進一步從語義的層面深入理解影像內容。

在這一領域，需要有大量的行業(yè)積累，例如對綜藝類視頻節(jié)目中人物、物體等的識別標注，需要專業(yè)的經驗，基于編劇、布景、拍攝等角度，對視頻進行結構化建模進行分析和學習，把特征空間提升到語義空間。在此基礎上對影像數據生成語義標簽、業(yè)務分類乃至文字描述以供后續(xù)業(yè)務場景使用。常識的建立可以極大提升機器性能，既有經驗與多種深度網絡的融合將會形成企業(yè)差異化的競爭優(yōu)勢。

04

智能影像行業(yè)案例

Netflix：總部位于美國加州的Netflix成立于1997年，是一家在線影片服務提供商。Netflix以投入優(yōu)質內容吸引用戶，通過用戶加入會員付費觀看內容獲取收入。但近年來面臨新增用戶增長放緩以及內容成本急劇攀升的壓力，Netflix 2018Q2新增了447萬國際用戶和67萬美國用戶，低于Q1的500萬和120萬。隨著用戶對內容的要求越來越高，在線視頻平臺圍繞優(yōu)質內容進行競爭，內容正成為流量入口，Netflix也不例外，投入大量資源自己制作的內容，代表作包括《紙牌屋》，《怪奇物語》等。用戶對視頻形態(tài)也發(fā)生了變化，隨著用戶的觀看視頻的時間碎片化，短視頻、倍速觀看、跨屏看等等的個性化和自主化趨勢對體驗提出了更高挑戰(zhàn)。

在這個挑戰(zhàn)下，Netflix在繼續(xù)加大對原創(chuàng)內容投入的同時，積極嘗試并希望通過機器學習、神經網絡和深度學習、計算機視覺等新興AI技術， 保持行業(yè)優(yōu)勢，優(yōu)化內部運營。

Netflix嘗試將人工智能應用在核心系統(tǒng)上，帶來的直接效果就是付費用戶超過1億，推薦引擎提高3到4倍的點擊率。同時，通過對視頻及客戶觀影數據的分析，避免購買低收益的視頻內容，累計已經實現了超過十億美元的內容成本的節(jié)省。

影譜科技（Moviebook）：他們通過整合視頻類渠道，覆蓋了各硬件終端與計算機芯片、貫穿可視化場景，其智能影像生產技術具有批量自動化處理、子像素級分析、智能疊加和無痕展示等特征。

在人工智能業(yè)務領域，Moviebook通過Vedio AI制作引擎，實現影像內容生產制作的“從視頻中捕獲動作”Motion Capture from Video System（MCVS）框架。MCVS無需預先進行動作捕捉合成的高度結構化數據，就可以讓機器直接模仿大量已存視頻片段來學習高難度技能，允許數據為驅動的模仿以生成無監(jiān)督學習視頻內容。

該系統(tǒng)MCVS每天可以處理日常視頻網絡上的數百萬端視頻圖像，提取關鍵幀，進行自動結構化，為下游任務提供大量數字化資源，如視頻搜索、原生視頻內容營銷、視頻內容創(chuàng)作、視頻識別、游戲生產、在線教育等。

迪士尼：迪士尼研究院的一項內部研究,正在改變影片和VR的創(chuàng)作。過去,拍攝影片或開發(fā)一款VR游戲/內容,都需要先有劇本描述人物及場景等，但文字難以直觀地描述復雜場景，這一步驟將耗費大量時間。為了在編寫故事的過程中協(xié)助編劇，迪士尼開發(fā)了一個系統(tǒng),可以從自然語言故事中提取信息，并允許以故事為中心以及以人物為中心的推理。這些推理功能通過直觀的查詢系統(tǒng)向創(chuàng)作人員開放，允許腳本編寫者向系統(tǒng)詢問有關故事和角色信息的問題,并形成可視化的動畫或簡單視頻的展示，導演更直觀地了解角色將如何在場景中進行表演,以及腳本的變化會怎樣影響場景。

這項技術將應用在電影的創(chuàng)作和拍攝中，通過初步自動生成簡單動畫，進行現場整合及語音錄制，然后戴上ⅤR頭顯直接在虛擬場景中進行預覽，提供“親臨”影片故事場景的體驗,制作人員還可移動預覽場景中的虛擬人物角色的位置。這項技術將與迪士尼的數字影像、人工智能以及特效技術整合用于電影的創(chuàng)作制作以及后期過程。