多媒體夢工廠：華為多媒體管線服務(wù)AV Pipeline Kit究竟是什么？

在新聞學(xué)中，有一個(gè)“媒介的雙螺旋”理論，是說媒介形式必然會按照簡易度和關(guān)聯(lián)度兩條線索螺旋向上升級。無論是印刷術(shù)、廣播、電視，還是今天的短視頻、直播、VR，每一種媒體形式的出現(xiàn)，都是為了降低用戶的獲取門檻，同時(shí)提升內(nèi)容的關(guān)聯(lián)能力。按照雙螺旋理論，多媒體化的趨勢是不可逆轉(zhuǎn)的。而優(yōu)秀的表達(dá)者、開發(fā)者、創(chuàng)業(yè)者，也必然需要多媒體的幫助。

移動應(yīng)用開發(fā)者，本質(zhì)上就是利用APP這種介質(zhì)完成對用戶的表達(dá)和溝通。而最能夠幫助開發(fā)者提升表達(dá)效率，增強(qiáng)用戶體驗(yàn)的技術(shù)，可能也就是多媒體技術(shù)了。

曾幾何時(shí)，圖片和文字是APP的主要載體；而今，我們很難想象一款頭部APP中缺少直播、視頻播放的多媒體交互形式。然而對于大部分開發(fā)者而言，多媒體功能的開發(fā)、部署和運(yùn)維還存在大量痛點(diǎn)，甚至可能變成開發(fā)團(tuán)隊(duì)的過量成本消耗因素與技術(shù)軟肋。

多媒體開發(fā)，本來應(yīng)是充滿驚喜感、愉悅感的事情，當(dāng)然不該成為開發(fā)者的瓶頸。此前我們已經(jīng)介紹過，7月15日HMS Core 6.0正式上線。其中有一項(xiàng)重要更新，叫做華為多媒體管線服務(wù)（AV Pipeline Kit）。

當(dāng)時(shí)就有朋友希望我們仔細(xì)介紹一下AV Pipeline Kit。9月16日，HMS Core AV Pipeline Kit剛剛進(jìn)行了一場線上直播，多個(gè)領(lǐng)域的專家深度講解了AV Pipeline Kit的技術(shù)要點(diǎn)和應(yīng)用場景。

我們今天就由此出發(fā)，看看AV Pipeline Kit究竟帶來了什么，又是如何幫助開發(fā)者完成和簡化音視頻采集、編輯和播放等系列工作的。

AV Pipeline Kit通過一系列技術(shù)與架構(gòu)設(shè)計(jì)中蘊(yùn)藏的驚喜，讓多媒體的開發(fā)和管理變得簡單易用，觸手可及。

它似乎彰顯了這樣一個(gè)理念：多媒體的無限可能性，本就應(yīng)該是開發(fā)者在智能時(shí)代的夢工廠。

實(shí)時(shí)+智能：多媒體與開發(fā)者的新約會

要說今天有哪位移動開發(fā)者沒有研究過多媒體開發(fā)，那估計(jì)是所有人都不信的。

隨著消費(fèi)者“口味”的不斷提升，應(yīng)用的功能集成性不斷增強(qiáng)，今天的APP早已不是簡單的網(wǎng)頁流轉(zhuǎn)邏輯。試想一下，無論是社交、旅行、電商，但凡需要用戶分享和內(nèi)容分發(fā)的APP，在今天肯定都需要視頻，甚至是直播、AR功能的加入。

但相比于圖文來說，視頻、音頻為代表的多媒體開發(fā)與管理有著更高的技術(shù)門檻和開發(fā)工作量。尤其隨著短視頻、直播的普及，用戶需要的多媒體玩法也更加復(fù)雜。

整體而言，多媒體開發(fā)在今天有兩個(gè)核心發(fā)展趨勢：一是更加實(shí)時(shí)化，需要快速完成基于視頻的互動和體驗(yàn)升級，滿足用戶的及時(shí)分享與獲取需要，這就需要打破傳統(tǒng)的多媒體分發(fā)邏輯，更加關(guān)注端側(cè)的性能和能耗；二是更加智能，AI給多媒體帶來了圖像識別、流媒體超分、語音交互、語音識別的種種可能，這些智能觸發(fā)點(diǎn)極大提升了開發(fā)者的能力邊界，但也要求開發(fā)者具備更強(qiáng)的技術(shù)能力。

在實(shí)時(shí)化、智能化的新時(shí)代，開發(fā)者與多媒體的約會雖然美好，但也有諸多挑戰(zhàn)。

比如開發(fā)難度進(jìn)一步加大，開發(fā)成本更高。很多視頻+AI的開發(fā)，需要在傳統(tǒng)管線中加入AI處理技術(shù)，這涉及到諸多數(shù)據(jù)處理能力，對于開發(fā)者來說技術(shù)門檻很高。

再有，端側(cè)實(shí)時(shí)化的智能視頻開發(fā)很可能遇到算力的瓶頸。云端處理會導(dǎo)致性能欠佳、體驗(yàn)較差，但端側(cè)算力的性能和框架優(yōu)化卻無法負(fù)載，最終導(dǎo)致很多好的想法付諸東流。

還有一點(diǎn)，給APP添加多媒體功能意味著功耗開支的加大。如果多媒體缺乏優(yōu)化能力，會導(dǎo)致APP功耗過大，容易發(fā)熱，繼而造成用戶體驗(yàn)的下降。

這些痛點(diǎn)的存在，讓復(fù)雜、創(chuàng)新的多媒體開發(fā)經(jīng)常成為工作量大、開發(fā)成本大的工作。甚至變成開發(fā)者不得不做，但做了之后又占用人力算力過多，造成開發(fā)瓶頸的“雞肋”工作。

那么是不是有什么辦法，可以極大減少開發(fā)者在多媒體領(lǐng)域的工作量，并且開發(fā)綜合成本極大降低呢？

瞄準(zhǔn)這樣的需求，華為海思團(tuán)隊(duì)在2020年年底開始了系統(tǒng)設(shè)計(jì)和相關(guān)調(diào)研，今年年初開啟開發(fā)。在多媒體、NPU、AI算法等相關(guān)團(tuán)隊(duì)的協(xié)同努力下，最終讓集成了多種多媒體管線技術(shù)，并且能極大壓縮開發(fā)工作量的AV Pipeline Kit在7月正式發(fā)布。

開發(fā)者的創(chuàng)造力與智能時(shí)代的多媒體升級，開啟了一場新的約會。

從智能超分到流水線編排：打開多媒體管線的驚喜盒

從音頻到視頻，再到多媒體管線的編排管理，AV Pipeline Kit包含了一系列技術(shù)突破與全新的框架搭建思路。換句話說，它并不是一種單一的技術(shù)插件，而是把多種新技術(shù)、新配置方案放在一起的驚喜盒。打開它，開發(fā)者可以找到很多期待已久的禮物。

讓我們通過幾個(gè)AV Pipeline Kit關(guān)注的重點(diǎn)領(lǐng)域，說明其中到底蘊(yùn)藏了哪些驚喜。

首先讓我們來到“智能+視頻”領(lǐng)域中最常提到的功能：視頻超分。所謂“超分”，可以理解為在視頻播放過程中進(jìn)行智能識別與銳度優(yōu)化，從而讓視頻看起來比原本更清晰、明麗。在大型影視和游戲制作中，超分是一種非常關(guān)鍵的技術(shù)，但那有賴于云端和服務(wù)器。想要在端側(cè)在線場景中，幫助開發(fā)者獲得實(shí)時(shí)化、高性能的超分，就需要從AI技術(shù)到硬件資源調(diào)用的一系列優(yōu)化。

為了幫助開發(fā)者便捷獲取真實(shí)可用的逐幀超分能力，實(shí)現(xiàn)超分不卡頓的體驗(yàn)，AV Pipeline Kit首先在機(jī)器視覺算法上進(jìn)行了一系列技術(shù)突破。比如在AI模型結(jié)構(gòu)上應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)，提升了復(fù)雜真實(shí)場景的超分效果；在數(shù)據(jù)工程方面，用一系列方法還原了多媒體數(shù)據(jù)的構(gòu)造過程，提升網(wǎng)絡(luò)的優(yōu)化結(jié)果；在端側(cè)模型壓縮方面，進(jìn)行了新的網(wǎng)絡(luò)小型化探索，確保超分效果可以在端側(cè)場景中被很好地執(zhí)行。

在這一系列的技術(shù)突破后，AV Pipeline Kit可以為開發(fā)者帶來隨時(shí)隨地都能看清的超分效果。通過調(diào)用NPU提供的專項(xiàng)AI處理算力，AV Pipeline Kit可以實(shí)現(xiàn)最高三倍超分效果，將原始片源的觀看體驗(yàn)極大提升?；诙藗?cè)AI算力和一系列算法優(yōu)化，AV Pipeline Kit在網(wǎng)絡(luò)不均衡的場景下，依舊可以啟動超分并達(dá)成相對一致的體驗(yàn)。在給用戶帶來智能功能的同時(shí)，還增強(qiáng)了實(shí)時(shí)化的流暢體驗(yàn)。此外，端側(cè)超分技術(shù)的應(yīng)用可以極大降低開發(fā)者的服務(wù)器使用成本，提升開發(fā)效率。

目前，AV Pipeline Kit已經(jīng)與某大型流媒體APP達(dá)成合作，用戶在網(wǎng)絡(luò)環(huán)境較差的情況下可以依賴端側(cè)超分，觀看到流暢自然的視頻畫質(zhì)。

看過了“視頻+AI”，讓我們再來看看音頻領(lǐng)域AV Pipeline Kit帶來的智能加持。基于AI聲音事件檢測技術(shù)，開發(fā)者可以實(shí)現(xiàn)非常多前所未有的玩法。比如檢測家中寵物叫聲、檢測孩子哭聲、按門鈴聲，然后再添加相應(yīng)的智能服務(wù)。

但AI聲音事件檢測對于開發(fā)者來說是比較復(fù)雜的技術(shù)，所需的技術(shù)資源與開發(fā)經(jīng)驗(yàn)都很多。AV Pipeline Kit將這些功能以文件配置的形式直接帶給開發(fā)者，并且其音頻檢測能力經(jīng)過華為相關(guān)團(tuán)隊(duì)的長期深耕，可以確保聲音識別的準(zhǔn)確與穩(wěn)定。

對于開發(fā)者來說，面對多媒體任務(wù)管理與配置時(shí)還有個(gè)很大的問題，就是相關(guān)的能力非常復(fù)雜，架構(gòu)相對抽象。這一點(diǎn)讓很多開發(fā)者望而卻步，只能應(yīng)用比較簡單的多媒體功能，以避免在任務(wù)管理中浪費(fèi)大量時(shí)間，甚至引發(fā)兼容問題。

但這種方式顯然限制了開發(fā)者的想象力。AV Pipeline Kit提出了全新的解決方案，也就是流水線編排的多媒體管線服務(wù)。AV Pipeline Kit基于全新的架構(gòu)梳理，實(shí)現(xiàn)了將不同能力抽象成對應(yīng)的插件，便于框架進(jìn)行管理。在實(shí)際開發(fā)場景中，開發(fā)者只需要簡單配置文件，就可以實(shí)現(xiàn)管理多媒體管線的上下游插件，完成復(fù)雜的管線編排。

形象地理解這種操作方式，就是將多媒體任務(wù)放在同一個(gè)“工廠”的框架下，以工業(yè)流水線的形式實(shí)現(xiàn)對各種任務(wù)的編排管理。而各種各樣的多媒體能力就成為了流水線上的產(chǎn)品。作為流水線和工廠的主人，開發(fā)者獲得了極高的易用程度，降低了多媒體開發(fā)的技術(shù)門檻。

從AI超分技術(shù)的加入，到流水線編排的實(shí)現(xiàn)，AV Pipeline Kit既有新的能力突破，也有原有功能的重新構(gòu)筑，可以說將多種開發(fā)者急需的能力納入一體，帶來多樣且統(tǒng)一的驚喜盒。

從宏觀的產(chǎn)業(yè)價(jià)值上看，AV Pipeline Kit又給成為HMS生態(tài)開發(fā)者提供了一個(gè)新的契機(jī)與理由。

軟硬件一體，構(gòu)筑HMS的開發(fā)夢工廠

好萊塢被稱為電影的夢工廠，不僅是因?yàn)檫@里是大片打造地，更因?yàn)楹萌R塢有各種各樣的產(chǎn)業(yè)鏈、技術(shù)、生態(tài)支撐。在這里，電影人能找到各種所需的硬件、軟件、人才、合作伙伴。最終才能讓那些天才的想法、創(chuàng)造性的點(diǎn)子，變成大熒幕上的真實(shí)夢境。

夢工廠，從來都不是一天建造起來的，而是需要一點(diǎn)點(diǎn)累積和升級，不斷增加生態(tài)的凝聚力和吸引力。致力于打造移動生態(tài)第三極的HMS，當(dāng)然希望成為一座移動開發(fā)者的夢工廠。而HMS Core就肩負(fù)著這座夢工廠的技術(shù)差異化。只有在這里可以實(shí)現(xiàn)的技術(shù)可能性越來越多，真正滿足開發(fā)者需求，這個(gè)技術(shù)生態(tài)才有活力可言。

此前，我們已經(jīng)介紹過HMS Core的很多組成部分。而最新的AV Pipeline Kit則構(gòu)筑了HMS Core 6.0時(shí)代關(guān)于AI和多媒體的巨大驚喜，也成為HMS技術(shù)生態(tài)的重要組成部分。

在AV Pipeline Kit背后，我們可以看到華為在端側(cè)的整體軟硬件布局，不斷發(fā)揮著協(xié)同與整合的優(yōu)勢。比如為了實(shí)現(xiàn)這個(gè)Kit，就匯集了AI、多媒體、硬件等多個(gè)部門的協(xié)同合作，才最終讓端側(cè)AI超分這樣的新技術(shù)，與多媒體管理平臺融為一體。

再向后看，AV Pipeline Kit與更加底層的華為技術(shù)布局保持著深度融合。目前來看，業(yè)界還沒有哪個(gè)平臺或者技術(shù)工具，能夠?qū)崿F(xiàn)端側(cè)化、智能化的多媒體管線服務(wù)。而AV Pipeline Kit能開創(chuàng)先河的原因，很大部分來自軟硬件一體化的協(xié)同優(yōu)勢。

比如說，AV Pipeline Kit就和華為HiAI Foundation平臺協(xié)同，實(shí)現(xiàn)了芯片底層的免拷貝式接口對接，與從而節(jié)省了非常多的調(diào)用開銷，讓AV Pipeline Kit在華為硬件平臺上可以實(shí)現(xiàn)更好的開發(fā)體驗(yàn)。

再向底層看，業(yè)界部署超分主要以CPU、GPU為主，但NPU可以帶來更有針對性優(yōu)化，針對超分業(yè)務(wù)，NPU可以提供更高算力和更優(yōu)的功耗，提供更好的端側(cè)AI計(jì)算體驗(yàn)。NPU的能力直接助力AV Pipeline Kit，讓端側(cè)超分不僅可以實(shí)現(xiàn)，還可以向更具挑戰(zhàn)性的直播等場景進(jìn)發(fā)。

或許可以說，很多HMS Core的組成部分，都在更深層地調(diào)用華為在終端側(cè)硬件、軟件、AI等技術(shù)的協(xié)同與互補(bǔ)優(yōu)勢，往往能實(shí)現(xiàn)合力創(chuàng)造全新價(jià)值的技術(shù)支點(diǎn)。

這樣的價(jià)值邏輯，將從AV Pipeline Kit延伸到更多的開發(fā)者賦能技術(shù)中。開發(fā)者們都深知，有技術(shù)才有未來，有創(chuàng)造性才有市場。AV Pipeline Kit以及HMS生態(tài)，就是帶給他們這樣一份禮物——一個(gè)可以持續(xù)期待，永遠(yuǎn)充滿未來的驚喜盒；一座能用“技術(shù)打印機(jī)”，把創(chuàng)意變成現(xiàn)實(shí)的夢工廠。