MPEG-DASH視頻流中6種最常見的隱患

作為dash.js項(xiàng)目的首席開發(fā)人員，我們經(jīng)常面對(duì)這樣的情況：我們必須評(píng)估DASH傳輸失敗是由dash.js播放器實(shí)現(xiàn)中的實(shí)際bug引起，還是由錯(cuò)誤的內(nèi)容生成引起。在本文中，我們將分享一些在DASH傳輸中出現(xiàn)的常見錯(cuò)誤，以及我們通常在面對(duì)這些錯(cuò)誤時(shí)所總結(jié)的一些見解。

/ DRM的特定問題 /

“想要安全，請(qǐng)使用https”

在播放受到DRM保護(hù)的視頻的時(shí)候，經(jīng)常會(huì)出現(xiàn)一個(gè)與底層應(yīng)用托管有關(guān)的錯(cuò)誤。為了能夠使用EME（加密媒體擴(kuò)展，DRM播放以及與CDM通信時(shí)必須用到的W3C API），Web瀏覽器通常必須使用https。如果使用http調(diào)用應(yīng)用，dash.js將輸出警告：無(wú)法進(jìn)行DRM播放。

复制No supported version of EME detected on this user agent! - Attempts to play encrypted content will fail!

保護(hù)自己免受保護(hù)

DRM本身是一個(gè)比較復(fù)雜的話題。有一個(gè)顯而易見的事實(shí)是：有三種主要的DRM系統(tǒng)，分別是：Google Widevine、Microsoft PlayReady和Apple FairPlay。在Google Chrome和Mozilla Firefox中，需要Widevine才能啟動(dòng)DRM播放，但是老款Edge卻只支持PlayReady。一些設(shè)備（如智能電視或者FireTV）同時(shí)支持Widevine和PlayReady。因此，在特定平臺(tái)試圖播放DRM保護(hù)內(nèi)容之前，我們需要評(píng)估具體平臺(tái)底層對(duì)DRM的功能支持。當(dāng)使用dash.js時(shí)，一旦找到并選擇了合適的DRM系統(tǒng)，就會(huì)顯示如下輸出：

复制DRM: KeySystem Access Granted (com.widevine.alpha)!

如果某個(gè)平臺(tái)支持多種DRM系統(tǒng)，那么定義選擇優(yōu)先級(jí)會(huì)很有用。

复制{复制    "com.widevine.alpha": {复制        "serverURL": "someurl",复制        "priority": 1复制    },复制    "com.microsoft.playready": {复制        "serverURL": "someurl",复制        "priority": 2复制    }复制}

比如按照上例中的配置，dash.js會(huì)優(yōu)先考慮使用Widewine DRM, 而不是PlayReady。

你可以在之前的博文中了解到更多DRM知識(shí)：https://websites.fraunhofer.de/video-dev/enabling-hardware-drm-on-android-chrome-using-the-encrypted-media-extensions/

https://websites.fraunhofer.de/video-dev/dash-js-license-acquisition-for-multiple-eme-versions/

模式化一切

在《dash.js：多個(gè)EME版本的許可獲取》（dash.js: License acquisition for multiple EME versions）[1]一文中，我們描述了dash.js 內(nèi)容保護(hù)模型的概念，從中得到的關(guān)鍵點(diǎn)是：dash.js實(shí)現(xiàn)了三種不同版本的EME（被封裝在不同的內(nèi)容保護(hù)模型中）。遺憾的是，很多設(shè)備（向那些“樂于”為智能電視和機(jī)頂盒開發(fā)的人問候）需要定制其中一種保護(hù)模型。在此類設(shè)備上調(diào)試DRM問題時(shí)，這件事很值得做：總是檢查EME調(diào)用是否需要被前置或者另做修改。

/播放時(shí)序的特定問題 /

“請(qǐng)保證您的播放器的當(dāng)前播放時(shí)間不要掉出滑動(dòng)窗口”

當(dāng)開發(fā)DASH播放器或者創(chuàng)建DASH MPD時(shí)，一個(gè)關(guān)鍵概念是要理解DASH時(shí)序模型。你可以通過閱讀

DASH-IF IOP guidelines[2]和DASH-IF implementation guidelines: restricted timing model[3]了解DASH時(shí)序模型。

我們經(jīng)常遇到的一個(gè)問題由視頻流引起，其中可用媒體切片的呈現(xiàn)時(shí)間在時(shí)移緩沖區(qū)之外。當(dāng)給出了帶有 的明確時(shí)間信息時(shí)，播放器能夠調(diào)整自身操作。下圖就說(shuō)明了這種調(diào)整：

播放器使用 MPD@timeShiftBufferDepth屬性確定DVR窗口。除此之外，從“UTC now”時(shí)間中減去當(dāng)前的即時(shí)直播延遲時(shí)間，就能得到“實(shí)際的DVR窗口時(shí)長(zhǎng)”（比“名義的DVR窗口時(shí)長(zhǎng)”要短）。在直播期間，上層應(yīng)用只能在有效的DVR窗口內(nèi)進(jìn)行播放移動(dòng)。

在上面的示例中，最后一個(gè)可用切片（第5個(gè)切片）的呈現(xiàn)結(jié)束時(shí)間在DVR窗口之外。在這種情況下，播放器將找不到可供下載和播放的切片。在這種情況下，dash.js可以將anchor time（基準(zhǔn)時(shí)間）調(diào)整到最近已播放切片的presentation end time（該切片的呈現(xiàn)截止時(shí)間），從而得出用于計(jì)算有效DVR窗口的調(diào)整值，以避免播放停頓。該功能通過調(diào)整設(shè)置參數(shù)實(shí)現(xiàn)，如下所示：

复制player.updateSettings({复制   streaming: 复制    {复制     calcSegmentAvailabilityRangeFromTimeline: true复制    }复制})

使用Offset避免Upset

為了能夠在DASH視頻流中插入廣告，MPD經(jīng)常使用多種分段時(shí)間。讓我們來(lái)看一個(gè)非常簡(jiǎn)單的示例：我們想向主要內(nèi)容（main content）添加一個(gè)中貼片廣告。

這種情況下，我們?cè)谇袚Q為廣告內(nèi)容前，先播放8秒主要內(nèi)容。廣告結(jié)束后，我們重新播放主要內(nèi)容。所有分段持續(xù)時(shí)間總和構(gòu)成了18秒媒體呈現(xiàn)持續(xù)時(shí)間。

為了將視頻切片對(duì)應(yīng)到媒體緩沖區(qū)中的目標(biāo)位置，MSE對(duì)切片的內(nèi)部呈現(xiàn)時(shí)間戳（既最早的呈現(xiàn)時(shí)間EPT，Earliest Presentation Time）添加了可配置的timestampOffset。因此，應(yīng)用可以通過調(diào)整timestampOffset控制切片在緩沖區(qū)中的位置。

現(xiàn)在，以上所述對(duì)我們的示例而言又有什么意義呢？讓我們假設(shè)主要內(nèi)容中的第一個(gè)切片和廣告內(nèi)容中的第一個(gè)切片的EPT為0。在DASH視頻流中，一個(gè)切片的呈現(xiàn)時(shí)間與其分段時(shí)間的開始有關(guān)。如果我們僅僅將每個(gè)切片的MSE.timestampOffset設(shè)置為每個(gè)分段時(shí)間的起始時(shí)間會(huì)發(fā)生什么？如下所示：分段時(shí)間1和分段時(shí)間2沒有問題。

复制--- Period 1 ---复制MSE.timestampOffset = Period@start = 0复制BufferPosition(Seg 1) = MSE.timestampOffset + EPT = 0 + 0 = 0 复制BufferPosition(Seg 4) = MSE.timestampOffset + EPT = 0 + 6 = 6复制 复制--- Period 2 --- 复制MSE.timestampOffset = Period@start = 8复制BufferPosition(Seg 1) = MSE.timestampOffset + EPT = 8 + 0 = 8 复制BufferPosition(Seg 2) = MSE.timestampOffset + EPT = 8 + 2 = 10

但問題出現(xiàn)在分段時(shí)間3。因?yàn)槲覀儚牡?個(gè)切片開始，EPT沒有設(shè)置為0。

复制--- Period 3 ---复制MSE.timestampOffset = Period@start = 12复制BufferPosition(Seg 5) = MSE.timestampOffset + EPT = 12 + 8 = 20 

沒有將分段時(shí)間3的第一個(gè)切片定位在媒體呈現(xiàn)時(shí)間線中的第12秒，而是在第20秒時(shí)結(jié)束了。幸運(yùn)的是，有一個(gè)方法很容易解決剛剛的問題：在MPD中，我們可以為每個(gè)時(shí)間段分配一個(gè)單獨(dú)的@presentationTimeOffset （注意：在此示例中，我們做了一些簡(jiǎn)化處理）。

在MPD中，對(duì)于每個(gè) Representation而言，@presentationTimeOffset都不同。dash.js 使用@presentationTimeOffset來(lái)計(jì)算 MSE.timestampOffset。我們將@presentationTimeOffset的值設(shè)置為該時(shí)段中第一個(gè)切片的EPT：

复制--- Period 3 ---复制MSE.timestampOffset = Period@start - @presentationTimeOffset = 12 - 8 = 4复制BufferPosition(Seg 5) = MSE.timestampOffset + EPT = 4 + 8 = 12 复制BufferPosition(Seg 6) = MSE.timestampOffset + EPT = 4 + 10 = 14 

現(xiàn)在所有切片都處在媒體緩沖區(qū)的正確位置，我們終于得到了一個(gè)連續(xù)的媒體呈現(xiàn)時(shí)間線。

關(guān)注緩沖——前方空隙

基于MSE的播放器有一個(gè)大問題，那就是時(shí)間線中的時(shí)間空隙。大部分MSE實(shí)現(xiàn)無(wú)法處理這種情況，因?yàn)槠渲械拿襟w緩沖并不連續(xù)，而且一旦播放位置到達(dá)空隙，緩沖就會(huì)停止。那么當(dāng)我們?cè)谟懻摽障兑约爱a(chǎn)生空隙的原因時(shí)，到底意味著什么？從我們的經(jīng)驗(yàn)來(lái)看，空隙主要由以下兩個(gè)原因引起：

• 后續(xù)時(shí)間段沒有對(duì)齊，結(jié)果時(shí)間段邊界處的切片也無(wú)法對(duì)齊。

• 切片中的總媒體樣本持續(xù)時(shí)間短于其呈現(xiàn)持續(xù)時(shí)間所指示的時(shí)間。

最終就導(dǎo)致了如下情況的發(fā)生：

在這種情況下，切片1和切片2完美對(duì)齊，然而切片2和切片3之間有一個(gè)空隙。為了避免出現(xiàn)播放停止，dash.js會(huì)適時(shí)啟用一個(gè)復(fù)雜的空隙跳轉(zhuǎn)機(jī)制?？梢酝ㄟ^如下設(shè)置啟用和配置該機(jī)制：

复制player.updateSettings({复制   streaming: 复制    {复制            jumpGaps: true,复制            jumpLargeGaps: true,复制            smallGapLimit: 1.5,复制    }复制})

/ 結(jié)語(yǔ) /

本篇文章中，我們分享了MPEG-DASH視頻流中6種最常見的隱患。

當(dāng)播放受到DRM保護(hù)的視頻時(shí)，我們強(qiáng)調(diào)需要https，并概括了使用特定DRM系統(tǒng)平臺(tái)的重要性。除此之外，我們推動(dòng)了實(shí)現(xiàn)EME舊版本的需求。

MPEG-DASH的時(shí)序模型并不容易理解。錯(cuò)誤的DVR窗口會(huì)導(dǎo)致播放停止和失敗。在多時(shí)段廣告插入的背景下，使用MPD的具體屬性將時(shí)間段對(duì)齊以避免媒體緩沖的不連續(xù)很重要。此外，當(dāng)MSE實(shí)現(xiàn)無(wú)法處理媒體緩沖中的空隙時(shí)，應(yīng)避免媒體時(shí)間線中的空隙。

dash.js播放器能夠處理大部分以上情況，并幫助識(shí)別和解決此類問題。

審核編輯 ：李倩