賽事直播同步解說,技術(shù)難點解讀

現(xiàn)在很多比賽與活動都會出現(xiàn)在網(wǎng)絡(luò)直播間中，比如最近剛剛開賽的KPL電競賽事，抑或是今年即將開賽的世界杯。賽事直播的數(shù)量會逐漸變多。目前的賽事直播有兩種，一種是單純的轉(zhuǎn)播賽事畫面（包括電視臺解說），另一種是通過OBS類軟件，將賽事直播畫面與主播畫面合圖后推送給觀眾，但是這兩種方式都無法讓主播與觀眾直接進行連麥互動。

如果想同時實現(xiàn)賽事直播與主播連麥，也不無可能。在主播直播過程中，主播可以通過拉流的方式，將外部視頻流加入到自己直播畫面中。當(dāng)然，通過這種方式，我們能引入的視頻源不僅僅局限于電競比賽、體育賽事，還可以是熱門電視劇、活動直播，甚至是無人機的實時航拍畫面。

這種方式不僅可以解決賽事直播缺少連麥互動，還可以讓普通直播間可以從單純的唱見、手游直播、戶外直播，瞬間變成圍繞共同興趣或?qū)崟r熱點的互動直播間，主播與觀眾一邊看“節(jié)目”，一邊音視頻連麥互動。

在這個場景中具體需要實現(xiàn)以下幾個功能：

引入外部視頻流

主播音視頻直播

兩個視頻流合圖

兩個視頻流時間同步

其它業(yè)務(wù)功能（禮物、彈幕、評論等）

實現(xiàn)難點解析

難點一：外部視頻源轉(zhuǎn)碼

外部視頻源多種多樣，視頻格式、分辨率、幀率、碼率千差萬別。所以，為了適應(yīng)不同的終端設(shè)備和網(wǎng)絡(luò)，會在接到視頻源后進行轉(zhuǎn)碼。

普通視頻網(wǎng)站在做賽事轉(zhuǎn)播的時候，一般會提取到的格式是 mp4，但也會出現(xiàn)其它格式。而分辨率則可能是 360p、720p 或 1080p。所以獲取到賽事視頻流時，需要先對該流轉(zhuǎn)碼，生成一路流，再通過 CDN 推到觀眾端。為了兼容不同的終端和網(wǎng)絡(luò)，在轉(zhuǎn)碼時可生成多個分辨率的資源，服務(wù)端配套相應(yīng)的策略來分發(fā)。

而“外部視頻源”不但是為了適配終端和網(wǎng)絡(luò)，還為了便于與主播畫面合圖。直播平臺的主播視頻流是已經(jīng)定義好的，外部視頻源的幀率、碼率、分辨率不統(tǒng)一的情況時，無法合圖，進一步導(dǎo)致無法推流至觀眾端。

因此，需要有轉(zhuǎn)碼，這部分工作如果沒有做好，會導(dǎo)致只能支持有限的外部視頻源格式，比如固定的 AVx 或 H.264。 無法降低或修改分辨率、碼率、幀率。外部音視頻流與主播音視頻流的結(jié)合也較為復(fù)雜，兩路流合成一路流時，合圖的邏輯、音效處理邏輯都需要考慮。

難點二：主播流與外部流時間同步

在使用場景中，主播在獲取到外部音視頻流后，會同步解說。兩路流是分別傳輸至服務(wù)端合圖，并不是在主播端合圖。因此，合圖時要做好主播與外部流的時間同步，讓主播的解說與外部流的畫面能夠?qū)?yīng)。

如果以 AgoraSD-RTN? 作為服務(wù)端，我們可以通過下圖來解釋時間同步的過程。音視頻流傳輸主要有三個環(huán)節(jié)：

1.藍色部分：第三方視頻流處理（藍色）；

2.黃色部分：主播音視頻流傳輸至 Agora SD-RTN?（黃色）；

3.紅色部分：合圖后的流經(jīng)過 CDN 發(fā)送至觀眾端；

需要做同步的是藍色和黃色部分。這兩個環(huán)節(jié)要延時、并且有時間戳標記。

難點三：信令可靠性

從架構(gòu)圖可以看出，請求外部視頻流、外部視頻流轉(zhuǎn)碼、合圖三個環(huán)節(jié)都需要信令的參與。信令的可靠性，直接影響相應(yīng)環(huán)節(jié)的成功率。

提升信令可靠性要通過覆蓋骨干網(wǎng)絡(luò)的大網(wǎng)和讓用戶就近接入的邊緣節(jié)點，二者缺一不可。

如何通過 Agora SDK 實現(xiàn)？

現(xiàn)在，開發(fā)者通過聲網(wǎng)Agora SDK 2.1版新增的“外部輸入直播視頻源”功能，可以直接跨過上述三大難點，實現(xiàn)邏輯如下：

1.第三方視頻流處理；

1）主播端通過信令，請求轉(zhuǎn)碼服務(wù)器從拉取外部音視頻源；

2）外部視頻流進入轉(zhuǎn)碼服務(wù)器，轉(zhuǎn)碼后傳入 Agora SD-RTN?；

2.主播音視頻流傳輸至 Agora SD-RTN?；

3.主播音視頻流與外部音視頻流在 Agora SD-RTN? 內(nèi)合圖；

4.信令控制合圖后的流再次轉(zhuǎn)碼，成為 rtmp 流，經(jīng)過 CDN 發(fā)送至觀眾端 。

支持賽事直播場景的同時，“外部輸入視頻源”還可支持多種場景，比如：

1.在直播中拉入一路或多路 RTMP 或 HLS 流，可以是比賽、演出，同時多人看視頻，并互動；

2.除了網(wǎng)絡(luò)視頻源，還能將無人機或其它網(wǎng)絡(luò)攝像頭捕獲的畫面引入主播畫面。