關(guān)于實(shí)時(shí)音視頻SDK對(duì)智能硬件的視頻適配

融云實(shí)時(shí)音視頻 SDK 會(huì)對(duì)市面上的各類(lèi)智能硬件設(shè)備，特別是各種類(lèi)型、各種版本的手機(jī)進(jìn)行適配，以確保 SDK 的穩(wěn)定性。但不同于手機(jī)的適配，智能硬件的適配有很多不同之處：

1.很多智能硬件的運(yùn)行內(nèi)存、CPU 性能等硬件配置普遍比手機(jī)性能低；2.部分廠商在智能硬件的攝像頭安裝方向、個(gè)數(shù)、類(lèi)型和手機(jī)有較大差異。所以在適配問(wèn)題上，智能硬件需要單獨(dú)進(jìn)行驗(yàn)證討論，下面就為大家進(jìn)行詳細(xì)解析。

融云實(shí)時(shí)音視頻 SDK 攝像頭采集數(shù)據(jù)提供 Texture 和 YUV(NV21) 兩種方式，通過(guò)設(shè)置不同采集方式可以獲取到 Texture ID 或 byte 原始視頻流數(shù)據(jù)。Texture ID 用來(lái)表示圖像照片或者一系列的數(shù)據(jù)，使用紋理可以使物體展現(xiàn)更多的細(xì)節(jié)，YUV 則是攝像頭采集出的 NV21 格式數(shù)據(jù)。

YUV 是一種彩色編碼格式，可以將其理解為原始視頻流數(shù)據(jù)，主要用在視頻、圖形處理流水線中(pipeline)。相對(duì)于 RGB 顏色空間，設(shè)計(jì) YUV 的目的就是為了編碼、傳輸更方便，減少帶寬占用和信息出錯(cuò)。

融云實(shí)時(shí)音視頻 SDK 中默認(rèn)采用 Texture 方式采集，當(dāng)本端使用該方式采集時(shí)，編碼器默認(rèn)將使用 android.media.MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface(0x7F000789) 顏色空間進(jìn)行編碼，如果對(duì)端不支持該顏色空間的情況下，可能會(huì)導(dǎo)致解碼花屏或者解碼失敗問(wèn)題，開(kāi)發(fā)者可以在加入房間之前調(diào)用 RongRTCConfig.Builder#enableVideoTexture 方法設(shè)置是否采用 texture 方式采集。

在遇見(jiàn)智能硬件攝像頭安裝方向、個(gè)數(shù)、類(lèi)型導(dǎo)致的視頻采集問(wèn)題時(shí)，可以通過(guò)融云實(shí)時(shí)音視頻SDK中 RongRTCConfig.Builder 類(lèi)的設(shè)置方法 setCameraDisplayOrientation 和 setCustomizedCameraParameter，修改攝像機(jī)采集的角度和直接設(shè)置給 android.hardware.Camera#setParameters(Parameters params) 配置信息。

融云實(shí)時(shí)音視頻 SDK 會(huì)通過(guò) android.hardware.Camera.getNumberOfCameras() 方法獲取到可用的攝像頭 ID，默認(rèn)會(huì)打開(kāi)前置攝像頭，對(duì)于需要打開(kāi)魚(yú)眼鏡頭或者搭載多個(gè)攝像頭硬件設(shè)備場(chǎng)景中，可以使用

RongRTCCapture.getInstance().startCameraCapture 打開(kāi)、切換；RongRTCCapture.getInstance().switchCamera 指定 ID 的攝像頭。當(dāng)智能硬件帶有 USB 攝像頭或 USB 麥克風(fēng)，并且安卓系統(tǒng)無(wú)法識(shí)別其外置設(shè)備時(shí)，調(diào)用上文方法將無(wú)法打開(kāi)硬件設(shè)備（對(duì)端將無(wú)法觀看本端視頻），這種情況，推薦使用融云實(shí)時(shí)音視頻 SDK 發(fā)布自定義視頻流功能。

二、視頻編解碼適配

融云音視頻 SDK 支持 H.264 編解碼器，以高壓縮、高質(zhì)量和支持多種網(wǎng)絡(luò)的流媒體傳輸著稱，同時(shí)也是 MPEG-4 第十部分，是由ITU-T視頻編碼專(zhuān)家組（VCEG）和ISO/IEC動(dòng)態(tài)圖像專(zhuān)家組（MPEG）聯(lián)合組成的聯(lián)合視頻組（JVT，Joint Video Team）提出的高度壓縮數(shù)字視頻編解碼器標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)通常被稱之為H.264/AVC。

使用融云音視頻 SDK 時(shí)，可以設(shè)置編碼器顏色空間、編碼等級(jí)、編碼幀率、編碼關(guān)鍵幀間隔時(shí)間、編碼器碼率控制模式等配置信息，以解決設(shè)備編解碼導(dǎo)致的問(wèn)題。

融云 RTCLib SDK 中攝像頭采集數(shù)據(jù)采用的顏色格式為 NV21，它屬于 YUV420 格式，如果智能硬件廠商定制了顏色空間，會(huì)導(dǎo)致融云 SDK 內(nèi)部處理顏色空間邏輯和設(shè)備所支持顏色空間不符合，出現(xiàn)編碼報(bào)錯(cuò)、對(duì)端解碼失敗、對(duì)端觀看花屏等現(xiàn)象。遇見(jiàn)此問(wèn)題，開(kāi)發(fā)者可以使用 RongRTCConfig.Builder#setHardWareEncodeColor 方法修改編碼顏色空間來(lái)解決。

由于視頻編碼后顯示的數(shù)據(jù)質(zhì)量偏低，為了調(diào)整質(zhì)量，就需要設(shè)置編碼等級(jí) level、profile。融云 SDK 默認(rèn)使用 android.media.MediaCodecInfo.CodecProfileLevel.AVCProfileBaseline ，開(kāi)發(fā)者也可以通過(guò) RongRTCConfig.Builder#enableHardWareEncodeHighProfile 方法將其設(shè)置為 android.media.MediaCodecInfo.CodecProfileLevel.AVCProfileHigh，AVCProfileHigh 所對(duì)應(yīng)的編碼等級(jí)為 android.media.MediaCodecInfo.CodecProfileLevel.AVCLevel3，AVCProfileHigh 相對(duì) AVCProfileBaseline 采用了更高級(jí)的壓縮特性，這意味著對(duì)端在解碼時(shí)也需要硬件更高的性能，采用 AVCProfileBaseline 是因?yàn)槠浼嫒菪愿摺０沧吭创a中 7.0 版本之前默認(rèn)使用 AVCProfileBaseline ，7.0 才修改了該邏輯。

安卓 6.0 源碼(android/6.0.1_r16/xref/frameworks/av/media/libstagefright/ACodec.cpp)片段如下：

安卓 7.0 源碼(android/7.0.0_r31/xref/frameworks/av/media/libstagefright/ACodec.cpp)代碼片段如下：

編碼碼率控制模式

對(duì)于需要傳輸高質(zhì)量視頻流的場(chǎng)景，除了設(shè)置分辨率、幀率、碼率提高視頻質(zhì)量外，還可以控制編碼碼率，融云 SDK 默認(rèn)使用 CBR ，開(kāi)發(fā)者可以使用音視頻 SDK 的 RongRTCConfig.Builder#setHardWareEncodeBitrateMode 方法修改模式設(shè)置。該屬性安卓 5.0 才開(kāi)始支持參數(shù)設(shè)置，以下是對(duì)三種模式的介紹：

編碼關(guān)鍵幀間隔時(shí)間

H.264 標(biāo)準(zhǔn)中有 Instantaneous Decoding Refresh（IDR，即時(shí)解碼刷新，以下稱 I 幀）。H.264 圖像以序列為單位進(jìn)行組織，一個(gè)序列是一段圖像編碼后的數(shù)據(jù)流，該序列以 I 幀開(kāi)始，到下一個(gè) I 幀結(jié)束。兩個(gè) I 幀之間為多個(gè) P 幀(Predictive-frame)或 B 幀(Bi-directional predicted frames)，設(shè)置的編碼關(guān)鍵幀間隔時(shí)間就是 IDR 間隔時(shí)間。

I 幀：通常是每個(gè) GOP(Group Of Picture) (MPEG 所使用的一種視頻壓縮技術(shù)) 的第一個(gè)幀，I 幀圖像采用幀內(nèi)編碼方式，即只利用了單幀圖像內(nèi)的空間相關(guān)性，而沒(méi)有利用時(shí)間相關(guān)性。I 幀使用幀內(nèi)壓縮，不使用運(yùn)動(dòng)補(bǔ)償，由于 I 幀不依賴其它幀，所以是隨機(jī)存取的入點(diǎn)，同時(shí)是解碼的基準(zhǔn)幀。I 幀主要用于解碼器的初始化，以及節(jié)目的切換和插入，I 幀圖像的壓縮倍數(shù)相對(duì)較低，I 幀圖像是周期性出現(xiàn)在圖像序列中的，出現(xiàn)頻率可由編碼器選擇，I 幀壓縮可去掉視頻的空間冗余，而 B、P 則是為了去掉時(shí)間冗余。

P 幀：向前參考幀（第一幀之后的幀，只存在和前一幀的差異，可以提高壓縮效率和圖像質(zhì)量），壓縮時(shí)只參考前一個(gè)幀，屬于幀間編碼方式（即同時(shí)利用了空間和時(shí)間上的相關(guān)性），P 幀圖像中可以包含幀內(nèi)編碼的部分，即 P 幀中的每一個(gè)宏塊可以是前向預(yù)測(cè)，也可以是幀內(nèi)編碼；它參考前一個(gè) B 幀或 I 幀來(lái)解碼出一張完整的圖像。

B 幀：雙向參考幀，壓縮參考前一幀和后一幀，屬于幀間壓縮技術(shù)。壓縮比高，如果網(wǎng)絡(luò)不好，對(duì)實(shí)時(shí)要求高的話會(huì)一直等待，實(shí)時(shí)互動(dòng)直播一般不使用，值得注意的是，由于 B 幀圖像采用了未來(lái)幀作為參考，因此 MPEG-2 編碼碼流中圖像幀的傳輸順序和顯示順序是不同的。

因?yàn)?H.264 采用了多幀預(yù)測(cè)，所以 I 幀之后的 P幀可能會(huì)參考 I 幀之前的幀，這使得在隨機(jī)訪問(wèn)的時(shí)候不能以找到 I 幀作為參考條件，因?yàn)榧词拐业搅?I 幀，I 幀之后的數(shù)據(jù)也有可能解不出數(shù)據(jù)，而IDR 幀就是一種特殊的 I 幀（這一幀之后的所有參考幀只會(huì)參考IDR，而不會(huì)參考其他前面的幀）。在解碼器中，一旦收到 IDR 幀，就會(huì)立即清理參考幀緩沖區(qū)，并將 IDR 幀作為被參考幀。

融云 SDK 中關(guān)鍵幀間隔時(shí)間默認(rèn)為 100 秒，開(kāi)發(fā)者可以通過(guò) RongRTCConfig.Builder#setHardWareEncodeKeyFrameInterval 方法修改間隔時(shí)間，如果該值設(shè)置過(guò)小，會(huì)加大網(wǎng)絡(luò)流量和編解碼壓力；如果過(guò)大，在網(wǎng)絡(luò)有波動(dòng)情況下，圖像質(zhì)量會(huì)下降。以上就是融云在實(shí)時(shí)音視頻 SDK 對(duì)智能硬件視頻適配方面的一些經(jīng)驗(yàn)，希望能對(duì)開(kāi)發(fā)者朋友們理解智能硬件的適配有所幫助。

fqj