OpenHarmony4.0源碼解析之媒體框架

媒體框架簡(jiǎn)介

媒體框架 multimedia_player_framework 主要提供音視頻的錄制與播放功能。

框架簡(jiǎn)介

從框架圖中可以看出，媒體框架的主要工作模式為通過(guò) Gstreamer 的插件自動(dòng)化注冊(cè)及插件組合功能，將其余媒體播放相關(guān)的框架功能插件化，配合 Gstreamer 自身豐富的插件，共同來(lái)對(duì)外提供音視頻的錄制與播放功能。如通過(guò) audio-sink 及 audio-source 插件調(diào)用音頻框架的播放及采集功能來(lái)實(shí)現(xiàn)音頻的播放與錄制；通過(guò) surface-sink 調(diào)用圖形框架，video-decoder 調(diào)用解碼驅(qū)動(dòng)模塊實(shí)現(xiàn)視頻的硬解播放等。

Gstreamer 基本概念

Gstreamer 是媒體框架中的重要組成部分，采用基于插件（plugin）和管道（pipeline）的體系結(jié)構(gòu)，框架中的所有的功能模塊都被實(shí)現(xiàn)成可以插拔的組件（plugin），能夠很方便地安裝到任意管道上。插件架構(gòu)是 GStreamer 的核心，幾乎所有的媒體處理功能都可以抽象成為插件的一部分。

以一個(gè)圖中完整的 ogg 播放流程為例： GStreamer 內(nèi)部使用 pipeline（管線）機(jī)制來(lái)做信令控制，元素組件管理和數(shù)據(jù)傳輸，一個(gè) pipeline 內(nèi)部存在多個(gè) element（元素），每個(gè)元素內(nèi)部存在輸入和輸出的端口（pad）；
解碼流程具體為 ogg 文件源 source 經(jīng)過(guò)解封裝器 demuxer 產(chǎn)生 vorbis 編碼的數(shù)據(jù)流，之后經(jīng)過(guò)解碼器 decoder 解碼為浮點(diǎn) float 格式的 raw 數(shù)據(jù)，浮點(diǎn) raw 數(shù)據(jù)通過(guò)轉(zhuǎn)換器轉(zhuǎn)換為整形 raw 數(shù)據(jù)，最后通過(guò)輸出 sink 完成音頻信號(hào)輸出。虛線下面的標(biāo)注為經(jīng)過(guò)每個(gè) pad 的輸入格式和輸出格式。
GStreamer 定義了以下元素概念：

Source:可以理解為數(shù)據(jù)源，也就是數(shù)據(jù)流的起始地。例如文件，網(wǎng)絡(luò)源，攝像機(jī)麥克風(fēng)的輸入。

Filter: 過(guò)濾器, 也可理解為中間處理單元，將 sink pad 傳入的數(shù)據(jù)經(jīng)過(guò)內(nèi)部處理通過(guò) src pad 傳出。編解碼器，封裝/解封裝都可以認(rèn)為是 Filter。有人可能會(huì)與 Ffmpeg 的 filter 相混淆，F(xiàn)fmpeg 中 Filter 定義為處理原始數(shù)據(jù)（解碼后數(shù)據(jù)的）的功能單元。提供音視頻后處理功能。Gstreamer 中 Filter 更強(qiáng)調(diào)同時(shí)存在輸入和輸出的概念，功能的范圍更大一些。

Sink:數(shù)據(jù)接受者，source 產(chǎn)生的數(shù)據(jù)流最終要流向的地方。例如輸出文件，屏幕顯示，揚(yáng)聲器輸出。

Bin: 與 pipeline 類似，它們的區(qū)別為 pipeline 肯定是一個(gè) bin，但 bin 不一定是 pipeline，它就像一個(gè)盒子，存放了多個(gè)元素，實(shí)現(xiàn)了部分甚至完整的由 source 到 sink 的流程。Bin 提供了軟總線 Bus 用于處理內(nèi)部產(chǎn)生的信號(hào)（這些消息包括:錯(cuò)誤消息(error messages),卷標(biāo)消息(tag messages),EOS 消息(EOS messages)）。**PipeLine: pipeline 是高級(jí)的 Bin。**當(dāng)你設(shè)定管道的暫?；蛘卟シ艩顟B(tài)的時(shí)候,數(shù)據(jù)流將開(kāi)始流動(dòng),并且媒體數(shù)據(jù)處理也開(kāi)始處理。一旦開(kāi)始,管道將在一個(gè)單獨(dú)的線程中運(yùn)行,直到被停止或者數(shù)據(jù)流播放完畢。

音視頻播放流程

1.視頻播放流程如下：

2.視頻播放的接口調(diào)用時(shí)序圖如下：播放器在設(shè)置播放源時(shí)，完成 Gstreamer engine 的加載，在 prepare 時(shí) 完成對(duì)于 gsreamer playbin 的初始化，后續(xù)的播放，暫停等接口都是通過(guò)控制 Gstreamer playbin 的狀態(tài)來(lái)控制播放流。

音視頻錄制流程

1.音視頻錄制流程如下：

2.音視頻錄制接口調(diào)用時(shí)序圖如下：以音頻錄制為例，用戶在調(diào)用 prepare 接口時(shí)，會(huì)依次設(shè)置音頻源，音頻輸出格式，以及音頻配置參數(shù)和音頻輸出路徑，在基本配置完成后，才會(huì)形成音頻錄制的 pipeline，與播放器不同，該 pipeline 為框架自定義。在音頻錄制的 pipeline 形成后，即可通過(guò) recorderPipeline 的狀態(tài)來(lái)控制錄制流。

媒體框架 4.0 新增能力

1 ScreenCapture

ScreenCapture 為屏幕采集模塊，提供屏幕畫面采集及音頻采集功能。主要提供如下接口：

class ScreenCapture {
public:
    virtual ~ScreenCapture() = default;
    virtual int32_t Init(AVScreenCaptureConfig config) = 0;
    virtual int32_t SetMicrophoneEnabled(bool isMicrophone) = 0;
    virtual int32_t StartScreenCapture() = 0;
    virtual int32_t StopScreenCapture() = 0;
    virtual int32_t AcquireAudioBuffer(std::shared_ptr &audiobuffer, AudioCaptureSourceType type) = 0;
    virtual sptr AcquireVideoBuffer(int32_t &fence, int64_t ×tamp, Rect &damage) = 0;
    virtual int32_t ReleaseAudioBuffer(AudioCaptureSourceType type) = 0;
    virtual int32_t ReleaseVideoBuffer() = 0;
    virtual int32_t Release() = 0;
    virtual int32_t SetScreenCaptureCallback(const std::shared_ptr &callback) = 0;
};

?
從提供的結(jié)構(gòu)體 AVScreenCaptureConfig 來(lái)看，主要采集類型如下：CaptureMode : 采集模式包括了主屏幕、特定屏幕（暫不支持）、特定窗口（暫不支持）采集；DataType : 數(shù)據(jù)類型包括原始流，編碼流（暫不支持）和文件（暫不支持）；AudioInfo : 音頻信息包括對(duì)采樣率，采樣格式以及音頻源的設(shè)置。音頻源支持麥克風(fēng)以及系統(tǒng)內(nèi)部音源；VideoInfo : 視頻信息主要包括分辨率以及視頻源類型，視頻源類型主要為 yuv（暫不支持），es 流（暫不支持），rgba；

struct AVScreenCaptureConfig {
    CaptureMode captureMode;
    DataType dataType;
    AudioInfo audioInfo;
    VideoInfo videoInfo;
    RecorderInfo recorderInfo;
};

?
音視頻數(shù)據(jù)的流轉(zhuǎn)如下圖，分別存在音頻和視頻數(shù)據(jù)的緩存隊(duì)列，通過(guò) bufferavailable 來(lái)通知用戶可用 buffer，用戶可通過(guò) acquireBuffer 和 releaseBuffer 來(lái)獲取和刪除音視頻數(shù)據(jù)

2 SoundPool

SoundPool 為音頻池管理模塊，提供集中管理多個(gè)音頻資源的功能。該框架實(shí)際并未經(jīng)過(guò)媒體框架的 IPC，而是在 client 端直接調(diào)用了音頻解碼器和音頻渲染器。

SoundPool 通過(guò) SoundIdManager 來(lái)管理 SoundParser 獲取音頻流解碼數(shù)據(jù)，通過(guò) StreamIdManager 來(lái)管理 CacheBuffer 控制音頻流的播放，加載資源及播放的調(diào)用流程如下：

3 Monitor

媒體框架的播放及錄制 client 與 stub 分別通過(guò)繼承 MonitorClientObject，MonitorServerObject 來(lái)實(shí)現(xiàn)對(duì)于媒體播放錄制運(yùn)行狀態(tài)的監(jiān)控。client 在開(kāi)始播放或者錄制后每隔 1s 向 server 端發(fā)送 click 指令，Server 端每隔 1.5s 檢查對(duì)應(yīng)的 client 是否過(guò)長(zhǎng)時(shí)間未發(fā)送指令，若出現(xiàn)異常，則調(diào)用暫停命令，否則調(diào)用恢復(fù)播放指令。

為了能讓大家更好的學(xué)習(xí)鴻蒙 (OpenHarmony) 開(kāi)發(fā)技術(shù)，這邊特意整理了《鴻蒙 (OpenHarmony)開(kāi)發(fā)學(xué)習(xí)手冊(cè)》，希望對(duì)大家有所幫助：

《鴻蒙（Harmony OS）開(kāi)發(fā)學(xué)習(xí)手冊(cè)》

入門必看：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.應(yīng)用開(kāi)發(fā)導(dǎo)讀（ArKTS）
2.……

HarmonyOS概念：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.系統(tǒng)定義
2.技術(shù)框架
3.技術(shù)特性
4.系統(tǒng)安全

快速入門：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.基本概念
2.構(gòu)建第一個(gè)ArkTS應(yīng)用
3.……

開(kāi)發(fā)基礎(chǔ)知識(shí)：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.應(yīng)用基礎(chǔ)知識(shí)
2.配置文件
3.應(yīng)用數(shù)據(jù)管理
4.應(yīng)用安全管理
5.應(yīng)用隱私保護(hù)
6.三方應(yīng)用調(diào)用管控機(jī)制
7.資源分類與訪問(wèn)
8.學(xué)習(xí)ArkTS
9…

基于ArkTS 開(kāi)發(fā)：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.Ability開(kāi)發(fā)
2.UI開(kāi)發(fā)
3.公共事件與通知
4.窗口管理
5.媒體
6.安全
7.網(wǎng)絡(luò)與鏈接
8.電話服務(wù)
9.數(shù)據(jù)管理
10.后臺(tái)任務(wù)(Background Task)管理
11.設(shè)備管理
12.設(shè)備使用信息統(tǒng)計(jì)
13.DFX
14.國(guó)際化開(kāi)發(fā)
15.折疊屏系列
16………

審核編輯 黃宇