OMCS網(wǎng)絡(luò)語音視頻聊天框架功能及技術(shù)分析

OMCS網(wǎng)絡(luò)語音視頻框架是集成了語音通話、視頻通話、遠(yuǎn)程桌面觀看與協(xié)助、電子白板編輯與觀看等多種媒體于一身的跨平臺（.NET、Android、iOS）網(wǎng)絡(luò)多媒體框架，實現(xiàn)了多媒體設(shè)備【麥克風(fēng)、攝像頭、桌面、電子白板】的采集、編碼、網(wǎng)絡(luò)傳送、解碼、播放（或顯示）等相關(guān)的一整套流程，且可智能地根據(jù)網(wǎng)絡(luò)狀況實時調(diào)整幀頻、清晰度、并優(yōu)先保證語音通話效果。您只要連接到OMCS服務(wù)器，就可以隨時訪問任何一個在線用戶的多媒體設(shè)備?；贠MCS語音視頻聊天框架，您可以快速地開發(fā)視頻聊天系統(tǒng)、視頻會議系統(tǒng)、遠(yuǎn)程醫(yī)療系統(tǒng)、遠(yuǎn)程教育系統(tǒng)、網(wǎng)絡(luò)監(jiān)控系統(tǒng)等等基于網(wǎng)絡(luò)多媒體的應(yīng)用系統(tǒng)。（可跳過概要介紹，直接進(jìn)入開發(fā)手冊目錄?或?Demo下載）一.OMCS語音視頻聊天框架功能簡介

任何一個OMCS的Client都有兩種身份：Owner和Guest。

當(dāng)一個Client作為Owner時，它提供本地的攝像頭、話筒、桌面、電子白板等多媒體設(shè)備供其它的Client訪問。

而當(dāng)一個Client訪問其它Client提供的多媒體設(shè)備時，則該Client就是以Guest的身份出現(xiàn)。

2.單向連接，1對1，1對N，N對1，N對N的關(guān)系

一個Client可以同時訪問多個在線Client的多媒體設(shè)備；而一個Client提供的某個多媒體設(shè)備，也可以同時被多個其它的Client同時訪問。其基礎(chǔ)是單向連接（比如當(dāng)A訪問B的攝像頭時，B不用訪問A的攝像頭），由單向連接就可以組合成1對1，1對N，N對1，N對N的關(guān)系， 這樣就非常靈活。

像監(jiān)控一個攝像頭這樣的系統(tǒng)直接使用單向連接就可以；兩個人視頻聊天就是1對1的關(guān)系；在線教育系統(tǒng)中，老師講學(xué)生聽，就是1對N的關(guān)系；同時監(jiān)控多個攝像頭就是N對1的關(guān)系；而視頻會議則是“N對N的關(guān)系”。

3.P2P通道

當(dāng)兩個Client之間相互通信時，OMCS底層會自動嘗試P2P連接，如果P2P通道能創(chuàng)建成功，該兩個客戶端之間的后續(xù)通信都經(jīng)過P2P通道進(jìn)行。即使P2P通道是基于UDP的，OMCS也會保證P2P通信的可靠性。

4.信道分離

在某些具體的應(yīng)用中，我們可能需要把信道依據(jù)數(shù)據(jù)的類型進(jìn)行分離。比如，在視頻會議系統(tǒng)中，希望能將傳送語音的信道獨立出來，以避免其它類型數(shù)據(jù)傳送時可能產(chǎn)生的擁擠而影響到語音的流暢性。這種情況下，我們就可以將語音數(shù)據(jù)分離到一條專用的信道進(jìn)行傳送。

5.超簡單的編程模型

當(dāng)基于OMCS語音視頻聊天框架進(jìn)行開發(fā)時，如果要訪問其它客戶端提供的多媒體設(shè)備，我們只需要從工具箱中拖拽對應(yīng)的連接器控件/組件到UI上，然后調(diào)用其Connect方法連接到目標(biāo)設(shè)備即可。Connect方法會返回連接的結(jié)果，如果連接成功，則該連接器控件/組件將會正常工作（比如，CameraConnector控件將會顯示目標(biāo)攝像頭捕捉到的視頻）。

另外，我們已經(jīng)提供了完整的OMCS服務(wù)端程序，即OMCS.Server.exe，在使用時，只要部署該程序并啟動它即可。

6.與應(yīng)用集成

OMCS解決的僅僅是多媒體設(shè)備的管理、連接、顯示/播放、控制等問題，并沒有摻雜具體的業(yè)務(wù)邏輯。所以，當(dāng)與具體的應(yīng)用集成時，通常OMCS的服務(wù)端是獨立的，而OMCS的客戶端dll將被嵌入到具體應(yīng)用的客戶端程序中，就像下面一樣：

?

（如果您只需要采集本地語音視頻數(shù)據(jù)，敬請了解?MCapture。如果您需要錄制語音視頻，敬請了解?MFile。）

二.OMCS語音視頻聊天框架技術(shù)特點

1.視頻通話

（1）支持160*120、320*240、480*360、640*480、720p、1080p等多種采集分辨率?？稍谶\(yùn)行時，動態(tài)修改該分辨率。

（2）支持高、中、低三種視頻編碼質(zhì)量。

（3）支持幀頻1~25fps。

（4）當(dāng)網(wǎng)絡(luò)擁塞時，主動棄幀。

（5）根據(jù)網(wǎng)絡(luò)狀態(tài)，自動調(diào)整視頻的編碼質(zhì)量。

（6）可以以位圖格式獲取當(dāng)前視頻幀。

（7）支持多種視頻設(shè)備：普通攝像頭、usb攝像頭、虛擬攝像頭、視頻卡等。

2.音頻通話

（1）支持高、中、低三種音頻編碼質(zhì)量。

（2）支持回音消除（AEC）、靜音檢測（VAD）、噪音抑制（DENOISE）、自動增益（AGC）等網(wǎng)絡(luò)語音技術(shù)。

（3）最多可支持16路混音。

（4）自適應(yīng)的JitterBuffer，根據(jù)網(wǎng)絡(luò)狀態(tài)，動態(tài)調(diào)整緩沖深度。

（5）如果同時開啟音頻和視頻會話，則自動同步視頻畫面與聲音。

（6）在網(wǎng)速慢時，自動調(diào)整視頻的質(zhì)量，優(yōu)先保證音頻的清晰和連貫。

（7）根據(jù)網(wǎng)絡(luò)狀態(tài)，自動切換語音數(shù)據(jù)到質(zhì)量更高的網(wǎng)絡(luò)通道，保證語音通話效果。

3.遠(yuǎn)程桌面

（1）支持高、中、低三種視頻編碼質(zhì)量。

（2）根據(jù)機(jī)器性能和網(wǎng)速自動選擇幀頻。

（3）可動態(tài)調(diào)整屏幕分辨率。

（4）提供觀看模式和控制模式兩種選擇。

（5）當(dāng)網(wǎng)絡(luò)擁塞時，主動棄幀。

（6）根據(jù)網(wǎng)絡(luò)狀態(tài)，自動調(diào)整遠(yuǎn)程桌面的清晰度。

4.電子白板

（1）支持常用的視圖元素：直線、曲線、箭頭、矩形、三角形、橢圓、文字等；支持視圖元素的上下對齊，左右對齊。

（2）可修改邊框顏色、填充顏色、線條粗細(xì)、線條虛實、顯示比例。

（3）可插入圖片、截屏，可將整個白板保存為位圖。

（4）支持課件：上傳課件、打開課件、刪除課件，課件翻頁等。且這些操作會自動同步到連接到了同一白板的各個客戶端。

（5）提供觀看模式和操作模式兩種選擇。

（6）激光筆：OMCS會將老師/主講人的激光筆位置自動同步到各個客戶端。

（7）多個Guest可以同時觀看或操作同一個Owner的白板。

三.OMCS Demo運(yùn)行截圖

視頻/音頻連接器 截圖：

電子白板連接器 截圖? --?不使用課件：???????

電子白板連接器 截圖? --?使用課件： ? ? ??

遠(yuǎn)程桌面連接器 截圖：