Ambarella SoC的 CVflow? 高級(jí)AI引擎驅(qū)動(dòng) 360° 視頻會(huì)議體驗(yàn)提升

全球大流行催化了視頻會(huì)議的繁榮，隨著公司采用混合工作模式并尋求更可持續(xù)的業(yè)務(wù)溝通方法，減少差旅，視頻會(huì)議的繁榮繼續(xù)增長(zhǎng)?，F(xiàn)在，隨著視頻會(huì)議成為現(xiàn)代商業(yè)實(shí)踐的基石，系統(tǒng)開(kāi)發(fā)人員的任務(wù)是改善用戶體驗(yàn)，同時(shí)提供更高水平的功能和性能。除了標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭之外，對(duì)創(chuàng)新商業(yè)通信解決方案的需求推動(dòng)了對(duì) 360° 視頻會(huì)議攝像頭等技術(shù)的需求，這些技術(shù)可以創(chuàng)造身臨其境的混合會(huì)議體驗(yàn)。

最新的 360° 攝像頭提供會(huì)議室的全景視圖，捕捉所有現(xiàn)場(chǎng)與會(huì)者。觀眾還可以在房間內(nèi)進(jìn)行數(shù)字平移、傾斜和縮放，就像他們真的在場(chǎng)一樣。這為遠(yuǎn)程參與者提供了身臨其境的體驗(yàn)，通過(guò)創(chuàng)建有機(jī)的面對(duì)面交互來(lái)促進(jìn)自然協(xié)作。

利用 AI 的強(qiáng)大功能，開(kāi)發(fā)人員可以創(chuàng)建具有增強(qiáng)功能和最低硬件要求的下一代視頻會(huì)議系統(tǒng)。讓我們探索一種這樣的創(chuàng)新視頻會(huì)議實(shí)現(xiàn)方案，其中四個(gè) 4K 攝像頭連接到一個(gè)高性能 AI 視覺(jué)處理器。這創(chuàng)建了一個(gè)系統(tǒng)，該系統(tǒng)提供寬廣的 360° 全景視圖，以及單個(gè)會(huì)議參與者的視圖，以及參與者跟蹤和自動(dòng)拼接等功能。此外，這些全景視圖可以與高分辨率的 360° 去畸變技術(shù)相結(jié)合，以提供整個(gè)房間的更清晰、不失真的視圖。

這款下一代系統(tǒng)的核心是 Ambarella 片上系統(tǒng) （SoC） 內(nèi)部的 CVflow? 高級(jí) AI 引擎，該引擎專為高效率、高性能和低延遲應(yīng)用而設(shè)計(jì)。只需一個(gè)芯片，CVflow 引擎就使開(kāi)發(fā)人員能夠?qū)崿F(xiàn)一套 AI 驅(qū)動(dòng)的功能，這些功能可以在多個(gè)感興趣的區(qū)域同時(shí)運(yùn)行，包括：

• 人臉識(shí)別 （Face ID）： 支持跨不同攝像頭對(duì)多個(gè)參與者進(jìn)行自動(dòng)取景、跟蹤和重新識(shí)別
• 背景去除： 提供干凈、專業(yè)的視頻源
• 手勢(shì)檢測(cè)和分類： 使演示者能夠通過(guò)簡(jiǎn)單的手勢(shì)控制攝像機(jī)
• 白板內(nèi)容提?。?/strong> 通過(guò)識(shí)別白板內(nèi)容來(lái)增強(qiáng)協(xié)作;優(yōu)化其外觀并提高其可讀性
• Vivid HDR（AI 輔助色調(diào)映射）： 通過(guò)使用 AI 為同一房間內(nèi)處于截然相反的照明條件下的參與者提供更寬的動(dòng)態(tài)范圍（例如，一個(gè)靠近窗戶，另一個(gè)位于光線不足的角落），從而在傳統(tǒng)處理的基礎(chǔ)上提高圖像質(zhì)量

除了與視覺(jué)相關(guān)的功能外，我們 SoC 中的 CVflow AI 引擎還支持 AI 音頻功能的實(shí)現(xiàn)，例如：

• Voice ID： 結(jié)合 Face ID 識(shí)別并定位個(gè)人語(yǔ)音;消除非目標(biāo)聲部以獲得更清晰的音頻
• 基于 AI 的噪聲分類和抑制： 實(shí)時(shí)識(shí)別不需要的聲音（例如咳嗽、吠叫或割草機(jī)）并抑制它們，消除分散注意力的噪音

除了這些 AI 功能之外，利用 Ambarella CVflow SoC 的實(shí)現(xiàn)還提供了幾個(gè)關(guān)鍵的技術(shù)優(yōu)勢(shì)：

• 為多相機(jī)和單相機(jī)解決方案提供業(yè)界領(lǐng)先的圖像信號(hào)處理性能
• 8K 視頻編碼，支持高分辨率的多個(gè)感興趣區(qū)域 - 放大距離攝像頭較遠(yuǎn)的參加者，而不會(huì)降低視頻質(zhì)量
• 動(dòng)態(tài)拼接，可在組合來(lái)自多個(gè)攝像頭的圖像時(shí)最大限度地減少偽影
• 從攝像頭到顯示器的超低延遲 （80 毫秒） - 遠(yuǎn)低于 Microsoft Teams 規(guī)范

上述示例中的全面功能和技術(shù)優(yōu)勢(shì)顯著增強(qiáng)了視頻會(huì)議體驗(yàn)，與以前基于 FPGA 的系統(tǒng)相比，這帶來(lái)了更具成本效益和能效的解決方案。此外，利用帶有集成 CVflow AI 引擎的單個(gè) SoC 以及 Ambarella 的工具，提供了一個(gè)強(qiáng)大的開(kāi)發(fā)環(huán)境，能夠支持各種算法，并在不影響功能或性能的情況下提供更高程度的設(shè)計(jì)靈活性和簡(jiǎn)單性。

展望未來(lái)，將 AI 集成到視頻會(huì)議系統(tǒng)中將需要更強(qiáng)大、更高效的處理器，這些處理器既能夠支持豐富的基于 AI 的功能，又能提供卓越的圖像質(zhì)量。通過(guò)利用 AI 的強(qiáng)大功能，我們不僅增強(qiáng)了視頻通話，還重新構(gòu)想了混合工作和遠(yuǎn)程通信的本質(zhì)。