使用CPU/GPU流式傳輸實(shí)時(shí)視頻

使用標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò)和現(xiàn)成的 3D 游戲 CPU/GPU 硬件，可以實(shí)現(xiàn)將傳感器數(shù)據(jù)分發(fā)到多個(gè)控制臺(tái)顯示器，以支持基于軟件的解壓縮和顯示組合。這減少了視頻處理和顯示系統(tǒng)對(duì)專有硬件技術(shù)的依賴。

現(xiàn)代計(jì)算平臺(tái)已經(jīng)發(fā)生了重大變化，以滿足3D游戲市場(chǎng)的需求。因此，他們現(xiàn)在提供了一種高性能計(jì)算解決方案，非常適合將實(shí)時(shí)視頻和雷達(dá)數(shù)據(jù)從傳感器流式傳輸?shù)斤@示器的需求。

采用行業(yè)標(biāo)準(zhǔn)的處理和圖形架構(gòu)可降低初始系統(tǒng)成本，并通過減少對(duì)專業(yè)專有硬件的依賴來簡(jiǎn)化未來的技術(shù)增強(qiáng)。跨異構(gòu) CPU 和 GPU 硬件運(yùn)行的靈活軟件也是關(guān)鍵。該軟件很容易在不同供應(yīng)商的處理硬件之間移動(dòng)，并且可以適應(yīng)行業(yè)標(biāo)準(zhǔn)處理和顯示技術(shù)路線圖中的處理和顯示功能的升級(jí)。為了理解這種不斷變化的范式，討論了視頻解壓縮和顯示，以及軟件和中間件接口。

視頻解壓縮和顯示

圖形處理器單元（GPU）的不斷發(fā)展，例如3D游戲市場(chǎng)中使用的圖形處理器單元（GPU）使現(xiàn)代顯示客戶端能夠處理傳感器解壓縮和軟件中的顯示。使用標(biāo)準(zhǔn)客戶端顯示硬件，通過軟件進(jìn)行配置以滿足不同的操作需求，意味著更多的通用性、更少的變體和更低的系統(tǒng)成本。多通道的全 H.264 解碼以及雷達(dá)解壓縮、掃描轉(zhuǎn)換和多窗口顯示均可使用使用標(biāo)準(zhǔn) CPU 加 GPU 技術(shù)的行業(yè)標(biāo)準(zhǔn)硬件實(shí)現(xiàn)。將GPU用于多個(gè)應(yīng)用的靈活性大大簡(jiǎn)化了系統(tǒng)架構(gòu)，因?yàn)橥ㄓ玫娘@示架構(gòu)可用于雷達(dá)、視頻和組合顯示位置。

由于壓縮的傳感器數(shù)據(jù)使用多播協(xié)議分發(fā)，因此網(wǎng)絡(luò)負(fù)載不受添加額外顯示客戶端的影響?；赑C或SBC的低成本顯示位置可以實(shí)現(xiàn)復(fù)雜的多控制臺(tái)實(shí)時(shí)視頻和雷達(dá)顯示，并且軟件可以很容易地在不同操作角色之間重新配置。

現(xiàn)代圖形處理器，如NVIDIA和AMD（采用ATI）提供的圖形處理器，提供復(fù)雜的處理和顯示功能，現(xiàn)在已經(jīng)發(fā)展到模糊CPU和GPU之間的區(qū)別。此外，軟件現(xiàn)在正在發(fā)展，允許程序員編寫將在選擇操作環(huán)境的情況下在CPU或GPU上執(zhí)行的代碼。這允許對(duì)數(shù)據(jù)集進(jìn)行密集操作，以利用GPU上的多個(gè)處理器，CPU處理復(fù)雜的順序代碼，輸入/輸出和系統(tǒng)管理。

盡管GPU在計(jì)算可以并行化時(shí)具有巨大的吞吐量的潛力，但許多問題，甚至是計(jì)算密集型問題，都很難以GPU可以利用的方式表達(dá)出來。以3 GHz運(yùn)行的多核CPU并不懶惰，因此讓CPU處理數(shù)據(jù)通常比弄清楚如何使用GPU然后將數(shù)據(jù)傳入和傳出以進(jìn)行處理更有效。將數(shù)據(jù)移入和移出 GPU 并將傳輸與 CPU 上的處理同步，可能會(huì)抵消并行處理可以提供的任何處理增益。在許多情況下，傳輸數(shù)據(jù)和同步將結(jié)果交還給CPU的開銷是令人望而卻步的，而建模和量化這被證明是非常困難的。

在解壓縮H.264視頻的情況下，GPU提供了一個(gè)理想的處理平臺(tái)。壓縮的，因此相對(duì)較低的數(shù)據(jù)速率（例如，對(duì)于高清視頻信號(hào)為20 Mbps）輸入數(shù)據(jù)從CPU傳輸?shù)紾PU。壓縮后，數(shù)據(jù)可以保留在GPU內(nèi)存中，準(zhǔn)備傳輸?shù)斤@示窗口。通過這種方式，可以避免其他昂貴的操作（在內(nèi)存?zhèn)鬏敽托枰交谻PU方面）。CPU 負(fù)責(zé)調(diào)度將視頻數(shù)據(jù)從屏幕外內(nèi)存?zhèn)鬏數(shù)斤@示窗口，可以選擇將視頻數(shù)據(jù)與疊加層相結(jié)合，以將符號(hào)系統(tǒng)添加到視頻窗口中。此過程允許客戶端顯示應(yīng)用程序創(chuàng)建顯示為視頻疊加層（十字準(zhǔn)線、目標(biāo)信息、地理特征等）的圖形圖層，并使最終顯示由多個(gè)獨(dú)立更新的圖層組成 - 所有這些都是實(shí)時(shí)的。直到最近，這種多層實(shí)時(shí)視頻系統(tǒng)還需要高度專業(yè)化的硬件產(chǎn)品。但是，3D游戲技術(shù)現(xiàn)在支持這種CPU加GPU的壓縮和顯示。在行業(yè)標(biāo)準(zhǔn)硬件中實(shí)現(xiàn)這一點(diǎn)的能力是一項(xiàng)重大發(fā)展。數(shù)據(jù)路徑如圖 1 所示。

圖 1：使用服務(wù)器端硬件捕獲和壓縮的攝像機(jī)視頻可以使用標(biāo)準(zhǔn) GPU 加 CPU 架構(gòu)進(jìn)行解壓縮和顯示，并由客戶端顯示合成提供可選的注釋。

在視頻和雷達(dá)分配系統(tǒng)組合的實(shí)際實(shí)現(xiàn)中，服務(wù)器使用攝像頭和雷達(dá)傳感器捕獲數(shù)據(jù)。此數(shù)據(jù)由采集服務(wù)器壓縮，并使用多播網(wǎng)絡(luò)數(shù)據(jù)包分發(fā)到任意數(shù)量的控制臺(tái)。由于原始攝像頭和雷達(dá)數(shù)據(jù)顯示在網(wǎng)絡(luò)上，因此每個(gè)控制臺(tái)都可以選擇可用數(shù)據(jù)的任意組合。其他控制臺(tái)不會(huì)影響網(wǎng)絡(luò)帶寬，而網(wǎng)絡(luò)帶寬僅是分布式傳感器數(shù)量的函數(shù)。網(wǎng)絡(luò)交換機(jī)負(fù)責(zé)將客戶端連接到服務(wù)器。客戶端控制臺(tái)可以專用于雷達(dá)或視頻的顯示，也可以在單個(gè)顯示位置的兩個(gè)頭上顯示兩者。在所示的示例中，客戶端顯示器在主頭上顯示三個(gè)雷達(dá)視頻窗口，在第二個(gè)頭上顯示兩個(gè)實(shí)時(shí)視頻窗口。對(duì)于相機(jī)顯示，H.264 數(shù)據(jù)在 GPU 內(nèi)部解壓縮，然后縮放以適合輸出窗口。對(duì)于雷達(dá)顯示，使用CPU解壓縮雷達(dá)視頻，然后掃描轉(zhuǎn)換并在三個(gè)PPI窗口中的每個(gè)窗口中以高達(dá)1，920 x 1，200的分辨率顯示圖形。這整個(gè)客戶端處理發(fā)生在 CPU 負(fù)載小于 10% 的中端硬件配置上。網(wǎng)絡(luò)上的其他客戶端維護(hù)自己獨(dú)立的雷達(dá)和視頻顯示。

專為雷達(dá)和視頻設(shè)計(jì)的軟件可確保在各種顯示位置上使用極具成本效益和可互換的硬件，以實(shí)現(xiàn)安全、命令和控制以及消防控制應(yīng)用。對(duì)軟件的強(qiáng)調(diào)和專有硬件的消除確保了設(shè)備的未來升級(jí)可以采用主流計(jì)算和圖形組件。這些組件的演進(jìn)將增強(qiáng)性能、分辨率和數(shù)據(jù)速率，這些都可以使用相同的軟件架構(gòu)進(jìn)行處理。

通過軟件/中間件進(jìn)行接口

通過行業(yè)標(biāo)準(zhǔn)的硬件處理平臺(tái)來提供CPU和GPU資源，實(shí)現(xiàn)該方案的軟件是應(yīng)用程序和中間件的組合。中間件/軟件提供將應(yīng)用層連接到圖形和捕獲硬件的驅(qū)動(dòng)程序的組件，處理網(wǎng)絡(luò)分布、服務(wù)質(zhì)量、緩沖、優(yōu)先級(jí)和顯示合成。劍橋像素在其SPx集成雷達(dá)處理和顯示軟件系列中開發(fā)了一組服務(wù)器和API模塊，為雷達(dá)和視頻傳感器數(shù)據(jù)的傳感器到顯示器捕獲，壓縮，分配，處理和顯示提供編程API。中間件允許從各種傳感器類型捕獲和壓縮，使用來自第三方制造商的硬件卡，例如技術(shù)源的 Condor VC 100x XMC 卡、標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像機(jī)和使用 Matrox 提供的圖像采集卡的 RGB 設(shè)備。這種與各種第三方傳感器和硬件接口的能力提供了顯著的靈活性和成本效益?？梢允褂脴?biāo)準(zhǔn)的SPx AV服務(wù)器應(yīng)用程序處理視頻的分發(fā)，也可以使用集成的雷達(dá)處理和顯示軟件庫構(gòu)建自定義服務(wù)器。在客戶端，該軟件提供應(yīng)用程序和硬件之間的接口軟件，允許利用GPU進(jìn)行視頻壓縮和顯示處理。在顯示雷達(dá)的地方，集成的雷達(dá)處理和顯示軟件處理雷達(dá)掃描轉(zhuǎn)換和顯示混合，以支持高分辨率（高達(dá)1，920 x 1，200）控制臺(tái)顯示。

面向未來的系統(tǒng)架構(gòu)

3D游戲GPU提供了一個(gè)與顯示處理緊密耦合的通用處理器，因此一旦視頻解壓縮，就可以在GPU的范圍內(nèi)傳輸?shù)斤@示窗口。適度的 CPU 和 GPU 組合可以同時(shí)處理多雷達(dá)和視頻顯示以及應(yīng)用程序圖形，以提供多功能的多屏幕、多窗口和多層顯示功能。通過高性能、低成本的商業(yè)處理和圖形設(shè)備替換專有硬件，再加上可以利用這些設(shè)備功能的軟件，有望在初始部署和終身維護(hù)期間節(jié)省大量成本。隨著圖形向通用處理（NVIDIA的路線圖）和處理器集成圖形（英特爾和AMD的路線圖）的轉(zhuǎn)變，市場(chǎng)將進(jìn)一步發(fā)展。

審核編輯：郭婷