基于FPGA的超低時(shí)延激光多媒體終端

基于FPGA的超低時(shí)延激光多媒體終端

一作品簡(jiǎn)介

隨著數(shù)字光處理技術(shù)(DLP)和液晶顯示器技術(shù)(LCD)的不斷發(fā)展，市場(chǎng)上能實(shí)現(xiàn)4K@60Hz超高清投影的投影機(jī)型號(hào)日漸增加，對(duì)投影儀器性能的要求也與日俱增，對(duì)投影延遲、投影亮度、投影色彩、系統(tǒng)可擴(kuò)展性等方面提出了更高的要求。

在軍用領(lǐng)域中，時(shí)間就是生命，美國空軍的模擬器通用體系結(jié)構(gòu)與標(biāo)準(zhǔn)(Simulator Common Architecture Requirements and Standards，SCARS)中規(guī)定戰(zhàn)斗機(jī)模擬訓(xùn)練全任務(wù)仿真器(Full Mission Simulators, FMS)的模擬投影延時(shí)不得高于20ms；在商用領(lǐng)域中，時(shí)間就是金錢，金融期貨與證券交易的深度行情信息最快每250ms刷新一次，對(duì)投影系統(tǒng)畫面?zhèn)鬏數(shù)臅r(shí)延要求高；在民用領(lǐng)域中，時(shí)間就是快樂，專業(yè)電子競(jìng)技顯示儀器的視頻傳輸時(shí)延需低于16ms。

針對(duì)軍用、商用、民用三大領(lǐng)域?qū)Τ蜁r(shí)延投影顯示的需求，本團(tuán)隊(duì)完全獨(dú)立自主地從硬件系統(tǒng)、邏輯算法以及軟件代碼三方面實(shí)現(xiàn)了基于FPGA的超低時(shí)延超高清激光多媒體終端，同時(shí)兼顧投影亮度、投影色彩和系統(tǒng)可擴(kuò)展性。相比于市場(chǎng)上4K投影時(shí)延高達(dá)40ms到200ms的投影系統(tǒng)，本系統(tǒng)4K投影時(shí)延為15.8ms；能夠支持的最高投影畫面質(zhì)量為4K@60Hz；投影畫面亮度可達(dá)3500流明；畫面對(duì)比度能夠達(dá)到1000:1；系統(tǒng)支持USB3.0接口、千兆網(wǎng)口、萬兆光口等高速接口以實(shí)現(xiàn)硬件擴(kuò)展。

圖1

二硬件設(shè)計(jì)

本系統(tǒng)的硬件設(shè)計(jì)有本團(tuán)隊(duì)成員使用Cadence系列軟件進(jìn)行EDA設(shè)計(jì)，包括原理圖庫設(shè)計(jì)、原理圖設(shè)計(jì)、PCB封裝庫設(shè)計(jì)以及PCB設(shè)計(jì)。本作品的硬件系統(tǒng)原理圖設(shè)計(jì)采用自頂向下的top design設(shè)計(jì)方法。最終完成了復(fù)雜的低延時(shí)激光多媒體終端硬件原理圖設(shè)計(jì)，原理圖共計(jì)58頁，部分頂層設(shè)計(jì)如圖2所示。

圖2

本作品的硬件平臺(tái)為一塊復(fù)雜的16層高密度激光多媒體顯示終端系統(tǒng)板，用于實(shí)現(xiàn)超低時(shí)延激光投影，采用Xilinx Ultrascale+系列的XCZU7EV-FFVC1156E作為核心芯片，板上掛載了6片DDR4擴(kuò)展存儲(chǔ)資源，支持HDMI2.0與V-by-One兩種視頻輸入接口，搭載一路數(shù)字微鏡驅(qū)動(dòng)接口以及一路DP1.2a視頻輸出接口；系統(tǒng)同時(shí)支持SATA大容量存儲(chǔ)設(shè)備、USB3.0接口、MIPI D-PHY攝像頭接口、千兆以太網(wǎng)、萬兆以太網(wǎng)以及光學(xué)控制接口等豐富的外設(shè)資源。

圖3

圖4

三低時(shí)延邏輯算法設(shè)計(jì)

3.1分布式離散交織顯示邏輯算法

顯示信令控制模塊是數(shù)字微鏡驅(qū)動(dòng)單元中的核心模塊，而顯示信令控制模塊中最為核心的就是分布式離散交織顯示算法，該算法的示意圖如下圖所示。該算法采用不同的LFSR隨機(jī)種子優(yōu)化投影顯示策略，實(shí)現(xiàn)了視頻數(shù)據(jù)更高效的顯示，相較于傳統(tǒng)的幀刷新方式，將帶寬利用率提升了74.5%。

圖5

3.2SARR邏輯算法

SARR(Self-Adjust-Rolling-Row)指自適應(yīng)的滾動(dòng)行緩存算法，該算法可極大降低了瞬時(shí)峰值數(shù)據(jù)帶寬。相較于市面投影儀40~200ms量級(jí)的響應(yīng)處理時(shí)延，本系統(tǒng)的4K投影響應(yīng)延時(shí)僅為15.8ms，極大緩解了傳統(tǒng)投影顯示延時(shí)高，投影體驗(yàn)差的問題。基于SARR的低延時(shí)緩存策略貫穿在整個(gè)軟件邏輯設(shè)計(jì)之中，并且著重在數(shù)字微鏡驅(qū)動(dòng)單元中的DDR4緩存單元體現(xiàn)，該算法的整體運(yùn)行監(jiān)控示意圖如圖6所示。

圖6

基于超低延時(shí)的設(shè)計(jì)需求，SARR分為了讀寫兩個(gè)部分，寫檢測(cè)部分需要監(jiān)控輸入的視頻數(shù)據(jù)流、數(shù)據(jù)預(yù)處理，顏色生成等模塊的工作狀態(tài)，檢測(cè)寫部分的整體輸入速率；讀檢測(cè)部分需要基于寫入的數(shù)據(jù)速率，控制顯示信令控制的讀取速度，監(jiān)控DDR4存儲(chǔ)模塊的讀寫狀態(tài)和DMD的數(shù)據(jù)吞吐速率，協(xié)調(diào)讀部分的讀取速率，確保讀寫指針維持偏差維持在4.167ms之內(nèi)。并且，基于SARR可以使得軟件處理部分同時(shí)兼容4K@60Hz、4K@50Hz、4K@30Hz、4K@25Hz等多種顯示規(guī)格。

圖7

3.3作品創(chuàng)新點(diǎn)

3.1.1 全方面自主設(shè)計(jì)的低時(shí)延激光顯示多媒體平臺(tái)系統(tǒng)

本作品中的硬件、邏輯以及軟件均為本團(tuán)隊(duì)成員獨(dú)立自主設(shè)計(jì)的低時(shí)延激光顯示多媒體平臺(tái)。該多媒體平臺(tái)擁有豐富的外設(shè)資源，支持HDMI2.0與V-by-One視頻輸入，能夠通過萬兆光口與千兆網(wǎng)口實(shí)現(xiàn)板級(jí)互聯(lián)實(shí)現(xiàn)硬件資源擴(kuò)展，能夠通過更換數(shù)字微鏡子板以實(shí)現(xiàn)對(duì)不同型號(hào)數(shù)字微鏡芯片的驅(qū)動(dòng)，多媒體終端的可擴(kuò)展性和兼容性強(qiáng)。

本作品使用三色激光光源實(shí)現(xiàn)投影，使用了基于三色激光光源的RGBYCW六色顯示技術(shù)，相比較于傳統(tǒng)DLP投影技術(shù)中使用高壓汞燈投影以及單/雙色激光配合色輪投影的技術(shù)而言，投影亮度更高，對(duì)比度更高，色彩飽和度更高，投影畫面更加真實(shí)，對(duì)應(yīng)用場(chǎng)合的要求更低。

3.1.2 獨(dú)創(chuàng)的新型投影邏輯設(shè)計(jì)架構(gòu)和分布式離散交織顯示算法

本團(tuán)隊(duì)從MEMS底層構(gòu)建驅(qū)動(dòng)應(yīng)用算法，通過SARR(Self-Adjust-Rolling-Row)技術(shù)，相較于市面投影儀40~200ms量級(jí)的響應(yīng)處理時(shí)延，本系統(tǒng)的4K投影響應(yīng)延時(shí)僅為15.8ms，解決了傳統(tǒng)投影顯示延時(shí)高，投影體驗(yàn)差的問題。

本團(tuán)隊(duì)在驅(qū)動(dòng)算法層面，提出了一種通過分布式離散交織顯示算法，采用不同的LFSR隨機(jī)種子優(yōu)化投影顯示策略，實(shí)現(xiàn)了視頻數(shù)據(jù)更高效的顯示，極大降低了瞬時(shí)峰值數(shù)據(jù)帶寬，將帶寬利用率提升74.5%，抑制了偽輪廓噪聲，提高了驅(qū)動(dòng)算法的效果，配合多色投影組合策略，大幅提高了投影畫面的灰度精度及亮度。

3.1.3 突破技術(shù)壁壘，推動(dòng)技術(shù)創(chuàng)新

本作品僅使用一塊FPGA就完成了對(duì)TI數(shù)字微鏡芯片的驅(qū)動(dòng)，相比較于TI傳統(tǒng)的“專用驅(qū)動(dòng)芯片+固件程序”驅(qū)動(dòng)方案，靈活性更高，成本更低，在數(shù)字微鏡驅(qū)動(dòng)領(lǐng)域填補(bǔ)了我國的技術(shù)空白，對(duì)獨(dú)立生產(chǎn)制造數(shù)字微鏡器件具有指導(dǎo)意義。

本作品已申請(qǐng)4項(xiàng)發(fā)明專利，其中3項(xiàng)已通過授權(quán)。

●國家發(fā)明專利《一種基于FPGA的數(shù)字微鏡芯片驅(qū)動(dòng)方法》，專利號(hào)：202110659960.9，已授權(quán)；

●國家發(fā)明專利《一種針對(duì)數(shù)字微鏡芯片的4K分辨率視頻圖像預(yù)處理方法》，專利號(hào)：202110617933.5，已授權(quán)；

●國家發(fā)明專利《一種基于振鏡的數(shù)字微鏡高分辨率視頻圖像投影方法》，專利號(hào)：202210737653.2，已授權(quán)；

●國家發(fā)明專利《一種基于數(shù)字微鏡的8K超高清單色顯示器》，申請(qǐng)?zhí)枺?023104558872，已通過初步審查。

四總結(jié)

總體而言，本團(tuán)隊(duì)自主設(shè)計(jì)了基于FPGA開發(fā)了超低延時(shí)激光多媒體終端系統(tǒng)，同步控制三色激光光源和制動(dòng)器實(shí)現(xiàn)超低延時(shí)的超高清激光投影，可廣泛應(yīng)用于軍用、商用、民用等領(lǐng)域，具有延時(shí)低、圖像質(zhì)量高、通用性強(qiáng)、應(yīng)用擴(kuò)展性高等優(yōu)勢(shì)。本作品僅使用一塊FPGA就完成了對(duì)數(shù)字微鏡驅(qū)動(dòng)，相較于TI傳統(tǒng)的“專用驅(qū)動(dòng)芯片+固件程序”驅(qū)動(dòng)方案，靈活性更高，成本更低，在數(shù)字微鏡驅(qū)動(dòng)領(lǐng)域填補(bǔ)了我國的技術(shù)空白，打破了TI的技術(shù)壟斷，且不受其應(yīng)用限制。在國產(chǎn)化大形勢(shì)下，為各大投影廠商選擇國產(chǎn)方案提供了可定制化的超低時(shí)延多媒體終端，應(yīng)用前景良好。

圖8