基于OMAP5910雙核處理器實(shí)現(xiàn)實(shí)時(shí)圖像處理系統(tǒng)的應(yīng)用設(shè)計(jì)

實(shí)時(shí)圖像處理系統(tǒng)的顯著特點(diǎn)是數(shù)據(jù)量大，有效地處理和傳輸圖像數(shù)據(jù)是實(shí)現(xiàn)實(shí)時(shí)圖像處理系統(tǒng)的關(guān)鍵，TI公司推出了高性能多媒體雙核處理器OMAP5910，是將高性能、低功耗的TMS320C55x DSP與控制性能很強(qiáng)的ARM925微處理器集成到同一芯片器件中如何有效地發(fā)揮雙核的優(yōu)勢(shì)，合理利用OMAP5910的各種內(nèi)存配置DMA控制器實(shí)時(shí)、高效傳輸大規(guī)模的圖像數(shù)據(jù)是本文研究的重點(diǎn)。

1 OMAP5910的內(nèi)存管理

由于OMAP5910支持多種內(nèi)存，因此在設(shè)計(jì)DMA傳輸方案時(shí)，必須對(duì)OMAP5910的內(nèi)存管理有一個(gè)詳細(xì)的了解。

OMAP5910的MPU存儲(chǔ)器片內(nèi)集成了192KB的SRAM，DSP存儲(chǔ)器片內(nèi)集成了64KB的雙向DARAM，96KB的單向SARAM，32KB的程序存儲(chǔ)器PDROM，MPU和DSP子系統(tǒng)的存儲(chǔ)器映射情況如圖1所示。通過(guò)EMIFF和EMIFS接口，OMAP5910可以訪問(wèn)片外存儲(chǔ)器，但訪問(wèn)片外存儲(chǔ)器的速度與訪問(wèn)片內(nèi)存儲(chǔ)器的速度差別很大。

OMAP5910的片內(nèi)存儲(chǔ)器主要由存儲(chǔ)器管理單元TC管理。TC管理MPU、DSP、DMA以及局部總線對(duì)OMAP5910系統(tǒng)存儲(chǔ)資源（SRAM、SDRAM、Flash、ROM等）的訪問(wèn)，它的主要功能是確保處理器能夠高效訪外部存儲(chǔ)區(qū)，避免產(chǎn)生瓶頸現(xiàn)象而降低片上處理速度，TC通過(guò)3種不同的接口－EMIFS、EMIFF或IMIF，支持處理器或DMA單元對(duì)存儲(chǔ)器的訪問(wèn)。其中EMIFS接口提供對(duì)Flash、SRAM或ROM的訪問(wèn)，EMIFF接口提供對(duì)SDRAM的訪問(wèn)，IMIF接口提供對(duì)OMAP5910片內(nèi)192KB SRAM的訪問(wèn)，3種接口是完全獨(dú)立的，從任何一個(gè)處理器或DMA單元都可以同時(shí)訪問(wèn)。

ARM核訪問(wèn)DSP核的數(shù)據(jù)或內(nèi)存空間，需要ARM和DSP之間進(jìn)行通信，主要有3種方式支持內(nèi)部雙核間的通信，第1種方式通過(guò)雙核共享郵箱寄存器MailBox來(lái)實(shí)現(xiàn)，ARM和DSP均可以通過(guò)MailBox觸發(fā)對(duì)方中斷，并同時(shí)傳遞兩個(gè)16位的參數(shù)，以通知對(duì)方自己的狀態(tài)或傳遞某種請(qǐng)求，第2種方式是MPUI方式，ARM通過(guò)主機(jī)接口獲得對(duì)DSP存儲(chǔ)空間和I/O空間的訪問(wèn)權(quán)，由ARM完成數(shù)據(jù)在雙核間的搬移，第3種方式是設(shè)置DSP的MMU，將DSP的外部存儲(chǔ)空間映射到OMAP5910系統(tǒng)存儲(chǔ)資源中，共享DSP的地址空間，由DSP完成雙核間的數(shù)據(jù)搬移。

2 OMAP5910的DMA控制器

OMAP5910的DMA控制器對(duì)實(shí)時(shí)圖像處理系統(tǒng)非常重要，它可以在沒有CPU參與的情況下完成映射存儲(chǔ)空間中數(shù)據(jù)搬移，靈活的使用DMA控制器可以大大提高數(shù)據(jù)傳輸效率。

OMAP5910的DMA控制器進(jìn)行通用功能傳輸時(shí)的特點(diǎn)如下：

1）單通道分割操作，具有通用和專用信道，不同的硬件資源端口。所有的數(shù)據(jù)交換都通過(guò)請(qǐng)求（Request）、準(zhǔn)備就緒（ready）、中止（abort）信號(hào)進(jìn)行握手。DMA信道是時(shí)分復(fù)用的，其傳輸?shù)幕玖鞒倘鐖D2所示。

2）多幀傳輸。傳輸?shù)拿總€(gè)數(shù)塊可以有多個(gè)數(shù)據(jù)幀。傳輸?shù)臄?shù)據(jù)大小為8位、16位和32位?？砂醋止?jié)打包、拆包、并對(duì)傳輸?shù)淖止?jié)計(jì)數(shù)?？稍L問(wèn)所有的存儲(chǔ)器地址空間（物理地址映射和I/O空間）。

3）DMA的讀、寫和幀操作都有中斷觸發(fā)，每個(gè)DMA物理通道都可以產(chǎn)生一個(gè)中斷，使處理器對(duì)本次傳輸?shù)臓顟B(tài)作出反應(yīng)，所有的DMA中斷都是電平中斷。

4）后臺(tái)傳輸、高吞吐率，DMA可獨(dú)立于CPU工作和以PCU時(shí)鐘速度進(jìn)行數(shù)據(jù)吞吐。

實(shí)時(shí)圖像處理系統(tǒng)的圖像數(shù)據(jù)很大，同時(shí)圖像處理過(guò)程中也也會(huì)產(chǎn)生大量的中間數(shù)據(jù)，而OMAP5910的片內(nèi)資源有限，不能容納幀的圖像數(shù)據(jù)和中間數(shù)據(jù)，所以大量的圖像數(shù)據(jù)必須存儲(chǔ)在片外存儲(chǔ)器中，為了保證系統(tǒng)的實(shí)時(shí)性，由DMA負(fù)責(zé)完成數(shù)據(jù)在不同存儲(chǔ)空間的搬移，不必占用CPU的時(shí)鐘周期，避免CPU大部分時(shí)間堵塞在對(duì)外存的訪問(wèn)上，同時(shí)DMA對(duì)數(shù)據(jù)重排功能可以優(yōu)化圖像數(shù)據(jù)在內(nèi)存中的存儲(chǔ)，這不僅可以提高內(nèi)部存儲(chǔ)空間的利用效率，而且可以提高數(shù)據(jù)的傳輸速率。

3 OMAP5910內(nèi)、外存儲(chǔ)器數(shù)據(jù)交換分析

一個(gè)完整的實(shí)時(shí)圖像處理不僅能對(duì)圖像進(jìn)行實(shí)時(shí)采集，還能對(duì)圖像進(jìn)行實(shí)時(shí)處理，該實(shí)時(shí)圖像處理系統(tǒng)主要由圖像傳感器、A/D轉(zhuǎn)換器，復(fù)雜可編程邏輯器件FPGA、OMAP5910雙核處理器，圖像顯示設(shè)備等構(gòu)成。該系統(tǒng)的主要功能是FPGA實(shí)時(shí)接收紅外焦平面陣列傳感器輸出的14位視頻信號(hào)，降頻后由OMAP5910的DSP處理器執(zhí)行圖像處理算法，同時(shí)，OMAP5910的ARM處理器執(zhí)行復(fù)雜控制指令，再由FPGA緩存，經(jīng)D/A變換合成10位視頻信號(hào)輸出，另外，OMAP5910的ARM處理器通過(guò)接口接收計(jì)算機(jī)的控制指令。

按照人眼的視覺要求，成像系統(tǒng)每秒鐘至少要采集和處理25幀圖像數(shù)據(jù)，才能避免圖像實(shí)時(shí)顯示時(shí)的視覺閃爍感，。對(duì)于320×240的點(diǎn)陣圖像，A/D為14位，每幀采集數(shù)據(jù)為320×240×14位＝1 MB，按實(shí)時(shí)性的要求，進(jìn)行處理和顯示數(shù)據(jù)的速度為320×240×14

位×25幀/s＝3.125MB/s，即需要在64μs內(nèi)完成讀1行（320像素）和寫1行（346象素）的操作，只有這樣圖像才不失連續(xù)性。

為了保證圖像處理和顯示的實(shí)時(shí)性，應(yīng)充分利用OMAP5910的各數(shù)據(jù)傳輸通道，OMAP5910的片內(nèi)、外存儲(chǔ)器的數(shù)據(jù)傳輸，如圖3所示，圖中給出了OMAP5910處理實(shí)時(shí)圖像時(shí)的所有數(shù)據(jù)傳輸通道，他們的傳輸速率與存儲(chǔ)器的類型有關(guān)。為了充分認(rèn)識(shí)OMAP5910的數(shù)據(jù)傳輸通道的性能，筆者做了一系列的實(shí)驗(yàn)，設(shè)置系統(tǒng)時(shí)鐘為150MHz，工作模式設(shè)為全同步模式，使能Ca che的前提下，詳細(xì)測(cè)試了各傳輸通道傳輸1幀數(shù)據(jù)所用的時(shí)間，如表1所列。以此為依據(jù)來(lái)優(yōu)化數(shù)據(jù)的傳輸。

4 DMA方式數(shù)據(jù)傳輸優(yōu)化方案

在詳細(xì)分析各數(shù)據(jù)傳導(dǎo)的數(shù)據(jù)傳輸速率性能的基礎(chǔ)，本文提出了一種DMA方式的數(shù)據(jù)傳輸優(yōu)化方案，把整幀劃分成多個(gè)塊，OMAP5910待處理的圖像數(shù)據(jù)完全放在OMAP5910的片內(nèi)數(shù)據(jù)存儲(chǔ)器中進(jìn)行處理，既減少了與外存的大量交互，又充分利用了片內(nèi)的高速存儲(chǔ)資源，在內(nèi)外存之間的數(shù)據(jù)傳輸使用DMA在后臺(tái)進(jìn)行操作，大大提高OMAP5910的工作效率。

4.1 數(shù)據(jù)流程

A/D采樣的數(shù)據(jù)首先存放在外部緩沖中，當(dāng)采集到一定的數(shù)據(jù)量后，由復(fù)雜可編程邏輯器件觸發(fā)ARM DMA讀取數(shù)據(jù)，依次輸入兩幀圖像保存在SDRAM中，從外掛Flash中取得進(jìn)行圖像處理所需的參數(shù)A、B值保存在SDRAM中，與輸出幀存以8行為塊單位，觸發(fā)DSP DMA將塊數(shù)據(jù)從OMAP5910的外部緩存區(qū)SDRAM搬運(yùn)到DSP核的雙向內(nèi)部緩存區(qū)DARAM，以供DSP核進(jìn)行計(jì)算。有關(guān)DMA方式傳輸?shù)奶攸c(diǎn)，DSP核進(jìn)行計(jì)算的同時(shí)，DSP DMA搬運(yùn)上一塊的圖像數(shù)據(jù)（8行）到SDRAM，ARM核接收到輸出行數(shù)據(jù)后，觸發(fā)ARM DMA把數(shù)據(jù)搬移到FPGA控制外部存儲(chǔ)區(qū)，數(shù)據(jù)流程如圖4所示。

由于OMAP5910內(nèi)部和外部都采用雙緩沖機(jī)制，因此ARM核和DSP核處理的DMA傳輸上一幀數(shù)據(jù)的同時(shí)，不影響DMA進(jìn)行當(dāng)前幀數(shù)據(jù)的傳輸。這樣整個(gè)系統(tǒng)中A/D數(shù)據(jù)的采集，DMA數(shù)據(jù)的傳輸及CPU數(shù)據(jù)的計(jì)算達(dá)到了高度的并行性。

4.2 操作時(shí)序

從數(shù)據(jù)傳輸?shù)牟僮鲿r(shí)序上，可以看出該優(yōu)化方案另一個(gè)優(yōu)勢(shì)，將原來(lái)的幾個(gè)輸入過(guò)程（每個(gè)輸入過(guò)程指的是輸入1行像素）合并為1個(gè)輸入過(guò)程（1次輸入幾行像素），并且將原來(lái)集中完成的輸出過(guò)程分散到輸入過(guò)程中間完成，進(jìn)一步提高的性能。

具體配置操作為：OMAP5910中ARM DMA讀過(guò)程1次輸入12行數(shù)據(jù)，用20次將1幀圖像輸入到SDRAM中。ARM DMA的寫過(guò)程在讀過(guò)程中間啟動(dòng)。即1幀中的第1次DMA讀過(guò)程結(jié)束的中斷中啟動(dòng)行號(hào)和幀號(hào)的添加以及 DMA的寫過(guò)程，這一次只寫2行，在1幀中的第2次到第20次DMA讀過(guò)程結(jié)束的中斷中啟動(dòng)寫過(guò)程，每次寫15行，其操作時(shí)序圖5所示。

具體的時(shí)間計(jì)算是：讀12行數(shù)據(jù)為17.07μs×12＝204.84μs，寫15行數(shù)據(jù)為27.68μs×15＝415.2μs，1次讀寫及中斷的處理所需時(shí)間為204.84μS＋415.2μs≈700μs，1次讀寫及中斷的處理允許時(shí)間為68μS×12＝816μs。經(jīng)計(jì)算700μ＜816μs，能夠保證實(shí)時(shí)圖像處理系統(tǒng)的實(shí)時(shí)性。

5 優(yōu)化方案中的代碼設(shè)計(jì)與實(shí)現(xiàn)

5.1 ARM端的主程序

ARM核主要實(shí)現(xiàn)OMAP5910系統(tǒng)的配置，與FPGA接口的數(shù)據(jù)輸入/輸出，與SDRAM的數(shù)據(jù)保存、幀模式的控制與轉(zhuǎn)換等優(yōu)化方案的功能。

5.2 DSP端的主程序

DSP核主要實(shí)現(xiàn)DSP DMA在I SRAM和DARAM之間

數(shù)據(jù)的輸入/輸出，紅外圖像的兩點(diǎn)校正算法和疵點(diǎn)剔除等算法，以及紅外圖像的亮度和對(duì)比度參數(shù)的計(jì)算等功能。

5.3 調(diào)試與配置DMA通道的經(jīng)驗(yàn)總結(jié)

1）測(cè)試DMA通道的數(shù)據(jù)傳輸是否正確，可編寫SDRAM到SDRAM的內(nèi)部DMA數(shù)據(jù)搬移測(cè)試程序來(lái)初步測(cè)試DMA通道的初始設(shè)置和數(shù)據(jù)傳輸是否正確。

2）測(cè)試DMA與FPGA接口數(shù)據(jù)的傳輸速率，示波器讀取讀信號(hào)或?qū)懶盘?hào)的效率時(shí)，應(yīng)注意查看讀信號(hào)和寫信號(hào)的個(gè)數(shù)是否是傳輸數(shù)據(jù)的個(gè)數(shù)。

3）測(cè)試DMA的外部中斷，外部中斷的引腳是復(fù)用引腳，應(yīng)提前設(shè)置此引腳。

4）測(cè)試DMA操作的讀操作和寫操作的相互配合，查看輸出的傳輸是否正確。

5）使用指定內(nèi)存不同的數(shù)據(jù)測(cè)試視頻圖像的輸出是否正確。

6）DMA中斷的觸發(fā)事件是上升沿有效。

7）為保證DMA傳輸數(shù)據(jù)的完整性，要對(duì)DMA的優(yōu)先級(jí)進(jìn)行設(shè)置。

結(jié)語(yǔ)

實(shí)時(shí)圖像處理系統(tǒng)實(shí)現(xiàn)了此數(shù)據(jù)傳輸?shù)膬?yōu)化方案，實(shí)時(shí)顯示圖像的速度為25幀/s，圖像的視覺效果比較理想，通過(guò)靈活地控制DMA，不僅能夠提高圖像數(shù)據(jù)的傳輸效率，而且能夠充分發(fā)揮OMAP5910的高速性能。

責(zé)任編輯：gt