基于Zynq的光流法軟硬件協(xié)同設(shè)計與實現(xiàn)

本項目采用的光流算法是基于Horn-Schunck [5]的模型, 與Lucas- Kanade [2]光流算法相比，它算出的光流更稠密，能夠精確到每一個像素點；但是它因需要求解歐拉-拉格朗日方程需要成大量的迭代，因此計算光流的時間相當耗時，比如在Zedboard的單核ARM上處理640x480的圖片序列需要24.14s才能完成，這表明在傳統(tǒng)單架構(gòu)的嵌入式平臺上很難滿足光流場實時計算的要求。

1. 基于Horn-Schunck模型的光流算法

1.1 光流的約束條件
光流 15wx鈮?ux, vx, ht)"> 的假設(shè)條件認為圖像序列,在時間t 15t"> 的某一像素點與在時間 15t+1"> t+1的這一像素點的偏移量 15(x+u,y+v)"> 保持不變，即 。這就是灰度值守恒假設(shè)，通過Taylor展開，就能得到光流的約束條件(OFC): ，其中下標表示圖像的梯度。

1.2 Horn-Schunck 模型
1981年，Horn和Schunck根據(jù)同一個運動物體的光流場具有連續(xù)、平滑的特點, 提出一個附加約束條件，將光流場的整體平滑約束轉(zhuǎn)換為一個變分的問題。它的能量方程如下：

其中數(shù)據(jù)項表示灰度值守恒約束，平滑項表示光流平滑約束。

1.3 Euler-Lagrange方程
根據(jù)Horn-Schunck能量方程，可以推導(dǎo)出離散的歐拉-拉格朗日方程如下：

?

其中， 表示圖像像素點的坐標， 表示一個像素點的上下左右四個方向的相鄰的像素點，當然，在圖像的邊界會少于四個元素。

1.4 超松弛迭代 （SOR）
根據(jù)上面的歐拉-拉格朗日方程，不難推到出迭代方程。這里選用收斂速度最快的超松弛算法（SOR），光流的初始值是，迭代方程如下：

?

其中， w是迭代的權(quán)重因子, k 是迭代的次數(shù)， 是光流的計算的權(quán)值， 表示第 個像素點的上和左的相鄰像素點，表示第 個像素點的下和右的相鄰像素點。

2 工作流程介紹

根據(jù)上面的理論分析，可以把光流法的計算劃分為四個階段：預(yù)處理階段（P1）、梯度計算階段（P2）、運動模型構(gòu)造階段（P3）和迭代階段（P5），如圖2所示。

2.1 預(yù)處理階段（P1）
這一階段是平滑處理的圖像序列，它的作用是用來減少圖像噪音和外部的影響，通常用卷積來實現(xiàn)的。這一階段是一個通用的圖像操作。

2.2 梯度計算階段（P2）
這一階段是用來計算平滑好的圖像的梯度，包括水平梯度、垂直梯度和時間梯度。計算梯度通常也是通過卷積來實現(xiàn)的。

2.3 運動模型構(gòu)造階段（P3）
這一階段是根據(jù)計算出來的梯度來構(gòu)造運動模型的信息。根據(jù)超松弛公式可以推出需要構(gòu)造五個運動模型的信息，即J11、J12、J13、J22、J23。它的操作就是矩陣乘法。

2.4 迭代階段（P4）
這一階段就是通過超松弛算法計算光流的結(jié)果，每一次迭代完了需要把光流的信息更新一遍，再作為初始值進行下一次迭代。這一階段的操作是根據(jù)迭代公式來實現(xiàn)的。

?

2.3 軟件的執(zhí)行時間

軟件的實驗平臺是在Zedboard上ARM Cortex-A9處理器上來測試的，其中包括2個32KB 一級緩存和512KB的共享二級緩存，以及512MB的內(nèi)存空間，采用的測試集下載自 。Horn-Schunck光流算法是通過ANSI C實現(xiàn)的。其中迭代的次數(shù)設(shè)為100次。

基于Horn-Schunck模型的稠密光流法在軟件上的執(zhí)行時間如表1所示，不難發(fā)現(xiàn)，隨著圖像的不斷變大，所需要的執(zhí)行時間不斷增大；其中迭代部分（P4）占到很大的時間比例。