利用機(jī)器視覺的攝像機(jī)標(biāo)定方法研究

利用機(jī)器視覺的攝像機(jī)標(biāo)定方法研究

機(jī)器視覺的基本任務(wù)之一是從攝像機(jī)獲取圖像信息并計算三維空間中物體的幾何信息，以由此重建和識別物體。而空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過實驗與計算才能得到，這個過程被稱為攝像機(jī)定標(biāo)(或稱為標(biāo)定)。標(biāo)定過程就是確定攝像機(jī)的幾何和光學(xué)參數(shù)，以及攝像機(jī)相對于世界坐標(biāo)系的方位。由于標(biāo)定精度的大小，直接影響著計算機(jī)視覺(機(jī)器視覺)的精度。因此，只有做好了攝像機(jī)標(biāo)定工作，后續(xù)工作才能正常展開，可以說，提高標(biāo)定精度也是當(dāng)前科研工作的重要方面。

1 攝像機(jī)透視投影模型
　　
攝像機(jī)通過成像透鏡將三維場景投影到攝像機(jī)二維像平面上，這個投影可用成像變換(即攝像機(jī)成像模型)來描述。攝像機(jī)成像模型分為線形模型和非線性模型。針孔成像模型就屬于線形攝像機(jī)模型，本文就討論在這種模型下，某空間點與其圖像投影點在各種坐標(biāo)系下的變換關(guān)系。圖1所示為三個不同層次的坐標(biāo)系在針孔成像模型下的關(guān)系。其中(Xw，Yw，Zw)為世界坐標(biāo)系，(x，y，z)為攝像機(jī)坐標(biāo)系，XfQfYf為以像素為單位的圖像坐標(biāo)系，XOY為以毫米為單位的圖像坐標(biāo)系。


圖像中某點在以毫米為單位的圖像坐標(biāo)系中的坐標(biāo)與其在以像素為單位的圖像坐標(biāo)系中的坐標(biāo)的變換關(guān)系如下：


空間某點在世界坐標(biāo)系中的坐標(biāo)與其在攝像機(jī)坐標(biāo)系中的坐標(biāo)變換關(guān)系如下：


其中，為3×3正交單位矩；t為三維平移向量；M2為4×4矩陣。
　　
由于針孔成像模型有如下關(guān)系：

所以，將(1)，(2)代入上式的齊次坐標(biāo)和矩陣表示可得：


其中，M1為攝像機(jī)內(nèi)參數(shù)，M2為攝像機(jī)外參數(shù)。確定某一攝像機(jī)參數(shù)稱為攝像機(jī)定標(biāo)。

2 標(biāo)定分類
　　
總的來說，攝像機(jī)標(biāo)定可以分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法兩大類。傳統(tǒng)攝像機(jī)標(biāo)定的基本方法是在一定的攝像機(jī)模型下，通過對特定標(biāo)定參照物進(jìn)行圖像處理，并利用一系列數(shù)學(xué)變換公式計算及優(yōu)化，來求取攝像機(jī)模型內(nèi)部參數(shù)和外部參數(shù)。然而，該方法在場景未知和攝像機(jī)任意運動的一般情況下，其標(biāo)定很難實現(xiàn)。20世紀(jì)90年代初，F(xiàn)augeras，Luong，Maybank等人首次提出了攝像機(jī)自標(biāo)定方法。這種自標(biāo)定法利用攝像機(jī)本身參數(shù)之間的約束關(guān)系來標(biāo)定，而與場景和攝像機(jī)的運動無關(guān)，所以更為靈活。

3 傳統(tǒng)攝像機(jī)標(biāo)定方法
　　
傳統(tǒng)的攝像機(jī)標(biāo)定方法按照標(biāo)定參照物與算法思路可以分成若干類，如基于3D立體靶標(biāo)的攝像機(jī)標(biāo)定、基于2D平面靶標(biāo)的攝像機(jī)標(biāo)定、以及基于徑向約束的攝像機(jī)標(biāo)定等。

3.1 基于3D立體靶標(biāo)的攝像機(jī)標(biāo)定
　　
基于3D立體靶標(biāo)進(jìn)行攝像機(jī)標(biāo)定是將一個3D立體靶標(biāo)放置在攝像機(jī)前，靶標(biāo)上每一個小方塊的頂點均可作為特征點。每個特征點相對于世界坐標(biāo)系的位置在制作時應(yīng)精確測定。攝像機(jī)獲得靶標(biāo)上特征點的圖像后，由于表現(xiàn)三維空間坐標(biāo)系與二維圖像坐標(biāo)系關(guān)系的方程是攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的非線性方程，如果忽略攝像機(jī)鏡頭的非線性畸變并把透視變換矩陣中的元素作為未知數(shù)，來給定一組三維控制點和對應(yīng)的圖像點，那么，就可以利用直接線性變換法來求解透視變換矩陣中的各個元素。所以，由靶標(biāo)上特征點的世界坐標(biāo)和圖像坐標(biāo)，即可計算出攝像機(jī)的內(nèi)外參數(shù)。

3.2 基于2D平面靶標(biāo)的攝像機(jī)標(biāo)定
　　
該方法又稱為張正友標(biāo)定法，這是一種適合應(yīng)用的新型靈活方法。該方法要求攝像機(jī)在兩個以上不同的方位拍攝一個平面靶標(biāo)，攝像機(jī)和2D平面靶標(biāo)都可以自由移動，且內(nèi)部參數(shù)始終不變，假定2D平面靶標(biāo)在世界坐標(biāo)系中的Z=0，那么，通過線性模型分析就可計算出攝像機(jī)參數(shù)的優(yōu)化解，然后用基干最大似然法進(jìn)行非線性求精。在這個過程中得出考慮鏡頭畸變的目標(biāo)函數(shù)后就可以求出所需的攝像機(jī)內(nèi)、外部參數(shù)。這種標(biāo)定方法既具有較好的魯棒性，又不需昂貴的精制標(biāo)定塊，很有實用性。但是，張正友方法在進(jìn)行線性內(nèi)外參數(shù)估計時，由于假定模板圖像上的直線經(jīng)透視投影后仍然為直線，進(jìn)而進(jìn)行圖像處理，這樣，實際上會引入誤差，所以，嘎方法在廣角鏡畸變比較大的情況誤差較大。

3.3 基于徑向約束的攝像機(jī)標(biāo)定
　　
Tsai(1986)給出了一種基于徑向約束的兩步法標(biāo)定方法，該方法的核心是先利用RAC(徑向一致約束)條件用最小二乘法解超定線性方程，以求出除tτ(攝像機(jī)光軸方向的平移)外的其他像機(jī)外參數(shù)，然后再在攝像機(jī)有和無透鏡畸變等兩種情況下求解攝像機(jī)的其他參數(shù)。Tsai方法的精度比較高，適用于精密測量，但它對設(shè)備的要求也很高，不適用于簡單的標(biāo)定。這種方法的精度是以設(shè)備的精度和復(fù)雜度為代價的。

4 攝像機(jī)自標(biāo)定方法
　　
不依賴于標(biāo)定參照物，僅利用攝像機(jī)在運動過程中周圍環(huán)境圖像與圖像之間的對應(yīng)關(guān)系來對攝像機(jī)進(jìn)行的標(biāo)定的方法稱為攝像機(jī)自標(biāo)定方法。目前已有的自標(biāo)定技術(shù)大致可以分為基于主動視覺的攝像機(jī)自標(biāo)定技術(shù)、直接求解Kruppa方程的攝像機(jī)自標(biāo)定方法、分層逐步標(biāo)定法、基于二次曲面的自標(biāo)定方法等幾種。

4.1 基于主動視覺的自標(biāo)定法
　　
所謂主動視覺系統(tǒng)，是指攝像機(jī)被固定在一個可以精確控制的平臺上，且平臺的參數(shù)可以從計算機(jī)精確讀出，只需控制攝像機(jī)作特殊的運動來獲得多幅圖像，然后利用圖像和已知的攝像機(jī)運動參數(shù)來確定攝像機(jī)的內(nèi)外參數(shù)。其代表性的方法是馬頌德提出的基于兩組三正交運動的線性方法，后來楊長江，李華等人提出了改進(jìn)的方案，即分別是基于4組平面正交以及5組平面正交運動并利用圖像中的極點信息來線性標(biāo)定攝像機(jī)參數(shù)。此種自標(biāo)定方法算法簡單，可以獲得線性解，不足之處在于必須有可以精確控制的攝像機(jī)運動平臺。

4.2 基于Kruppa方程的自標(biāo)定方法
　　
Faugeras,Luong,Maybank等提出的自標(biāo)定方法是直接基于求解Kruppa方程的一種方法，該方法利用絕對二次曲線像和極線變換的概念推導(dǎo)出Kruppa方程。基于Kxuppa方程的自標(biāo)定方法不需要對圖像序列做射影重建，而是對兩圖像之間建立方程，這個方法在某些很難將所有圖像統(tǒng)一到一致的射影框架場合會比分層逐步標(biāo)定法更具優(yōu)勢，但代價是無法保證無窮遠(yuǎn)平面在所有圖像對確定的射影空間里的一致性，當(dāng)圖像序列較長時，基于Kruppa方程的自標(biāo)定方法可能不穩(wěn)定。且其魯棒性依賴于給定的初值。

4.3 分層逐步標(biāo)定法
　　
近年來，分層逐步標(biāo)定法已成為自標(biāo)定研究中的熱點，并在實際應(yīng)用中逐漸取代了直接求解Kruppa方程的方法。分層逐步標(biāo)定法首先要求對圖像序列做射影重建，再通過絕對二次曲線(面)施加約束，最后定出仿射參數(shù)(即無窮遠(yuǎn)平面方程)和攝像機(jī)內(nèi)參數(shù)。分層逐步標(biāo)定法的特點是在射影標(biāo)定的基礎(chǔ)上，以某一幅圖像為基準(zhǔn)做射影對齊，從而將未知數(shù)數(shù)量縮減，再通過非線性優(yōu)化算法同時解出所有未知數(shù)。不足之處在于非線性優(yōu)化算法的初值只能通過預(yù)估得到，而不能保證其收斂性。由于射影重建時，都是以某參考圖像為基準(zhǔn)，所以，參考圖像的選取不同，標(biāo)定的結(jié)果也不同相。

4.4 基于二次曲面的自標(biāo)定方法
　　
Triggs是最早將絕對二次曲面的概念引入自標(biāo)定的研究中來的，這種自標(biāo)定方法與基于Kruppa方程的方法在本質(zhì)上是相同的，它們都利用絕對二次曲線在歐氏變換下的不變性。但在輸入多幅圖像并能得到一致射影重建的情況下，基于二次曲面的自標(biāo)定方法會更好一些，其根源在于二次曲面包含了無窮遠(yuǎn)平面和絕對二次曲線的所有信息，且基于二次曲面的自標(biāo)定方法又是在對所有圖像做射影重建的基礎(chǔ)上計算二次曲面的，因此，該方法保證了無窮遠(yuǎn)平面對所有圖像的一致性。

5 結(jié)束語
　　
本文對基于機(jī)器視覺的攝像機(jī)標(biāo)定理論與各種方法進(jìn)行了研究。傳統(tǒng)的攝像機(jī)標(biāo)定需要標(biāo)定參照物。為了提高計算精度，還需確定非線性畸變校正參數(shù)。而新的比較符合攝像機(jī)成像物理模型且又便于分析計算的實用模型是條另辟蹊徑的發(fā)展方向。攝像機(jī)自標(biāo)定相對于傳統(tǒng)方法有更好的靈活性和實用性，通過十多年的不懈努力，理論上的問題已基本解決，目前研究的重點是如何提高標(biāo)定算法的魯棒性以及如何很好地用這些理論來解決實際視覺問題。為了提高魯棒性，建議更多的使用分層逐步自標(biāo)定方法，并應(yīng)對自標(biāo)定的結(jié)果進(jìn)行線性優(yōu)化。