基于模型的單目視覺定位的各種特征定位方法的研究現(xiàn)狀

1、引言

視覺是人類認(rèn)識(shí)世界的最重要的手段之一，人類獲取的信息百分之八十以上都是通過視覺得到的。隨著計(jì)算機(jī)技術(shù)、傳感器技術(shù)的發(fā)展，使用攝像機(jī)與計(jì)算機(jī)模擬并實(shí)現(xiàn)部分生物視覺成為可能，并已在許多方面得到成功應(yīng)用。同時(shí)，如何利用信號(hào)處理和計(jì)算機(jī)技術(shù)對(duì)圖像信息進(jìn)行處理、分析、理解、識(shí)別，并最終做出正確的決策成為一個(gè)新的研究領(lǐng)域，由此形成一門新興的學(xué)科，即計(jì)算機(jī)視覺。

可以獲得三維信息的視覺方法有許多，典型的有雙目或多目立體視覺，基于模型的單目視覺等。其中后一種方法是指僅利用一臺(tái)攝像機(jī)完成定位工作。因其僅需一臺(tái)視覺傳感器，所以該方法的優(yōu)點(diǎn)是結(jié)構(gòu)簡單、相機(jī)標(biāo)定也簡單，同時(shí)還避免了立體視覺中的視場小，立體匹配困難的不足。其前提條件是必須已知物體的幾何模型。在計(jì)算機(jī)視覺研究領(lǐng)域，如何在單目視覺的條件下，完成位置與姿態(tài)的求解已成為一個(gè)重要的研究方向。

基于模型的單目視覺定位可以應(yīng)用在多方面，包括機(jī)器人自主導(dǎo)航、陸地和空間移動(dòng)機(jī)器人定位、視覺伺服、攝像機(jī)校正、目標(biāo)跟蹤、視覺監(jiān)測、物體識(shí)別、零部件裝配、攝影測量等。

基于模型的單目視覺定位問題所應(yīng)用的幾何特征可分為點(diǎn)、直線與高級(jí)幾何特征等幾類。相對(duì)來說，目前對(duì)基于點(diǎn)特征的單目視覺定位方法研究較多。直線特征具有抗遮擋能力強(qiáng)、圖像處理簡單的優(yōu)點(diǎn)，所以有一部分學(xué)者致力于基于直線特征單目視覺定位方法的研究。而基于高級(jí)幾何特征的單目視覺定位方法目前研究的還比較少。

本文根據(jù)基于模型的單目視覺定位方法所使用的定位特征類型把單目視覺定位方法分為基于點(diǎn)特征的定位方法，基于直線特征的定位方法，基于高級(jí)幾何特征的定位方法，全面介紹了各種特征定位方法的研究現(xiàn)狀。目的是方便讀者了解各種特征定位方法的研究現(xiàn)狀，為未來的研究打下理論基礎(chǔ)。

2、點(diǎn)特征定位

點(diǎn)特征定位又稱為PNP問題，它是計(jì)算機(jī)視覺、攝影測量學(xué)乃至數(shù)學(xué)領(lǐng)域的一個(gè)經(jīng)典問題。PNP問題是在1981年首先由Fischler和Bolles提出的，即給定N個(gè)控制點(diǎn)的相對(duì)空間位置以及給定控制點(diǎn)與光心連線所形成的夾角，求出各個(gè)控制點(diǎn)到光心的距離，如圖1所示。該問題主要被用來確定攝像機(jī)與目標(biāo)物體之間的相對(duì)距離和姿態(tài)。

經(jīng)典的問題從本質(zhì)上來說是非線性的，而且具有多解性。目前對(duì)PNP問題的研究主要包括兩個(gè)方面：設(shè)計(jì)運(yùn)算速度快、穩(wěn)定的算法，來尋找PNP問題的所有解或部分解。對(duì)多解現(xiàn)象的研究。即找出在什么條件下有1個(gè)、2個(gè)、3個(gè)或者4個(gè)解。

PNP問題的研究集中在對(duì)P3P問題、P4P問題、P5P問題的研究上。這是因?yàn)槿绻麅H使用兩個(gè)特征點(diǎn)即P2P問題有無限組解，其物理意義是僅有兩個(gè)點(diǎn)不能確定兩點(diǎn)在攝像機(jī)坐標(biāo)系下的位置。而特征點(diǎn)的個(gè)數(shù)應(yīng)該大于五，PNP問題變成了經(jīng)典的DLT問題，是可以線性求解的。目前，人們對(duì)P3P、P4P 問題已研究的比較清楚，并有如下結(jié)論：P3P 問題最多有4個(gè)解，且解的上限可以達(dá)到，對(duì)于P4P問題，當(dāng)4個(gè)控制點(diǎn)共面時(shí)，問題有唯一解，當(dāng)4個(gè)控制點(diǎn)不共面時(shí)，問題最多可能有5個(gè)解，且解的上限可以達(dá)到。對(duì)于P5P問題，當(dāng)5個(gè)控制點(diǎn)中任意3點(diǎn)不共線時(shí)，則P5P問題最多可能有兩個(gè)解，且解的上限可以達(dá)到。

3、直線特征定位

當(dāng)前，基于模型單目視覺定位的模型特征分為點(diǎn)、直線與高級(jí)幾何特征等幾類。相對(duì)來說，目前對(duì)于基于點(diǎn)特征的單目視覺定位方法研究較多，對(duì)于基于直線特征的單目視覺定位方法的研究還比較少。在某些特定的環(huán)境中，采用直線特征進(jìn)行定位比采用點(diǎn)特征進(jìn)行定位具有一定的優(yōu)勢(shì)。直線特征的優(yōu)勢(shì)表現(xiàn)在以下幾方面：首先，自然環(huán)境的圖像包含很多的直線特征。其次，在圖像上直線特征比點(diǎn)特征的提取精度更高。最后，直線特征抗遮擋能力比較強(qiáng)。同時(shí)相對(duì)于更高級(jí)的幾何特征，直線特征也具有優(yōu)勢(shì)，具體表現(xiàn)在以下幾方面：首先，在周圍自然環(huán)境的圖像中，直線比其他的高級(jí)幾何特征更常見，同時(shí)也更容易提取。其次，直線的數(shù)學(xué)表達(dá)式更簡單，處理起來效率更高。因此綜合來看，在某些方面采用直線特征進(jìn)行視覺定位具有其它特征所不具有的一些優(yōu)勢(shì)，在實(shí)現(xiàn)高精度、實(shí)時(shí)自主定位方面有著廣泛的應(yīng)用前景。

對(duì)于空間恢復(fù)，至少需要非共線的三個(gè)特征點(diǎn)來獲得唯一解。如果使用直線，則需要三條直線，三條直線不同時(shí)平行且不和光心共面。目前，理論上研究最多的是利用三線定位的問題，即Perspective Projection of Three Lines，以下簡稱P3L問題，如圖2所示。

對(duì)于P3L問題，大部分學(xué)者是通過圖像直線和攝像機(jī)光心構(gòu)成的投影平面的法向量和物體直線垂直來建立數(shù)學(xué)模型。這種方法要求確定物體位姿的三條直線不同時(shí)平行且不和光心共面，進(jìn)而建立由三條直線構(gòu)成的三個(gè)非線性方程。Horaud等 ，Dhome等，Chen ，Liu等都是使用的這種方法。其數(shù)學(xué)模型可以描述如下：假設(shè)攝像機(jī)坐標(biāo)系和物體坐標(biāo)系之間的旋轉(zhuǎn)矩陣為，已知空間直線在物體坐標(biāo)系下的方向向量為，經(jīng)過旋轉(zhuǎn)變換到攝像機(jī)坐標(biāo)系下的方向向量為：。由數(shù)學(xué)模型得到關(guān)于旋轉(zhuǎn)矩陣的關(guān)系式為：。因此只要通過三條直線的投影方程，就能通過解方程組求得到矩陣的三個(gè)參量，即可以求得矩陣。這種方法有效地解決了使用直線特征如何進(jìn)行視覺定位的問題，其中的不足之處是非線性方程組比較復(fù)雜，定位誤差偏大。

基于直線特征進(jìn)行單目視覺定位，大部分的研究集中在對(duì)定位數(shù)學(xué)模型的求解問題上。目前，求解的方法主要有兩種，一種是閉式解，一種是數(shù)值解。對(duì)于閉式解方法，Dhome和Chen由空間任意三條線通過建立特殊的模型坐標(biāo)系推導(dǎo)出一個(gè)八次多項(xiàng)式，這個(gè)八次多項(xiàng)式可以由閉式解的方法來確定物體的位姿。Radu Horaud對(duì)于非共面的三條直線得到一個(gè)四次多項(xiàng)式，最后可以由迭代的方法也可以由閉式解的方法確定物體的位姿。閉式解方法的優(yōu)點(diǎn)是實(shí)時(shí)性好，適合應(yīng)用在實(shí)時(shí)系統(tǒng)中，缺點(diǎn)是存在多解問題，定位誤差偏大。許多學(xué)者提出來各種不同的迭代方法來解決閉式解的多解問題，也就是數(shù)值解方法。

對(duì)于數(shù)值解方法，Yuan議把R參數(shù)從T參數(shù)中分離出來，集中計(jì)算R參數(shù)。R旋轉(zhuǎn)矩陣是通過正交矩陣來表示，解是通過六個(gè)二次多項(xiàng)式的公共根來表示，這個(gè)公共根通過牛頓迭代梯度法得到，然而作者注意到在使用牛頓迭代梯度法時(shí)會(huì)出現(xiàn)局部最優(yōu)解，只有給迭代方法合適的初值才能得到全局最小值。Lowe等使用牛頓迭代法估計(jì)物體相對(duì)于攝像機(jī)的方向和位置參數(shù)，以模型投影和圖像之間距離的平方和作為誤差函數(shù)，然后對(duì)誤差函數(shù)計(jì)算最小值。和Yuan的方法一樣，Lowe等意到牛頓迭代法的一些問題，并且在以后的文章中他研究了怎樣處理初值和穩(wěn)定性問題，提供好的初值，算法的穩(wěn)定性是可以保證的。Liu等使用交替迭代方法來求解視覺參數(shù)。一條直線的對(duì)應(yīng)可以由兩個(gè)點(diǎn)的對(duì)應(yīng)來確定，作者注意到，使用線特征對(duì)應(yīng)，旋轉(zhuǎn)參數(shù)很容易從位置參數(shù)中分離出來，一旦旋轉(zhuǎn)參數(shù)確定下來了，對(duì)平移參數(shù)的求解是線性問題，旋轉(zhuǎn)參數(shù)用歐拉角來表示。作者把誤差函數(shù)線性化，他們注意到當(dāng)三個(gè)角度都比三十度小的時(shí)候，該方法效果好。數(shù)值解方法的優(yōu)點(diǎn)是定位精度較高。其缺點(diǎn)是在優(yōu)化過程中容易出現(xiàn)局部極小值，并不能保證解的唯一性；計(jì)算量偏大，迭代時(shí)間較長，不適合應(yīng)用在實(shí)時(shí)系統(tǒng)中。綜合來看，現(xiàn)有的直線特征單目視覺定位算法在定位精度和實(shí)時(shí)性上很難滿足實(shí)際工程應(yīng)用的需要，有待進(jìn)一步的提高，因此，探討并研究定位精度高、實(shí)時(shí)性好的直線特征單目視覺定位算法非常有必要。

4、高級(jí)幾何特征定位

高級(jí)幾何特征包括圓，橢圓，二次曲線等。對(duì)于基于模型的單目視覺定位問題，很多學(xué)者作了這方面的研究工作。通常，他們使用點(diǎn)或直線的投影作為基元，由三個(gè)圖像點(diǎn)或三條圖像直線以及在物體坐標(biāo)下點(diǎn)或直線之間的相對(duì)位置關(guān)系，確定模型的姿態(tài)。有時(shí)，基于模型單目視覺定位問題的模型采用曲線表面的物體，所以使用曲線進(jìn)行曲線表面物體的定位成為另外一個(gè)積極研究的方向。

使用曲線定位的好處是：首先，自然界許多物體的表面上有曲線特征；其次，曲線包含三維物體的全局位姿信息；最后，對(duì)曲線的表示是對(duì)稱矩陣，因此數(shù)學(xué)處理起來很方便。在很多情況下，我們可以獲得閉式解，從而避免了非線性搜索。對(duì)比于其它兩種特征，不足的地方是自然界中還是點(diǎn)特征和直線特征更普遍存在，具有廣泛的適用性。

對(duì)于曲線表面的物體，一些學(xué)者提出了使用曲線進(jìn)行定位的方法，如圖3所示。當(dāng)用曲線進(jìn)行姿態(tài)估計(jì)時(shí)，一定要對(duì)復(fù)雜的非線性系統(tǒng)進(jìn)行求解。Forsyth等［9］對(duì)于共面曲線提出一種定位方法，這種方法是對(duì)兩個(gè)四次多項(xiàng)式進(jìn)行求解。Ma Songde提出，對(duì)于兩個(gè)非共面曲線，它的姿態(tài)可以對(duì)有六個(gè)二次多項(xiàng)式組成的非線性系統(tǒng)進(jìn)行求解得到；當(dāng)兩個(gè)空間曲線共面時(shí)，可以得到物體姿態(tài)的閉式解。

圓和橢圓是曲線的一種。提出一種對(duì)圓特征進(jìn)行定位，如圖4所示，屬于代數(shù)方法。在文獻(xiàn)［12］中，提出一種新的使用圓特征進(jìn)行定位的方法，屬于幾何方法。

圖4 圓的透視投影

5、結(jié)論

基于模型的單目視覺定位方法研究是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要問題?？梢詰?yīng)用在多方面，包括機(jī)器人自主導(dǎo)航、陸地和空間移動(dòng)機(jī)器人定位、視覺伺服、攝像機(jī)校正、目標(biāo)跟蹤、視覺監(jiān)測、物體識(shí)別、零部件裝配等。

本文根據(jù)基于模型的單目視覺定位方法所使用的定位特征類型把定位方法進(jìn)行了分類，并且詳細(xì)介紹了各種特征定位方法的研究現(xiàn)狀。

對(duì)于基于點(diǎn)特征的定位方法，很多研究者進(jìn)行了深入廣泛的研究，目前的研究成果已經(jīng)比較成熟。對(duì)于基于直線特征和基于高級(jí)幾何特征的定位方法，目前的研究不是很多。在定位精度和實(shí)時(shí)性方面還很難滿足實(shí)際工程應(yīng)用的需要，在方法上有待于進(jìn)一步改進(jìn)和完善。在實(shí)際工程應(yīng)用中，探討并研究基于直線特征和基于高級(jí)幾何特征的高精度、實(shí)時(shí)性好的定位算法具有一定的研究價(jià)值。

責(zé)任編輯：gt