點-線特征聯(lián)合的全景圖像位姿解算方法

作者：魚骨 | 來源：計算機視覺工坊

摘要 目前，全景圖像位置和姿態(tài)參數(shù)的解算多基于點特征，而場景中普遍存在的線特征尚未得到充分利用。本文提出一種點-線特征聯(lián)合的全景圖像位姿解算方法，不僅可用于點特征缺失場景中全景圖像位姿參數(shù)的解算，而且在點特征充足的場景中可提高位姿解算的精度和穩(wěn)健性。該方法中的線特征使用線上的任意兩點表示，不要求全景圖像和三維場景同名線上的選點具有對應關(guān)系，因而易于選取，具有極大的實用性。首先，使用直接線性變換構(gòu)建點-線特征聯(lián)合的全景圖像位姿解算模型，并針對水平線和垂直線獲取簡化后的模型；然后，利用仿真道路場景，從特征點和線的不同組合方式及大姿態(tài)角兩方面分析該模型的適用性，并通過人工引入不同類型及量級的點-線誤差分析該模型的容差性；最后，將本文方法應用于全景圖像與激光點云的融合，從理論和實踐兩方面證明點-線特征聯(lián)合的位姿解算方法在精度、穩(wěn)健性和容差性方面優(yōu)于單純的點特征解算方法。

關(guān)鍵詞 全景圖像；點-線特征聯(lián)合；位姿解算；仿真分析；全景圖像與激光點云融合

引言 準確、穩(wěn)健地獲取全景圖像的位姿參數(shù)是一項基礎(chǔ)且關(guān)鍵的工作。目前線特征在航空影像的位姿解算中得到了較為廣泛的應用，但全景圖像的位姿解算仍多基于點特征，而真實場景中普遍存在的線特征尚未得到充分利用，如建筑物輪廓、桿狀地物等，且缺少點-線特征聯(lián)合的全景圖像位姿解算模型。因此，本文提出一種點-線特征聯(lián)合的全景圖像位姿解算方法，其中，點特征可直接計算位置和姿態(tài)參數(shù)，線特征可對姿態(tài)參數(shù)進行約束，將點-線特征結(jié)合有利于提高全景圖像位姿解算的精度和穩(wěn)健性。

方法 本文方法流程如圖1所示。

圖1 本文方法流程 1、點-線特征聯(lián)合的全景圖像位姿解算模型 1.1、基于點特征的全景圖像位姿解算模型 目前最常用的是球面全景圖像，如圖2所示，球面模型分別以豎直角(v)和水平角(h)表示全景圖像的行和列坐標，屬于等角投影成像。

圖2 全景圖像的位置和姿態(tài)參數(shù) 點模型可表示為：

式中參數(shù)分別為：

其中，r、c為地物點p (x, y, z)在全景圖像上的行和列坐標。點模型中的待求解矩陣 X 包含11個參數(shù)(l1, l2, …, l11)，因此至少需要6對同名特征點(p ≥6 )進行解算。在計算出 X 后可求解姿態(tài)矩陣和位置參數(shù)。

1.2、基于線特征的全景圖像位姿解算模型 三維空間中直線上任意兩點p1、p2 和成像位置( XS, YS, ZS )的共面方程可表示為：

根據(jù)共面特性，使用全景圖像中對應直(曲)線上的任意兩點分別替換p1、p2，可將上式表示為：

其中：

因此，線模型可表示為：

1.3、點-線特征聯(lián)合的全景圖像位姿解算模型

綜合點特征和線特征的全景圖像位姿解算模型，可得點-線特征聯(lián)合的全景圖像位姿解算模型，如下式所示：

上式為p 對同名點和t對同名線組成的聯(lián)合模型。在平差求解出X 后,可計算姿態(tài)矩陣R 和位置參數(shù)( XS, YS, ZS )。 針對垂直線特征，即 Δx=Δy=0，聯(lián)合模型可簡化為：

針對水平線特征，即Δz=0，聯(lián)合模型可簡化為：

式中，vi 表示水平線的斜率，計算公式如下：

1.4、聯(lián)合模型的精度評價指標 解算出X后獲取檢查點在全景圖像中的俯仰角和水平角(v', h')：

基于下式計算各個檢查點的模型誤差(δi)和模型求解中誤差(δ)，δ為聯(lián)合模型的精度評價指標：

式中，ri、ci 為檢查點在全景圖像中的真實行、列坐標，m為檢查點的個數(shù)。

2、聯(lián)合模型的仿真分析

使用仿真數(shù)據(jù)檢驗聯(lián)合模型的適用性和容差性。首先，仿真道路場景點云，由此可獲取不同位姿參數(shù)下的虛擬全景圖像；然后，從特征點和線的不同組合方式分析聯(lián)合模型的適用性；在特征點和線最少條件下檢驗該模型的適用性，如圖3所示分別試驗2點+7線、3點+5線、4點+3線和5點+1線這4種組合方式。結(jié)果表明4種組合下模型誤差均為0像素，由此證明聯(lián)合模型在不同特征點和線組合情況下的適用性，同時也表明聯(lián)合模型可用于點特征缺失場景中全景圖像位姿參數(shù)的解算。

圖3 特征點和線的不同組合方式 使用2點+7線的組合方式，檢驗聯(lián)合模型在大姿態(tài)角情況下的適用性。如圖4所示，分別試驗4種大姿態(tài)角情況。結(jié)果表明4種大姿態(tài)角情況下聯(lián)合模型誤差均為0像素，由此證明了聯(lián)合模型在大姿態(tài)角情況下的適用性。

圖4 不同情況的大姿態(tài)角分析 最后，通過人工引入不同類型與量級的點-線誤差從全景圖像坐標誤差和三維場景坐標誤差兩方面分析該模型的容差性。見表1,試驗中對多控制點、均控制點和少控制點3種情況驗證聯(lián)合模型的容差性。 表1 垂直線輔助的聯(lián)合模型精度與可靠性分析

可得出如下結(jié)論： 1）在多控制點情況，點模型和聯(lián)合模型均可高精度地解算出全景圖像的位姿參數(shù)。 2）垂直線可以提高解算的精度和穩(wěn)健性。 3）垂直線不僅可用于控制點缺失場景下位姿參數(shù)的解算，而且多條垂直線的優(yōu)化效果和穩(wěn)健性明顯優(yōu)于單條垂直線。 4）不同數(shù)量垂直線的加入均優(yōu)化了不同量級(0.5~5.0像素)的一類誤差解算結(jié)果。 5）二類誤差對位姿參數(shù)求解精度的影響只與二類誤差本身大小相關(guān)，與點和垂直線的數(shù)量無關(guān)。 6）理論上聯(lián)合模型在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點模型。這里也推薦「3D視覺工坊」新課程《面向三維視覺算法的C++重要模塊精講：從零基礎(chǔ)入門到進階》。

3、點-線特征聯(lián)合全景圖像位姿解算方法的應用
使用真實場景的車載激光點云和兩幅全景圖像進行試驗，驗證點-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點特征解算方法。展示了使用點-線特征聯(lián)合的全景圖像位姿解算方法，實現(xiàn)全景圖像與激光點云融合的局部效果。

結(jié)論 本文提出了一種點-線特征聯(lián)合的全景圖像位姿解算方法，通過仿真道路場景證明了該方法具有優(yōu)異的適用性和容差性，將該模型應用于全景圖像與激光點云的融合，從理論和實踐兩方面證明了點-線特征聯(lián)合的位姿解算方法優(yōu)于單純的點特征解算方法。本文的結(jié)論如下： （1）點-線特征聯(lián)合的全景圖像位姿解算方法中，使用線上的任意兩點表示線特征，且不要求選點具有對應關(guān)系，因此易于選取，具有較高的實用性； （2）點-線特征聯(lián)合的全景圖像位姿解算方法適用于任意姿態(tài)角下全景成像位姿參數(shù)的解算，具有極大的適用性； （3）點-線特征聯(lián)合的全景圖像位姿解算方法在精度、穩(wěn)健性和容差性等方面優(yōu)于常用的點特征解算方法。

編輯：黃飛