淺談自動(dòng)駕駛技術(shù)常用坐標(biāo)系統(tǒng)關(guān)聯(lián)和轉(zhuǎn)換

一先導(dǎo)與重點(diǎn)

文章主要介紹自動(dòng)駕駛技術(shù)中幾種常用的坐標(biāo)系統(tǒng)，以及他們之間如何完成關(guān)聯(lián)和轉(zhuǎn)換，最終構(gòu)建出統(tǒng)一的環(huán)境模型。這里重點(diǎn)理解自車到相機(jī)剛體轉(zhuǎn)換(外參)，相機(jī)到圖像轉(zhuǎn)換(內(nèi)參)，圖像到像素有單位轉(zhuǎn)換。3d向2d轉(zhuǎn)換會(huì)有相應(yīng)的畸變，平移等。
重點(diǎn)：自車坐標(biāo)系<->相機(jī)機(jī)體坐標(biāo)系<->像平面坐標(biāo)系<->像素坐標(biāo)系?難點(diǎn)：要考慮圖像畸變，去畸變和加畸變都是在像平面上去補(bǔ)償

二簡(jiǎn)介

視覺系統(tǒng)一共有四個(gè)坐標(biāo)系：像素平面坐標(biāo)系（u,v）、圖像坐標(biāo)系（x,y）、相機(jī)坐標(biāo)系（）和世界坐標(biāo)系（）。每種坐標(biāo)系之間均存在聯(lián)系，那么如何通過圖像像素坐標(biāo)定位到世界坐標(biāo)系的坐標(biāo)，需要通過相機(jī)標(biāo)定來解決，其中關(guān)鍵的算法部分在于坐標(biāo)系轉(zhuǎn)換，而變換則需要通過齊次坐標(biāo)的表示方式來完成。 ?

三各個(gè)傳感器坐標(biāo)系

3.1 相機(jī)坐標(biāo)系統(tǒng)

攝像頭的作用是把三維世界中的形狀、顏色信息，壓縮到一張二維圖像上?；跀z像頭的感知算法則是從二維圖像中提取并還原三維世界中的元素和信息，如車道線，車輛、行人等，并計(jì)算他們與自己的相對(duì)位置。?感知算法和相機(jī)相關(guān)的坐標(biāo)系有圖像坐標(biāo)系（像素坐標(biāo)系）、攝像機(jī)坐標(biāo)系、像平面坐標(biāo)系

3.1.1 圖像坐標(biāo)系（or 像素坐標(biāo)系）

電腦上存儲(chǔ)的照片或圖像，一般以左上角為原點(diǎn)，向右為x正方向，向下為y正方向，單位以“像素”最為常用。圖像坐標(biāo)系為二維坐標(biāo)系，標(biāo)記為(Xv, Yv)。

3.1.2 攝像機(jī)坐標(biāo)系

由于圖像坐標(biāo)系向右為x，向下為y，所以攝像機(jī)坐標(biāo)系以鏡頭主光軸中心為原點(diǎn)，一般向右為x正方向，向下為y正方向，向前為z正方向。這樣，x，y方向與圖像坐標(biāo)系的方向吻合，z方向即為景深，攝像機(jī)坐標(biāo)系記為(Xc, Yc)

3.1.3 像平面坐標(biāo)系（or 成像坐標(biāo)系）

為了能夠定量描述三維空間到二維圖像的映射關(guān)系，圖形學(xué)里引入了像平面坐標(biāo)系。它是攝像機(jī)坐標(biāo)系的一個(gè)平移，中心仍在攝像機(jī)主光軸上，距離光軸中心的距離等于攝像機(jī)的焦距?我們知道攝像機(jī)會(huì)在光軸中心后方的底片上成一個(gè)縮小的倒像，是真正的像平面(Xf, Yf)。但是為了分析和計(jì)算方便，我們會(huì)在光軸中心前方設(shè)立一個(gè)虛擬像平面。虛擬像平面上的成像為正像，大小與真實(shí)倒像相同 ?

像平面坐標(biāo)系 ?

3.5 世界坐標(biāo)系

根據(jù)情況而定，可以表示任何物體，此時(shí)是由于相機(jī)而引入的。單位m。 ?

世界坐標(biāo)系?，相機(jī)坐標(biāo)系?，成像坐標(biāo)系?及像素坐標(biāo)系 ?

四 Lidar 坐標(biāo)系

Lidar (Light Detection and Ranging) 是一種遠(yuǎn)程感測(cè)技術(shù)，使用激光光束測(cè)量與物體的距離。360度旋轉(zhuǎn)發(fā)射射線，根據(jù)不同目標(biāo)反射率不同反射而形成電云。在自動(dòng)駕駛和機(jī)器人領(lǐng)域，Lidar常被用作一個(gè)主要的傳感器來獲取周圍環(huán)境的3D信息。在多數(shù)情況下，Lidar坐標(biāo)系為右手坐標(biāo)系，但具體定義可能會(huì)因Lidar制造商而異。 ?

4.1 定義

X軸:?通常指向Lidar前方。當(dāng)激光束直接向前發(fā)射時(shí)，與該方向的距離測(cè)量會(huì)在X軸上產(chǎn)生一個(gè)正值。Y軸:?通常指向Lidar的左側(cè)。當(dāng)激光束直接向左側(cè)發(fā)射時(shí)，與該方向的距離測(cè)量會(huì)在Y軸上產(chǎn)生一個(gè)正值。Z軸:?通常指向Lidar的上方，與X和Y軸垂直。高度測(cè)量通常沿Z軸進(jìn)行，正值代表物體高于Lidar設(shè)備，而負(fù)值代表低于Lidar設(shè)備。 ?

4.2 重要性

車載Lidar系統(tǒng)的坐標(biāo)系與車輛坐標(biāo)系可能不完全對(duì)齊，需要一個(gè)轉(zhuǎn)換矩陣來在兩者之間進(jìn)行坐標(biāo)變換。

數(shù)據(jù)標(biāo)注、地圖生成、物體檢測(cè)等任務(wù)需要明確Lidar坐標(biāo)系的定義。

對(duì)于與其他傳感器的數(shù)據(jù)融合，例如攝像頭，知道各自的坐標(biāo)系是非常關(guān)鍵的，以便進(jìn)行正確的數(shù)據(jù)對(duì)齊和融合。

當(dāng)與攝像頭、雷達(dá)或其他傳感器進(jìn)行數(shù)據(jù)融合時(shí)，通常需要知道Lidar與這些傳感器之間的外部標(biāo)定參數(shù)（例如，旋轉(zhuǎn)和平移矩陣），以便在它們之間進(jìn)行坐標(biāo)變換。

五自車坐標(biāo)系

一般環(huán)境中選擇一個(gè)參考坐標(biāo)系來描述傳感器和物體的位置，該坐標(biāo)系稱為世界坐標(biāo)系；自車坐標(biāo)系一般指的是以車體后軸中心為原點(diǎn)（因?yàn)楹筝S中心不會(huì)隨著車擺動(dòng)而發(fā)生相對(duì)變化），左前上或右前上的空間坐標(biāo)系，左（右）一般為橫向，前一般為縱向，上指地面以上空間，坐標(biāo)系隨著車運(yùn)動(dòng)而運(yùn)動(dòng)。所有的下游需要感知輸出的目標(biāo)都要在自車坐標(biāo)系下面，BEV視角目標(biāo)也是指的在這個(gè)坐標(biāo)系下 ?

一般三維空間坐標(biāo)系用三個(gè)正交軸X,Y,Z表示物體的位置，用繞這三個(gè)正交軸的旋轉(zhuǎn)角度（roll 滾動(dòng)角, pitch 俯仰角, yaw 偏航角）表示物體的姿態(tài)。時(shí)間坐標(biāo)系只有一個(gè)維度。為了表述方便，我們一般將空間坐標(biāo)和時(shí)間坐標(biāo)分開討論。

六攝像機(jī)的內(nèi)參和外參

6.1 相機(jī)內(nèi)參

內(nèi)參用來確定攝像機(jī)從三維空間到二維圖像的投影關(guān)系。主要包含三個(gè)參數(shù)，相機(jī)主點(diǎn)，相機(jī)焦距，畸變系數(shù)。內(nèi)參一般由商家給定，也可以進(jìn)行攝像機(jī)標(biāo)定。在自動(dòng)駕駛應(yīng)用中，攝像機(jī)的內(nèi)參為常數(shù)，使用中不會(huì)發(fā)生變化，但需要在使用前做好標(biāo)定工作。攝像機(jī)的拍攝過程，可以抽象成是從三維攝像機(jī)坐標(biāo)系映射到二維像平面坐標(biāo)系，再映射到圖像坐標(biāo)系的過程。 ?

6.1 焦距 (f)

它描述了圖像傳感器與攝像機(jī)的透鏡之間的距離。通常用兩個(gè)參數(shù) () 和 () 來表示，分別對(duì)應(yīng)于圖像的x軸和y軸。

在很多情況下，我們假定 ()，這意味著像素在兩個(gè)方向上都是正方形的。

6.2 主點(diǎn)

它是圖像中的一個(gè)點(diǎn)，通常接近圖像的中心。它是3D空間中的點(diǎn)投影到圖像平面時(shí)所對(duì)應(yīng)的2D點(diǎn)。

通常用兩個(gè)參數(shù) () 和 () 表示，它們對(duì)應(yīng)于圖像的x軸和y軸上的坐標(biāo)。

6.3 畸變系數(shù)

真實(shí)攝像機(jī)的透鏡可能會(huì)引入畸變，導(dǎo)致圖像失真。常見的畸變有徑向畸變和切向畸變。

常用的徑向畸變系數(shù)為 ($k_1, k_2, k_3$)。

切向畸變系數(shù)為 ($p_1, p_2$)。

攝像機(jī)的內(nèi)參通常可以表示為一個(gè)矩陣： ?

這個(gè)矩陣通常被稱為內(nèi)參矩陣或相機(jī)矩陣。

6.2 相機(jī)外參

通過二維圖像推斷物體在三維攝像機(jī)坐標(biāo)系中的位置，例如獲得距離深度信息。從二維圖像中獲取三維距離信息，如果需要獲得物體在世界坐標(biāo)系中的位置，則還需要知道攝像機(jī)在世界坐標(biāo)系中的位姿。這一位姿表示被稱為攝像機(jī)的外部參數(shù)，簡(jiǎn)稱外參，用來決定攝像機(jī)坐標(biāo)與世界坐標(biāo)系之間相對(duì)位置關(guān)系。自動(dòng)駕駛應(yīng)用中，得到這一位置關(guān)系還需要一系列的標(biāo)定和定位工作。相機(jī)相對(duì)其它坐標(biāo)系，旋轉(zhuǎn)+平移矩陣，其中旋轉(zhuǎn)外參與上述歐拉角【yaw，patch，roll】，旋轉(zhuǎn)順序一般為（z-y-x), 單位度；平移外參，相機(jī)到目標(biāo)坐標(biāo)系中的平移距離，單位米

七自車坐標(biāo)系與世界坐標(biāo)系

7.1 自車坐標(biāo)系 (Vehicle Coordinate System)

這是固定在車輛上的坐標(biāo)系。

通常，X軸指向車輛的前方、Y軸指向車輛的右側(cè)（或左側(cè)，這取決于約定）、Z軸指向車輛的上方。

這個(gè)坐標(biāo)系的原點(diǎn)通常位于車輛的某個(gè)固定點(diǎn)，例如車輛的中心、車輛的后軸等，這取決于特定的應(yīng)用和約定。

7.2 世界坐標(biāo)系 (World Coordinate System)

這是一個(gè)固定的、全局的坐標(biāo)系，用于描述環(huán)境中的物體和車輛。

世界坐標(biāo)系的原點(diǎn)和方向通常根據(jù)特定的應(yīng)用或場(chǎng)景來選擇。例如，它可以定位在一個(gè)地圖的某個(gè)固定點(diǎn)，或者是某個(gè)場(chǎng)景的中心。

世界坐標(biāo)系為多個(gè)實(shí)體提供了一個(gè)共同的參考框架，允許它們之間進(jìn)行相對(duì)定位和導(dǎo)航。

關(guān)系與轉(zhuǎn)換：- 由于車輛在世界中是移動(dòng)的，所以自車坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系是時(shí)間變化的。- 為了在這兩個(gè)坐標(biāo)系之間進(jìn)行轉(zhuǎn)換，通常需要一個(gè)轉(zhuǎn)換矩陣或變換（通常由旋轉(zhuǎn)和平移組成）。這個(gè)轉(zhuǎn)換可以通過各種傳感器（例如GPS、IMU、激光雷達(dá)）和算法（例如SLAM）獲得。- 轉(zhuǎn)換可以表示為一個(gè)4x4的齊次坐標(biāo)矩陣，允許我們從一個(gè)坐標(biāo)系轉(zhuǎn)換到另一個(gè)坐標(biāo)系。 ? 大多數(shù)情況下自車坐標(biāo)系等同于世界坐標(biāo)系，本文章也是這么理解的。

八坐標(biāo)系之間轉(zhuǎn)換關(guān)系

8.1 從世界坐標(biāo)系到相機(jī)坐標(biāo)系

物體之間的坐標(biāo)系變換都可以表示坐標(biāo)系的旋轉(zhuǎn)變換加上平移變換，則世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系也是如此。繞著不同的軸旋轉(zhuǎn)不同的角度得到不同的旋轉(zhuǎn)矩陣。?繞Z軸旋轉(zhuǎn)θ示意圖: ?

8.2 相機(jī)坐標(biāo)系到圖像坐標(biāo)系

從相機(jī)坐標(biāo)系到圖像坐標(biāo)系，屬于透視投影關(guān)系，從3D轉(zhuǎn)換到2D。也可以看成是針孔模型的改變模型。滿足三角形相似定理。 ?

8.3 圖像坐標(biāo)系到像素坐標(biāo)系

此時(shí)與前面的坐標(biāo)系變換不同，此時(shí)沒有旋轉(zhuǎn)變換，但是坐標(biāo)原點(diǎn)位置不一致，大小不一致，則設(shè)計(jì)伸縮變換及平移變換。 ?

8.4 四個(gè)坐標(biāo)系之間的關(guān)系

通過最終的轉(zhuǎn)換關(guān)系來看，一個(gè)三維中的坐標(biāo)點(diǎn)，的確可以在圖像中找到一個(gè)對(duì)應(yīng)的像素點(diǎn)，但是反過來，通過圖像中的一個(gè)點(diǎn)找到它在三維中對(duì)應(yīng)的點(diǎn)就很成了一個(gè)問題，因?yàn)槲覀儾⒉恢赖仁阶筮叺牡闹怠??