高精度三維空間定位之單目空間定位技術解析

本文將重點介紹單目方案的空間定位。

三、單目三維空間測量與定位要解決的問題

1、 求解原理和過程

如前文所述，單目三維空間測量與定位，是依據(jù)PnP原理來求解的。理論上講，如果可以獲取一個三維剛體上不共面的任意6個點在攝像機二維成像平面的投影位置，是可以唯一反解出來這個剛體在三維空間的唯一6DoF參數(shù)的。如果少于6個點，解就不一定唯一了。但在實踐中，由于剛體往往存在一些約束條件，因此，大多數(shù)情況下，如果能提取獲得剛體上4個不共面點的二維投影，一般就可以反解出剛體的6DoF。其求解的前提條件為：

求解過程如下：

在結算過程中，會遇到的關鍵技術環(huán)節(jié)和問題包括：環(huán)境噪聲點去除，光斑中心像素提取，二維和三維點匹配，6DoF計算迭代優(yōu)化，以及多傳感器融合問題。

2、 環(huán)境噪聲點去除問題

在計算機視覺、圖像處理領域，最常見的一個問題，也往往是一個非常頭疼的問題就是環(huán)境噪聲。所有圖像處理的問題，都會面臨：光照是否足夠，太陽光、日光燈、白熾燈、鹵素燈（展會往往會有）等各種燈的紅外分量、可見光分量的干擾和影響。解決環(huán)境噪聲的手段包括：1）使用主動光源，這樣可以有效的減少白天、黑夜所帶來的影響，一般使用的主動光源時，會使用紅外光源；2）使用濾波片，特別是窄帶濾波片。在使用主動光源時，往往會配合使用濾波片，將不需要的光學成分去除，最常見的，例如第一代Kinect中，其發(fā)光為波長828nm的紅外光，因此，其使用了828±15nm的窄帶濾波片。這是抗干擾手段中性價比最高的方法。3）使用主動調制光源。如果前面兩種措施還不能有效抑制干擾（最常見的情況是在室外或者室內使用，但有陽光射入），這就可能要使用帶調制信息的主動光源了，CMOS Sensor在接收到光線信號后，算法可以將陽光等不帶調制信息的光線信號給濾除。雖然，使用調制光源可以進一步抑制干擾，但其往往也有副作用，例如增大處理器運算工作量，降低幀率。

3、 光斑中心像素提取精度問題

利用計算機視覺的定位中，影響定位精度的其中一個最重要的因素就是光斑中心的提取精度。在實際應用中，即便不考慮外界光線的影響，僅僅CMOS Sensor本身，也會對光斑成像帶來各種噪聲，包括：讀出噪聲、暗電流噪聲、固定模式噪聲等。理想情況下，光學系統(tǒng)能將光斑的平行光束投影到CMOS Sensor的一個或幾個像素點上，使其分布呈現(xiàn)中心某個或某幾個像素有均勻光線，而其余像素無光線的情況。但實際上，由于光學系統(tǒng)的成像誤差、衍射、以及CMOS Sensor噪聲的存在，使得成像結果往往會呈現(xiàn)以某個像素為中心的光強正態(tài)分布情況。為提高光斑中心像素提取精度，硬件上的做法是通過提高攝像機的分辨率來實現(xiàn)更高精度的圖像提取，但這樣也會相應的增加硬件成本。而且，隨著分辨率的增加，運算量也成幾何倍數(shù)的增長，這也會帶來處理器的性能增長需求，這將極大的增加整體成本。另外，在算法層面，采用一些傳統(tǒng)的灰度質心提取算法，其一般做法是通過對圖像二值化預處理然后使用連通域提取，對光斑的質心進行求解，這在目標距離攝像機較近，光斑亮度比較均勻的情況下，傳統(tǒng)方法提取的質心精度效果比較好，然而實際情況中，光斑的亮度分布往往不是非常均勻，尤其在距離較遠的情況下，亮度的均勻性和大小都將快速衰減，使得質心質心精確性大幅下降。其中改進的方法包括對連通域范圍先進行致密上采樣 隨后對上采樣范圍的像素亮度進行加權求解質心，這種方法在效果上可以達到較高的亞亞像素精度，然而犧牲了較多的運算效率。但如果我們對算法進行一些改進，是可以將提取精度提高到亞亞像素級的。歡創(chuàng)科技在這一點上進行了比較深入的研究，從光斑成像的角度入手，對光斑亮度的衰減過程進行分析，從而總結出了一種預處理方式，使得質心提取精度在維持亞亞像素精度的情況下，不犧牲任何運算效率。

4、 二維和點匹配問題

對于單目的姿態(tài)求解， PnP原理是求解的基礎，然而PnP求解的前提是空間中的3D坐標和相機投影的2D像素間的對應關系已知，在匹配未知的情況下，求解PnP 問題變得比較復雜，在計算機視覺領域，這個問題又叫做即時姿態(tài)和匹配求解問題（Simultaneous Pose and Correspondence Problem），針對這個問題比較常見的算法有softPOSIT，BlindPnP等，這些方法都采用的迭代求解的思想，將姿態(tài)求解和匹配歸結為優(yōu)化問題，交替求解當前最優(yōu)姿態(tài)以及最優(yōu)匹配，相對于softPOSIT，BlindPnP加入一些先驗姿態(tài)信息，并且將高斯混合模型應用于3D-2D匹配， 在某些案例中可以達到較精確的效果，然而這些方法的通病就是無法確保結果是全局最優(yōu)的，由于求解的空間復雜，因此有不收斂或收斂到局部最優(yōu)的可能，導致求解失敗。因此一些基于Branch-and-Bound以及Bundle Adjustment全局求解的思想框架逐漸運用到了這個問題上來，并且獲得了不錯的結果。總的說來，3D-2D的匹配和姿態(tài)求解密不可分，匹配算法的魯棒性和效率直接決定了姿態(tài)求解的性能，也是所有基于視覺的空間定位系統(tǒng)至關重要的環(huán)節(jié)。

5、 相機運動情況下與IMU傳感器融合的問題

早在慣性測量單元（IMU）還未大規(guī)模普及的時代，SLAM 系統(tǒng)往往只依靠相機捕獲的圖像信息進行空間定位，由于圖像信息中的角點或Marker點是可以直接約束相機的姿態(tài)和位置的， 因此純視覺輸入可以保證SLAM系統(tǒng)在小范圍空間內的跟蹤結果不存在漂移。然而純視覺定位的局限在于其幀率往往不是很高，而且圖像運算復雜，使得姿態(tài)求解不具有較高的動態(tài)性能。 而反過來，慣性測量單元具有極好的瞬時動態(tài)性，可以很好的彌補視覺系統(tǒng)的不足。因此，視基于覺和慣性單元融合的空間定位系統(tǒng)Vision-Inertial Navigation System（VINS） 便成為當前流行的SLAM系統(tǒng)最佳方案，在VR領域，這也是inside-out 定位系統(tǒng)的基礎。VINS的核心是利用卡爾曼濾波器對慣性單元的輸入進行預積分，將積分結果用于預測當前姿態(tài)下所有角點或Marker點在相機中的投影位置，接著通過相機捕獲到的角點或marker點坐標對預測姿態(tài)進行修正更新，整個預測和更新過程交替進行。當前市面流行的IMU輸出幀率可以達到1000幀，因此VINS可以以很高的幀率對當前姿態(tài)進行預測，同時以相對較低的圖像頻率對姿態(tài)進行更新修正，這樣可以同時保證定位系統(tǒng)的瞬時響應速度和長時間使用的準確性。

以上就是為大家?guī)淼膯文靠臻g定位的一些技術介紹，在后續(xù)，本專欄還會結合一些實際應用和產(chǎn)品再介紹和空間定位、測量相關的技術。