介紹一種基于圖像的三維重建方法

介紹

當前，對于一個場景的快速重建是重要的，目標是實現一個快速的、全面的三維重建模型?？梢詰糜谝巴獾牧謽I(yè)資源保護、火災和地震的災后搶救、邊境安防、油田或者海上平臺油氣設施、電力設施監(jiān)測都有十分重要的價值。

現在對于野外覆蓋常用衛(wèi)星。對衛(wèi)星來說，存在分辨率不足的問題，無法清晰構建出野外的三維場景。而對于較精確的雷達激光掃描重建，既有造價昂貴的缺點，又十分笨重，在野外環(huán)境中進行三維重建十分不方便。

隨著自動控制、無線傳輸等技術的發(fā)展，無人機的應用領域也越來越多。無人機具備成木低，應用范圍廣，機動性能好，降低野外作業(yè)人員危險等優(yōu)點。因此基于圖像的三維重建方法是解決上述問題的有效手段。

三維重建一直以來就是國內外學者研宄的熱點問題，并取得了一些重大的成果。華盛頓大學的GRAIL實驗室，采用多核并行技術耗時21小時完成了對羅馬城的稀疏點云的重建，成功地實現了對海量數據的大場景稀疏點云的三維重建[1-2]。吳常常實現的VisualSFM算法是較為完善的開源視覺重建算法[3]，在該算法使用多核捆綁調整[4]進行參數優(yōu)化。但是，其對于紋理較弱的場景，不能進行三維重建。

基于深度學習的方法已經引起了人們的廣泛關注，并在圖像處理中得到了廣泛的應用。一些研究者提出了基于深度神經網絡的三維重建算法。Ummenhofer等人中提出的 DeMoN 給出了從連續(xù)的無約束圖像對中恢復圖像深度和相機運動的端到端神經網絡[5]，并且還可以輸出表面法線、匹配對之間的光流，該框架由多個編碼器-解碼器組成。該網絡只單純利用兩個圖像之間的RGB信息而沒有利用幾何信息進行估計，三維重建準確度較低，效果不好。

總體框架

本文介紹的方法，整體流程圖如圖1所示。

圖1.整體流程圖

具體步驟如下：

步驟1：首先要對無人機的飛行路徑進行之字形規(guī)劃，無人機拍攝的正射影像可以完全覆蓋所需拍攝的場景，進而獲取精確、詳細的圖像序列，無人機在拍攝圖像的過程中，實時的將圖片與RTK信息回傳給地面站。

步驟2：地面站接收無人機拍攝的圖片后，將圖片按順序進行排列，并將圖像按照每20張分成一個簇。

步驟3：對每個簇中的圖片進行提取特征點，并對特征點進行描述。

步驟4：接著進行特征匹配，使用濾波算法來剔除匹配錯誤的特征點。

步驟5：通過運動恢復結構技術獲取相近圖像之間的對應關系，初步獲取相機在三維空間中的姿態(tài)及位置信息。

步驟6：圖像中包含GPS信息，利用光束法平差來優(yōu)化相機姿態(tài)參數，得到各個圖像簇的稀疏點云。

步驟7：然后，通過恢復每張圖像的深度圖，基于深度圖融合的方法，將這些深度圖融合，得到各個圖像簇的稠密點云。

步驟8：最后，將各個圖像簇的稠密點云進行融合，得到整個場景的三維信息。

具體步驟:

首先，確定無人機拍攝野外場景的具體范圍，并對無人機的飛行路徑進行規(guī)劃，這里選用之字形往返式的規(guī)劃路徑方式。這種方式對于無人機的飛行具有簡單、便捷的特點，飛行路線大多都是直線，轉彎的次數較少，消耗的能量也較少，并且可以完全覆蓋所需要拍攝的場景。

此外，無人機所搭載的相機也有一定的要求，需要使用帶有RTK載波相位差分技術的照相機，無人機在拍攝場景時,同時可以記錄拍攝點位的GPS信息。

在無人機拍攝的圖像后，需要將圖像以及相應的RTK信息實時回傳給地面站。

地面站在接收到無人機拍攝的圖片后，將圖片按順序進行排列，這種有序的圖像序列，為后續(xù)的特征匹配節(jié)省很多時間。

如圖2所示，圖片按順序排列好之后，將圖片按照每20張分成一個簇，后續(xù)就是對圖像簇進行操作，各個圖像簇之間并行處理，提高效率。

圖2. 圖像分簇

對每個簇中的圖片進行提取特征點，這里提取SIFT特征點，因為SIFT特征具有區(qū)分性好，對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性等優(yōu)點，因此這里使用SIFT特征提取算子對圖像集進行特征提取。

提取了圖像的特征點之后，需要對圖像進特征匹配。在接收圖像后已經對圖像順序進行了排序，在特征匹配階段，只需要對各個圖像簇中相鄰的兩幅圖像進行特征匹配，對于n張輸入圖像，能夠將匹配階段的時間復雜度從O(n2)降低到O(n)。

對于特征匹配，包括多種兩兩圖像之間的匹配算法可供選擇。對于基于標量的特征描述符，有暴力匹配、近似最近鄰匹配、層級哈希匹配和快速層級哈希匹配四種方式。對于二進制描述符，主要為暴力匹配。暴力匹配對參考圖像中的每個特征點，在另一幅待匹配圖上計算所有特征點和該點歐式距離，再利用距離比等條件進行剔除，最終得到匹配集。該方法時間復雜度較高，搜索效率較低。

近似最近鄰匹配的方法針對大數據集時它的效果要好于暴力匹配。層級哈希匹配和快速層級哈希匹配主要是利用局部敏感哈希將一個圖像上的特征點映射成為一個哈希編碼，在利用SIFT特征計算兩幅圖像之間的匹配的時候，對于第一幅圖像上的某個特征點，搜索第二幅圖像上和該特征點哈希編碼的漢明距離小于某個閾值的特征點，然后根據SIFT特征描述符的相似性和比率測試確定最終的匹配。

其中快速層級哈希匹配在速度上更快，利用預先計算好的散列區(qū)域，提升了匹配速度。所以, 這里采用快速層級哈希匹配處理兩幅圖像之間的匹配問題。

在匹配的過程中，會存在一些誤匹配的情況，這對后期的三維重建會產生很大的影響，所以這里需要剔除匹配錯誤的特征點，這里采用RANSAC(Random Sample Consensus,隨機抽樣一致）算法來剔除誤匹配的點。RANSAC算法可以從一組包含“外點”的觀測數據集中，通過迭代方式估計數學模型的參數，進而剔除誤匹配的點。

RANSAC算法的具體步驟：

（1）首先從數據集中隨機選出一組局內點（其數目要保證能夠求解出模型的所有參數），計算出一套模型參數。

（2）用得到的模型去測試其他所有的數據點，如果某點的誤差在設定的誤差閾值之內，就判定其為局內點，否則為局外點，只保留目前為止局內點數目最多的模型，將其記錄為最佳模型。

（3）重復執(zhí)行1,2步足夠的次數（即達到預設的迭代次數）后，使用最佳模型對應的局內點來最終求解模型參數，該步可以使用最小二乘法等優(yōu)化算法。

（4）最后可以通過估計局內點與模型的錯誤率來評估模型。

在得到圖像中特征點的匹配關系后，通過運動恢復結構技術來計算相鄰圖像之間的對應關系，初步獲取相機在三維空間中的姿態(tài)及位置信息。

因為無人機拍攝的圖像中包含有GPS信息，利用圖像和GPS間的約束，使用光束法平差對相機的姿態(tài)位置進行優(yōu)化調整，得到準確的相機位姿以及場景路標點。這里使用全局式SFM（Structure from motion，運動恢復結構）來輸出各個圖像簇的稀疏點云，因為全局式SFM的重建速度相比于增量式SFM和層級式SFM的重建速度都快，并且重建效果可以達到要求。通過這種方式生成的稀疏點云具有尺寸及地理編碼信息。

通過計算出每張圖像的深度圖，利用深度圖融合，來生成三維稠密點云?；谏疃葓D融合的方法，需要首先將每張圖像對應起來，即通過旋轉、平移等坐標變換對兩張圖像進行匹配，這些對應信息可以從SFM結果得到，然后再根據同一個空間點在各個深度圖中對應的深度信息來共同恢復該空間點的三維位置。如果融合后的點云數量過多，還需要進行三維點云精簡處理，進而得到各個圖像簇的稠密點云。

根據各所述稠密深度圖對應的位移及所述旋轉關系，對各個圖像簇對應的稠密點云進行融合，在融合的過程中需要剔除一些重疊的點云，進而得到整個場景的三維信息。

總結

本文介紹了基于圖像的三維重建方法。首先通過無人機按照規(guī)劃好的路線拍攝圖片，無人機在拍攝完圖片的過程中，將圖片實時的回傳給地面。在地面端接收無人機回傳的圖片，將接收的圖像按順序進行排列，并將圖像按照每20張作為一個簇，分別對每簇中的圖像進行提取特征點，并對特征點進行描述。

接著進行特征匹配，使用濾波算法來剔除匹配錯誤的特征點。根據匹配的特征點，通過運動恢復結構技術獲取相鄰圖像之間的對應關系，初步獲取相機在三維空間中的姿態(tài)及位置信息。進而利用光束法平差來優(yōu)化相機姿態(tài)參數，得到各個圖像簇的稀疏點云。然后，通過恢復每張圖像的深度圖，基于深度圖融合的方法，將這些深度圖融合，得到各個圖像簇的稠密點云。最后將各個圖像簇的稠密點云進行融合，得到整個場景的三維信息。

審核編輯：劉清