不斷改進(jìn) RapiD，提高衛(wèi)星圖像在道路圖繪制方面的效率

現(xiàn)如今，即使可以借助衛(wèi)星圖像和繪制軟件，創(chuàng)建精確的道路圖也依然是一個(gè)費(fèi)時(shí)費(fèi)力的人力加工過(guò)程。許多地區(qū)，特別是在發(fā)展中國(guó)家也仍是空白。為了縮小這一差距，F(xiàn)acebook 的人工智能研究人員和工程師們開(kāi)發(fā)了一種新的方法，該方法通過(guò)深度學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)，根據(jù)商用高分辨率衛(wèi)星圖像來(lái)預(yù)測(cè)道路網(wǎng)絡(luò)。由此產(chǎn)生的模型為精確程度設(shè)定了一個(gè)新標(biāo)準(zhǔn)，因?yàn)樗軌蜉^好地適應(yīng)道路網(wǎng)絡(luò)中的地區(qū)差異，有效地預(yù)測(cè)全球范圍內(nèi)的道路。

我們現(xiàn)在正與 Map With AI（一套新的專用道路圖編輯服務(wù)和工具）分享我們模型的具體細(xì)節(jié)，并向全球的繪制機(jī)構(gòu)提供數(shù)據(jù)。Map With AI 包含一個(gè)編輯器界面 —— RapiD，它讓道路圖專家可以根據(jù)自己的需要很方便地查看、校驗(yàn)和調(diào)整道路圖。

我們使用了 Map With AI 系統(tǒng)在 Facebook 的 OpenStreetMap（OSM）中繪制了泰國(guó)所有此前未曾繪制過(guò)的道路（超過(guò)了 30 萬(wàn)英里），這是一項(xiàng)基于社會(huì)機(jī)構(gòu)的工作，旨在創(chuàng)建免費(fèi)的、可編輯的世界道路圖。我們僅僅花了一年半的時(shí)間就完成這個(gè)項(xiàng)目—— 這比有 100 個(gè)繪圖專家的團(tuán)隊(duì)手工完成這項(xiàng)任務(wù)花費(fèi)的時(shí)間減少一半多。

準(zhǔn)確的繪制數(shù)據(jù)有助于我們更好地為世界各地的人們提供 Facebook Marketplace 和 Facebook Local 等技術(shù)產(chǎn)品。Map With AI 與 Facebook 人工智能的 population density maps 項(xiàng)目一樣，這些道路圖將為災(zāi)難響應(yīng)、城市規(guī)劃、開(kāi)發(fā)項(xiàng)目和許多其他任務(wù)提供資源保障。例如，在 2018 年印度喀拉拉邦遭受洪水災(zāi)害時(shí)，F(xiàn)acebook 利用 Map With AI 快速地繪制出了該地區(qū)的道路圖，協(xié)助了救災(zāi)工作。

要使用 RapiD，用戶可以在道路圖上選擇一條道路，在提交給 OSM 系統(tǒng)之前，可以根據(jù)實(shí)際需要對(duì)其進(jìn)行進(jìn)一步的編輯。白線表示現(xiàn)有的 OSM 道路，紫紅線則表示 RapiD 的預(yù)測(cè)結(jié)果。選用 Maxar 衛(wèi)星的圖像作為背景。

利用新技術(shù)實(shí)現(xiàn)更高效、更精確的繪圖功能

我們已經(jīng)在幾個(gè)方面往前推進(jìn)繪制道路圖的研究。在 2018 年的 CVPR 大會(huì)上，我們幫助組織了 DeepGlobe 衛(wèi)星挑戰(zhàn)賽（DeepGlobe Satellite Challenge），通過(guò)提供數(shù)據(jù)集和競(jìng)賽平臺(tái)來(lái)組織和評(píng)估計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的解決方案，推進(jìn)了衛(wèi)星圖像分析的最高水平。我們還正在開(kāi)發(fā)新的適合遙感問(wèn)題空間的學(xué)習(xí)技術(shù)和架構(gòu)，并研究弱監(jiān)督學(xué)習(xí)技術(shù)，以在全球范圍內(nèi)應(yīng)用我們的道路繪制工作，還在與繪制團(tuán)隊(duì)進(jìn)行合作，在全球范圍內(nèi)測(cè)試這些用于設(shè)計(jì)比例和構(gòu)造方面的工具。

道路分割

在從衛(wèi)星圖像中選取道路的過(guò)程中，我們利用了最近在使用完全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Neural Networks）進(jìn)行語(yǔ)義分割，同時(shí)結(jié)合大規(guī)模弱監(jiān)督學(xué)習(xí)方面的發(fā)展成果。道路檢測(cè)是語(yǔ)義分割方面的應(yīng)用，其中道路是前景，圖像的其余部分作為背景。如下圖所示，過(guò)程的輸出是一個(gè)柵格化的道路圖，顯示了模型如何預(yù)測(cè)輸入的衛(wèi)星圖像的每個(gè)像素是否屬于某個(gè)道路。對(duì)于道路分割，我們使用了 D-LinkNet 架構(gòu)的修訂版本，它在 DeepGlobe 衛(wèi)星道路獲取挑戰(zhàn)賽（the DeepGlobe Satellite Road Extraction Challenge）中獲勝。向量化和后處理技術(shù)可以獲取這些輸出并轉(zhuǎn)化為與地理空間數(shù)據(jù)庫(kù)（如 OSM 系統(tǒng)）兼容的道路向量。

左邊是分割模型每個(gè)像素的預(yù)測(cè)結(jié)果；紫紅色意味著像素有更高的概率屬于道路。右邊：合并的向量化道路與現(xiàn)有的 OSM 道路（白色），衛(wèi)星圖像由 Maxar 提供

用弱監(jiān)督學(xué)習(xí)模式在全球范圍繪制道路圖

作為上述泰國(guó)道路繪制項(xiàng)目的一部分，我們請(qǐng)一些專家檢查并修正人工智能系統(tǒng)識(shí)別的道路網(wǎng)絡(luò)。然后，我們使用這些手動(dòng)更正的道路圖作為模型的訓(xùn)練數(shù)據(jù)。這個(gè)項(xiàng)目繪制了整個(gè)泰國(guó)的公路網(wǎng)絡(luò)，因此我們對(duì)數(shù)據(jù)的準(zhǔn)確性和完整性充滿了信心。我們發(fā)現(xiàn)，數(shù)據(jù)集訓(xùn)練在泰國(guó)獲得了高精度的驗(yàn)證結(jié)果，但在其它地區(qū)準(zhǔn)確性卻急劇下降。由于該項(xiàng)目的目標(biāo)是能夠繪制全球的道路圖，因此我們研究了如何使用其它地區(qū)增加的 OSM 數(shù)據(jù)來(lái)訓(xùn)練一個(gè)新的模型。

但是，許多其它國(guó)家的道路圖仍然存在著巨大差距。因此，我們探索了獲取高質(zhì)量的、地理多樣性的訓(xùn)練數(shù)據(jù)的新方法。我們借鑒了以往關(guān)于弱監(jiān)督圖像分類和基于 OSM數(shù)據(jù)訓(xùn)練建筑檢測(cè)模型的工作，嘗試將這些弱監(jiān)督學(xué)習(xí)的思想從分類轉(zhuǎn)換為語(yǔ)義分割。這項(xiàng)實(shí)驗(yàn)需要識(shí)別具有足夠的、準(zhǔn)確的數(shù)據(jù)覆蓋率的區(qū)域，然后將 OSM 數(shù)據(jù)庫(kù)的道路向量轉(zhuǎn)換為柵格化的語(yǔ)義分割標(biāo)簽。對(duì)于這兩個(gè)挑戰(zhàn)，我們采取了一種直接的方法，即首先生成帶有噪音的、不太完美的訓(xùn)練數(shù)據(jù)。

我們收集了一組像素為 2048 x 2048 的訓(xùn)練數(shù)據(jù)，分辨率約為每像素 24 英寸。我們放棄了道路圖上少于 25 條路的區(qū)域，因?yàn)槲覀儼l(fā)現(xiàn)地圖上通常只包括一些主要的道路（通常沒(méi)有可以正確標(biāo)注較短道路的先例）。對(duì)于剩余的區(qū)域，我們將道路向量進(jìn)行柵格化，并使用結(jié)果標(biāo)識(shí)作為訓(xùn)練標(biāo)簽。為了達(dá)到與 DeepGlobe 數(shù)據(jù)集相同的分辨率，我們隨機(jī)將每個(gè)圖像的像素剪裁到 1024 x 1024，從而生成了能覆蓋到 70 多萬(wàn)平方英里地理范圍的大約 180 萬(wàn)個(gè)區(qū)域，這個(gè)結(jié)果是 DeepGlobe 數(shù)據(jù)集覆蓋的約 630 平方英里的區(qū)域的 1000 倍。

為了從這些道路向量中創(chuàng)建分割標(biāo)識(shí)，我們只需將每個(gè)道路向量柵格化為 5 個(gè)像素。語(yǔ)義分割標(biāo)簽往往是趨向于像素的，但我們用這種探索式的方法所創(chuàng)建的標(biāo)簽卻不是這樣的。由于道路的寬度和外形各不相同，這些柵格化了的向量無(wú)法完全獲取這些信息。此外，全球不同地區(qū)的道路是根據(jù)不同的衛(wèi)星圖像源繪制的，因此并不總與用于訓(xùn)練數(shù)據(jù)的圖像完全一致 。

用于 OSM 道路分割模型的訓(xùn)練數(shù)據(jù)的地理分布可視化圖。由于實(shí)驗(yàn)的時(shí)候衛(wèi)星圖像是不可用的，因此一些區(qū)域并未在圖中出現(xiàn)

僅使用在數(shù)據(jù)收集過(guò)程中產(chǎn)生的噪聲標(biāo)簽，我們就能夠產(chǎn)生與許多 DeepGlobe 挑戰(zhàn)賽參與者不相上下的結(jié)果。通過(guò)對(duì) DeepGlobe 挑戰(zhàn)數(shù)據(jù)集中訓(xùn)練數(shù)據(jù)的微調(diào)，我們的模型取得了最好的結(jié)果。

比這些微調(diào)的結(jié)果更值得注意的是，即使只在 OSM 數(shù)據(jù)上進(jìn)行訓(xùn)練，模型在全球范圍內(nèi)運(yùn)行的結(jié)果也非常不錯(cuò)。大多數(shù)可用于訓(xùn)練道路分割模型的數(shù)據(jù)集嚴(yán)重地偏向于特定的區(qū)域或發(fā)展水平的地區(qū)。例如，DeepGlobe 道路數(shù)據(jù)集僅包含來(lái)自印度、印度尼西亞和泰國(guó)的數(shù)據(jù)，而 SpaceNet 道路獲取挑戰(zhàn)賽（the SpaceNet Road Extraction Challenge）的數(shù)據(jù)集僅關(guān)注于一些主要的城市。我們創(chuàng)建的數(shù)據(jù)集跨越了六大洲和各種發(fā)展水平的地區(qū)，提供的訓(xùn)練數(shù)據(jù)比其它可用的替代數(shù)據(jù)要多得多。

為了評(píng)估更大的、更多樣化的數(shù)據(jù)集對(duì)模型的標(biāo)準(zhǔn)化有多大的影響，我們?cè)u(píng)估了 OSM 訓(xùn)練模型和 DeepGlobe 模型（在 DeepGlobe 數(shù)據(jù)上訓(xùn)練）。我們?cè)谄渌鼛讉€(gè)數(shù)據(jù)集（拉斯維加斯、巴黎、上海等城市，請(qǐng)查閱論文獲取詳情）上對(duì)這兩個(gè)模型進(jìn)行了評(píng)估，這些數(shù)據(jù)集均不在 DeepGlobe 數(shù)據(jù)集的地理分布范圍內(nèi)。在這些測(cè)試集中，DeepGlobe 模型的平均聯(lián)合交叉（IoU，the mean Intersection over Union)得分為0.218，而 OSM 訓(xùn)練模型的平均 IoU 得分為 0.355。相比之下，這些分?jǐn)?shù)相對(duì)改善 62%，絕對(duì)改善 13.7%。

烏干達(dá)的坎帕拉，在一個(gè)道路圖相對(duì)繪制較好的地區(qū)進(jìn)行道路獲取。從左到右：Maxar 衛(wèi)星圖像、OSM（手動(dòng)繪制）、THA/IND/IDN 訓(xùn)練模型、全球 OSM 訓(xùn)練模型。在 DeepGlobe 上訓(xùn)練的模型在房屋之間繪制出許多本來(lái)不存在的道路，而在全球數(shù)據(jù)上訓(xùn)練的模型表現(xiàn)不錯(cuò)

能有效創(chuàng)建全新道路圖的AI工具

一旦模型識(shí)別出潛在的道路，我們就需要對(duì)其進(jìn)行驗(yàn)證并提交給 OSM。將這些數(shù)據(jù)提供給社區(qū)是一個(gè)重要環(huán)節(jié)，我們模型的結(jié)果雖然很好，但并不完美。地區(qū)的差異會(huì)影響道路分類的結(jié)果。一些結(jié)果錯(cuò)誤地跟蹤了衛(wèi)星圖像中的其它特征，如干涸的河床、狹窄的海岸線和運(yùn)河。此外，模型可能無(wú)法找到一個(gè)區(qū)域內(nèi)的所有道路，或者可能會(huì)忽略連接點(diǎn)和潛在的道路， 因此，我們的下一步是將模型的結(jié)果與有經(jīng)驗(yàn)的繪圖人員結(jié)合。為此，我們利用了道路圖繪制社區(qū)里已經(jīng)熟悉的工具(iD, JavaOpenStreetMap, 和 Tasking Manager)。

我們的工作重點(diǎn)是構(gòu)建 RapiD，它是一個(gè)應(yīng)用廣泛的基于 Web 的 iD 道路圖編輯器的開(kāi)源擴(kuò)展。此外，我們構(gòu)建了一個(gè)系統(tǒng)，將模型的結(jié)果與 OSM 中已有的數(shù)據(jù)結(jié)合，這一過(guò)程稱為合并，它既可以為如何將新道路加入到現(xiàn)有的數(shù)據(jù)提供建議，又可以防止模型建議的道路覆蓋現(xiàn)有道路數(shù)據(jù)。我們希望 RapiD 能夠讓道路圖繪制社區(qū)中的人們根據(jù)自己的實(shí)際情況來(lái)改進(jìn)并利用這些工具。

RapiD 編輯器允許通過(guò)可視化的方式展現(xiàn)合并的道路，并高亮顯示新修改的地方，還為最常見(jiàn)的數(shù)據(jù)清理任務(wù)使用新的命令和快捷方式，例如調(diào)整道路的分類來(lái)適應(yīng)周圍的環(huán)境。因?yàn)槲覀償U(kuò)展了現(xiàn)有的編輯工具 iD，繪圖人員能夠使用熟悉的工具來(lái)處理新的數(shù)據(jù)。為了確保向 OSM 提交高質(zhì)量的數(shù)據(jù)，我們采用了完整性校驗(yàn)來(lái)捕獲模型結(jié)果可能出現(xiàn)的潛在問(wèn)題。

道路圖繪制社區(qū)的前期反饋結(jié)果令人鼓舞:

“這個(gè)工具在建議的機(jī)器生成功能和手動(dòng)繪制方式之間取得了良好的平衡。它能讓道路圖繪制者對(duì)圖上的內(nèi)容有最后決定權(quán)，這有助于發(fā)現(xiàn)繪制過(guò)程中出現(xiàn)的問(wèn)題。它的優(yōu)勢(shì)是繪圖人員可以以更具互動(dòng)性的方式開(kāi)始繪圖。對(duì) iD 的調(diào)整和添加的快捷鍵會(huì)使其功能更強(qiáng)大，足以滿足繪制人員的需要，”長(zhǎng)期致力于 OSM 研究的 Martijn van Exel 說(shuō)道， “這必然是 OSM 未來(lái)的一個(gè)關(guān)鍵點(diǎn)。沒(méi)有機(jī)器的幫助，我們無(wú)法繪制道路圖，更談不上繪制全世界。訣竅是找到那個(gè)點(diǎn)。OSM 是一個(gè)全人類的項(xiàng)目，道路圖反映了繪制者的興趣、技能、偏好等?！?/p>

“在我看來(lái)，RapiD 最獨(dú)特的優(yōu)勢(shì)在于它可用于世界上最復(fù)雜的地理環(huán)境，這些地區(qū)對(duì)自動(dòng)化的需求最為迫切。大多數(shù)現(xiàn)代的算法、訓(xùn)練數(shù)據(jù)集和相關(guān)技術(shù)都是為那些基礎(chǔ)設(shè)施高度發(fā)達(dá)的地區(qū)而發(fā)明的。在發(fā)展中國(guó)家，例如非洲、東南亞、拉丁美洲，這些地方的道路沒(méi)有很好的命名、維護(hù)或是開(kāi)發(fā)，即使是最專業(yè)的人眼也很難識(shí)別和正確地進(jìn)行道路特征的分類，”一位共享車輛地域經(jīng)理 Dimitry Kuzhanov 說(shuō)道。

“RapiD 是向前邁出的重要一步，因?yàn)樗鼘⑷斯ぶ悄艿哪芰εc人類天生具有的智慧和對(duì)關(guān)聯(lián)性的理解力結(jié)合了起來(lái)?！盡apillary 的戰(zhàn)略合作伙伴經(jīng)理 Edoardo Neerhut 這樣說(shuō)道。

總之，好的工具可以增強(qiáng)道路圖繪制人員的能力，減少基于衛(wèi)星數(shù)據(jù)繪制道路的繁瑣和耗時(shí)的工作，提高道路形狀的準(zhǔn)確性，并為識(shí)別建議道路提供選項(xiàng)，即使繪制者選擇不使用這些建議。能提供不受專業(yè)繪制者能力和判斷限制的工具很重要。我們將根據(jù)這些繪制者的反饋不斷改進(jìn) RapiD，讓它的使用過(guò)程更加順暢。我們相信，由此產(chǎn)生的生產(chǎn)能力提高了衛(wèi)星圖像在道路圖繪制方面的效率。