如何實(shí)現(xiàn)遙感圖像等超大尺寸圖像快速識(shí)別

一般情況下，遙感目標(biāo)檢測(cè)中，遙感圖像的圖片尺寸都會(huì)很大，且圖像中元素極為復(fù)雜，近期開賽的亞馬遜云科技【AI For Good - 2022 遙感光學(xué)影像目標(biāo)檢測(cè)挑戰(zhàn)賽】也不例外，動(dòng)輒超過10000 x 10000的衛(wèi)星遙感圖像讓許多選手感到頭疼。同時(shí)遙感影像中目標(biāo)尺寸差別大、小而密集、角度各異也導(dǎo)致常見的CV框架難以實(shí)現(xiàn)快速精準(zhǔn)的目標(biāo)識(shí)別。所以，如何實(shí)現(xiàn)遙感圖像等超大尺寸圖像快速識(shí)別？

目前比較成熟的衛(wèi)星圖像識(shí)別算法并不少，但大多依托于強(qiáng)大的計(jì)算資源，為了用有限的計(jì)算資源實(shí)現(xiàn)大尺寸圖像識(shí)別，我們找到了一個(gè)可行的開源框架，給大尺寸圖像識(shí)別提供了不錯(cuò)的思路。

YOLT 是一個(gè)基于YOLO v2的衛(wèi)星圖像識(shí)別開源算法，核心思路是：

1. 通過圖片裁切和圖像網(wǎng)絡(luò)重構(gòu)解決圖像尺寸問題；

2. 通過“上采樣”提升小而聚集的目標(biāo)的檢測(cè)精度；

3. 通過將不同尺寸模型融合，提升整體檢測(cè)精度。

YOLT項(xiàng)目地址：GitHub - avanetten/yolt： You Only Look Twice： Rapid Multi-Scale Object Detection In Satellite Imagery

YOLO是經(jīng)典的圖像識(shí)別算法，YOLT在YOLO的基礎(chǔ)上針對(duì)衛(wèi)星圖像特有的問題提出了特定的解決思路。詳細(xì)思路參見論文「You Only Look Twice： Rapid Multi-Scale Object Detection In Satellite Imagery」（GitHub項(xiàng)目中附有論文鏈接）。

▲左側(cè)為常見問題，右側(cè)為解決辦法

1. 針對(duì)物體尺寸不規(guī)則、方向多樣的問題，YOLT對(duì)衛(wèi)星圖像數(shù)據(jù)進(jìn)行尺寸變換與旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)的處理。

2. 針對(duì)目標(biāo)尺寸過小并聚集的問題，YOLT框架主要采用3種方式進(jìn)行處理：

（1） 修改圖像網(wǎng)絡(luò)結(jié)構(gòu)，將YOLO v2框架中的stride由32改為16，有利于檢測(cè)出大小在32 x 32以下的目標(biāo)

（2） 對(duì)圖像進(jìn)行上采樣，完成圖片的“解壓縮”操作，即把原先的圖片放大，以便檢測(cè)小而密集的物體

（3） 將不同尺寸的檢測(cè)模型進(jìn)行融合，即Ensemble操作，由于不同目標(biāo)的尺寸差異可能較大，如海港與船只、機(jī)場(chǎng)與飛機(jī)，Ensemble操作能夠提升大尺寸差異下的識(shí)別精度。

針對(duì)衛(wèi)星圖像尺寸過大的問題，YOLT采用切塊的方式，將原始圖像切割成小塊后輸入模型進(jìn)行訓(xùn)練，并結(jié)合2-（3）進(jìn)行模型融合。

▲ YOLT的網(wǎng)絡(luò)結(jié)構(gòu)，輸出特征尺寸多為26 x 26，可以提升檢測(cè)精度

應(yīng)用實(shí)例

從下面的檢測(cè)實(shí)例中，我們可以看到Y(jié)OLT是如何工作的：

首先，開發(fā)團(tuán)隊(duì)將一張衛(wèi)星圖片調(diào)整至416 x 416大?。ㄈ缟献螅?，發(fā)現(xiàn)無法檢測(cè)出車輛目標(biāo)；而從原圖中切割出416 x 416的區(qū)域（稱其為Chips）則可以實(shí)現(xiàn)部分車輛目標(biāo)的檢測(cè)。

順著這個(gè)思路，開發(fā)團(tuán)隊(duì)采用劃窗方式將原始圖像切割為許多chips，并使相鄰chips之間有一定重合（如上圖），以確保圖像檢測(cè)的完整性。再利用NMS算法將重復(fù)檢測(cè)過濾，最后將各塊的檢測(cè)結(jié)果進(jìn)行融合，即可得出最后的結(jié)果。

▲ 檢測(cè)實(shí)例：采用YOLT v4識(shí)別機(jī)場(chǎng)中的飛機(jī)

YOLT的思路不止可以應(yīng)用于衛(wèi)星圖像識(shí)別，同樣可以在目標(biāo)尺寸小且密集的其他類圖像識(shí)別問題中發(fā)揮作用。

對(duì)本次亞馬遜【AI For Good - 2022 遙感光學(xué)影像目標(biāo)檢測(cè)挑戰(zhàn)賽】的選手而言，YOLT的解決思路能夠幫助大家越過圖片尺寸過大的第一道坎。

原文標(biāo)題：如何實(shí)現(xiàn)超大尺寸圖像快速識(shí)別

文章出處：【微信公眾號(hào)：OpenCV學(xué)堂】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。