OpenCV上八種不同的目標追蹤算法

編者按：目標跟蹤作為機器學習的一個重要分支，加之其在日常生活、軍事行動中的廣泛應用，很多國內(nèi)外學者都對此頗有研究。本文將討論OpenCV上八種不同的目標追蹤算法。

雖然我們熟知的的質(zhì)心追蹤器表現(xiàn)得很好，但它需要我們在輸入的視頻上的每一幀運行一個目標探測器。對大多數(shù)環(huán)境來說，在每幀上進行檢測非常耗費計算力。

所以，我們想應用一種一次性的目標檢測方法，然后在之后的幀上都能進行目標追蹤，使這一任務更加快速、更高效。

這里的問題是：OpenCV能幫我們達到這種目標追蹤的目的嗎？

答案是肯定的。

OpenCV目標追蹤

首先，我們會大致介紹八種建立在OpenCV上的目標檢測算法。之后我會講解如何利用這些算法進行實時目標追蹤。最后，我們會比較各個OpenCV目標追蹤的效果，總結(jié)各種方法能夠適應的環(huán)境。

八種OpenCV目標追蹤安裝

無人機拍攝的視頻，用MedianFlow進行目標追蹤

你可能會驚訝OpenCV竟然有八種不同的目標追蹤工具，他們都可以運用到計算機視覺領域中。

這八種工具包括：

BOOSTING Tracker：和Haar cascades（AdaBoost）背后所用的機器學習算法相同，但是距其誕生已有十多年了。這一追蹤器速度較慢，并且表現(xiàn)不好，但是作為元老還是有必要提及的。（最低支持OpenCV 3.0.0）

MIL Tracker：比上一個追蹤器更精確，但是失敗率比較高。（最低支持OpenCV 3.0.0）

KCF Tracker：比BOOSTING和MIL都快，但是在有遮擋的情況下表現(xiàn)不佳。（最低支持OpenCV 3.1.0）

CSRT Tracker：比KCF稍精確，但速度不如后者。（最低支持OpenCV 3.4.2）

MedianFlow Tracker：在報錯方面表現(xiàn)得很好，但是對于快速跳動或快速移動的物體，模型會失效。（最低支持OpenCV 3.0.0）

TLD Tracker：我不確定是不是OpenCV和TLD有什么不兼容的問題，但是TLD的誤報非常多，所以不推薦。（最低支持OpenCV 3.0.0）

MOSSE Tracker：速度真心快，但是不如CSRT和KCF的準確率那么高，如果追求速度選它準沒錯。（最低支持OpenCV 3.4.1）

GOTURN Tracker：這是OpenCV中唯一一深度學習為基礎的目標檢測器。它需要額外的模型才能運行，本文不詳細講解。（最低支持OpenCV 3.2.0）

我個人的建議：

如果追求高準確度，又能忍受慢一些的速度，那么就用CSRT

如果對準確度的要求不苛刻，想追求速度，那么就選KCF

純粹想節(jié)省時間就用MOSSE

從OpenCV 3開始，目標檢測器得到了快速發(fā)展，下表總結(jié)了不同版本的OpenCV中可食用的追蹤器：

開始動手

想要用OpenCV進行目標追蹤，首先打開一個新文件，將它命名為opencv_object_tracker.py，然后插入以下代碼：

我們開始輸入必須的安裝包，確保你已經(jīng)安裝了OpenCV（我推薦3.4以上的版本），其次你要安裝imutils：

輸入安裝包后，我們開始分析命令行參數(shù)：

我們的命令行參數(shù)包括：

--video：到達輸入視頻文件的替代路線。如果該參數(shù)失效，那么腳本將會使用你的網(wǎng)絡攝像頭。

--tracker：假設默認追蹤器設置的是kcf，一整列可能的追蹤器代碼表示下一個代碼塊或下方的部分。

讓我們處理追蹤器的不同類別：

圖2中我們提到，并不是所有追蹤器都使用OpenCV 3以上的版本。在3.3版本上，同樣發(fā)生了安裝上的變化，在3.3之前，追蹤器必須用cv2. Tracker_create創(chuàng)造，并且要在追蹤器的名字上用大寫字符串標注（22和23行）。

對于3.3以上的版本，每個追蹤器可以用各自的函數(shù)創(chuàng)造，如cv2. TrackerKCF_create。詞典OPENCV_OBJECT_TRACKERS包含了7種OpenCV的目標追蹤器（30—38行）。它將目標追蹤器的命令行參數(shù)字符串映射到實際的OpenCV追蹤器函數(shù)上。

其中42行里的tracker目的是根據(jù)追蹤器命令行參數(shù)以及從OPENCV_OBJECT_TRACKERS得來的相關(guān)重要信息。

注意：這里我沒有將GOTURN加入到追蹤器設置中因為它還需要額外的模型文件。

我們還對initBB進行初始化（46行），當我們用鼠標選中目標物體時，該變量會顯示目標物體的邊界框坐標。

接下來，讓我們對視頻流和FPS進行初始化：

49—52行是訪問網(wǎng)絡攝像頭的步驟，這里我們設定一個一秒鐘的暫停時間，好讓攝像頭傳感器進行“熱身”。

接著--video命令行參數(shù)會出現(xiàn)，所以我們可以從視頻文件中對視頻流進行初始化（55—56行）。

下面是從視頻流中進行幀數(shù)迭代循環(huán)的步驟：

在65和66行中我們提取一個frame，同時在69和70行處理視頻文件中沒有幀數(shù)的情況。

為了讓我們的算法處理幀數(shù)的速度更快，我們用resize將輸入的視頻幀調(diào)整為50像素（74行），這里處理的數(shù)據(jù)越少，速度就會越快。

之后，我們提取視頻幀的寬度和高度，之后我們會用到高度（75行）。

目標物體選定之后，我們就可以用以下代碼進行處理：

如果目標物體已經(jīng)被選定，我們需要不斷更新目標物體的位置，為了做到這一點，我們在80行使用update方法，它會定位目標物體的新位置并且返回一個success和box值。

如果順利的話，我們可以在frame中得到更新后的邊界框位置。注意，追蹤器可能會跟丟目標物并且報錯，所以success可能不會一直是True。接著更新FPS估計器。

接著，讓我們展示一下frame，以及用鼠標選取目標物體：

我們將展示frame，并且繼續(xù)迭代循環(huán)，鍵入其他指令才會停止。

當鍵入“s”后，我們用cv2.selectROI“選擇”一個目標ROI。這一函數(shù)可以讓你在視頻暫停的時候手動選擇一個ROI：

用戶必須畫出邊界框后按回車或空格鍵來確定所選區(qū)域。如果你需要重新選擇，就按“ESCAPE”鍵。

同樣，我們還能用真實的目標探測器來進行手動選擇。

最后，如果視頻有更多的幀，或者出現(xiàn)了“quit”的情況，如何退出這一循環(huán)：

最后一個模塊展示了我們?nèi)绾瓮Ｖ寡h(huán)，這時所有的指標都輸出并且窗口關(guān)閉。

目標追蹤結(jié)果

提示：為了確保你跟上本文的進度，并且用到了文章中的OpenCV方法，請先確保你在“下載資料”中下載了代碼和視頻。

之后，打開一個終端并執(zhí)行以下命令：

如果你下載了本教程的源代碼和視頻，那么--video的可用參數(shù)在以下文件中：

american_pharoah.mp4

dashcam_boston.mp4

drone.mp4

nascar_01.mp4

nascar_02.mp4

race.mp4

……

--tracker中的參數(shù)在：

csrt

kcf

boosting

mil

tld

medianflow

mosse

你也可以用計算機的攝像頭：

下面的實例會展示OpenCV的追蹤器如何在較長一段時間中進行追蹤，以及與短時間片段進行對比：

總結(jié)

這篇文章講解了如何用OpenCV進行目標物體追蹤。具體來說，我們回顧了庫里的八種算法：

CSRF

KCF

Boosting

MIL

TLD

MedianFlow

MOSSE

GOTURN

我們可以將OpenCV的這八種追蹤器用于不同的任務，包括短跑比賽、賽馬、賽車、無人機追蹤等高速視頻上。