在目前深度學(xué)習(xí)中比較普及的“物件檢測(cè)”應(yīng)用

接下來(lái)的重點(diǎn)，就是在目前深度學(xué)習(xí)中比較普及的“物件檢測(cè)”應(yīng)用，重點(diǎn)主要有以下三部分：

1. 簡(jiǎn)單說(shuō)明“物件檢測(cè)”的內(nèi)容。

2. 使用本項(xiàng)目的 detecnet 物件分類(lèi)指令，進(jìn)行多樣化的推理識(shí)別測(cè)試。

3. 深入說(shuō)明 jetson.inference 模塊的 detectNet（） 以及相關(guān)的函數(shù)用法。

如此讓大家能快速掌握這項(xiàng)物件檢測(cè)功能，以及開(kāi)發(fā)代碼的重點(diǎn)。

物件檢測(cè)（object detection）簡(jiǎn)單說(shuō)明

這是比圖像分類(lèi)更進(jìn)一步的應(yīng)用，因?yàn)槿粘Ｉ钪?，在絕大部分可看到的畫(huà)面中，不會(huì)只存在一個(gè)物體，通常是多種類(lèi)別的多個(gè)物體，左圖識(shí)別出有“四個(gè)人”、右圖識(shí)別出“一個(gè)人與一匹馬”，當(dāng)然真的要細(xì)部再探索的話，還有其他類(lèi)別的物體也可以被識(shí)別，這是視覺(jué)類(lèi)深度學(xué)習(xí)中使用頻率最高的一種應(yīng)用。

在物件檢測(cè)的識(shí)別中，還只是比較“概略性”地將物體用“矩形框”的方式來(lái)標(biāo)識(shí)，那能不能將物體的“實(shí)際形狀”更細(xì)膩地標(biāo)識(shí)出來(lái)呢？當(dāng)然可以，這就是更高階的“語(yǔ)義分割”應(yīng)用，留在下一篇文章里面說(shuō)明。

前面的圖像分類(lèi)是以“一張圖像”為單位，這里的物件檢測(cè)則是以“物件框”為單位，因此所需要的數(shù)據(jù)集就不僅僅是圖像了，還要將圖像中所需要的類(lèi)別加以標(biāo)注，然后存成特定格式之后，提供給訓(xùn)練框架去進(jìn)行模型訓(xùn)練，這是相當(dāng)耗費(fèi)人力的一個(gè)過(guò)程，而且標(biāo)注的細(xì)膩程度也會(huì)對(duì)最終的精確度產(chǎn)生影響。

關(guān)于這個(gè)模型的訓(xùn)練過(guò)程，會(huì)在后面的文章中帶著大家動(dòng)手做一次，這也是整個(gè) Hello AI World 項(xiàng)目中的一部分，而且也提供非常好用的工具，協(xié)助大家采集數(shù)據(jù)、標(biāo)注物件框、進(jìn)行模型訓(xùn)練等。

以上就是物件檢測(cè)的簡(jiǎn)單說(shuō)明，接下去直接使用項(xiàng)目提供的 detectnet 指令來(lái)進(jìn)行實(shí)驗(yàn)。

detectnet 指令的使用

與 imagenet 的調(diào)用邏輯是一樣的，當(dāng)系統(tǒng)編譯好之后，就生成 detectnet 指令，可以在 Jetson 設(shè)備中任何地方調(diào)用。同樣的，項(xiàng)目也為 detectnet 準(zhǔn)備了幾個(gè)預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型，可以非常輕松地調(diào)用，預(yù)訓(xùn)練模型。

系統(tǒng)預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)是 “SSD-Mobilenet-v2”，基于 91 種分類(lèi)的 COCO 數(shù)據(jù)集進(jìn)行模型訓(xùn)練，詳細(xì)的類(lèi)別內(nèi)容可以參考 ~/jetson-inference/data/networks 目錄下的ssd_coco_labels.txt，事實(shí)上能識(shí)別的物件有 90 種，另外加一個(gè) “unlabeled” 種類(lèi)。

detectnet 的參數(shù)調(diào)用與 imagenet 幾乎一致，輸入源與輸出標(biāo)的的支持方式完全相同，因此我們可以執(zhí)行下面指令，直接看看得到怎樣的效果：

在執(zhí)行過(guò)程中，會(huì)看到命令終端不斷出現(xiàn)類(lèi)似下圖的信息，里面顯示一些重要的信息，包括“使用的網(wǎng)絡(luò)模型文件”、“4 個(gè)執(zhí)行階段占用時(shí)間”、“檢測(cè)到滿足閾值的物件數(shù)”、“物件類(lèi)別/置信度”，以及“物件位置”等信息。

detectnet 也能導(dǎo)出 RTP 視頻流到指定的電腦，詳細(xì)用法請(qǐng)參考前面 “Utils的videoOutput 工具”一文中有詳細(xì)說(shuō)明，這個(gè)用法的實(shí)用度非常高，可以讓你將 Jetson Nano 2GB 設(shè)備放置在任何能接網(wǎng)絡(luò)的角落，不斷讀取攝像頭內(nèi)容在 Jetson 上執(zhí)行物件識(shí)別，然后將結(jié)果傳輸?shù)侥愕淖烂骐娔X或筆記本上，這樣你就可以非常輕松地進(jìn)行監(jiān)控。

輸入 “detectnet --help” 可以得到完整的幫助信息，由于內(nèi)容太多，我們?cè)谶@里不占用篇幅去說(shuō)明，多嘗試一些指令的組合，會(huì)讓你進(jìn)一步掌握這個(gè)指令的重點(diǎn)。

接下來(lái)看看如何在 Python 代碼中，調(diào)用這個(gè)項(xiàng)目的物件檢測(cè)函數(shù)，來(lái)開(kāi)發(fā)自己的物件檢測(cè)應(yīng)用。

detectNet（）函數(shù)的用法

與前面圖像分類(lèi)的邏輯一樣，作者雖然在 ~/jetson-inference/python/examples 下面提供了一個(gè) my-detection.py 范例，這個(gè)就是我們一開(kāi)始所示范的“ 10 行代碼威力”的內(nèi)容，這個(gè)范例的好處是“代碼量最少”，但對(duì)應(yīng)的缺點(diǎn)就是“彈性小、完整度不夠”，因此從務(wù)實(shí)的角度，我們還是推薦以 /usr/local/bin/detect.py 這只代碼為主，這只代碼能執(zhí)行的功能，與 detectnet 指令幾乎一致。

與 imagenet.py 代碼相同的，一開(kāi)始有一段“參數(shù)解析”的指令，如下截圖：

這部分同樣請(qǐng)參考先前的“參數(shù)解析功能”文章，在這里不重復(fù)贅述。接下來(lái)我們將與物件檢測(cè)有關(guān)的指令挑出來(lái)說(shuō)明，這樣可以讓讀者更加容易將焦點(diǎn)集中在有關(guān)的部分：

51 行：net = jetson.inference.detectNet（opt.network， sys.argv， opt.threshold）

用 jetson.inferene.detectNet（） 函數(shù)建立 net 這個(gè)物件檢測(cè)對(duì)象，與前面的 imageNet（） 的邏輯是一樣的，不過(guò)這里所輸入的參數(shù)，除了 network（網(wǎng)絡(luò)模型類(lèi)別）之外，還多了一個(gè) threshold（閾值）。因?yàn)槲锛z測(cè)的功能，是要在圖像中識(shí)別出“所有可能”的物件，如果沒(méi)有一個(gè)“最低門(mén)檻”的限制，就會(huì)滿屏都是物件。

系統(tǒng)已經(jīng)給這兩個(gè)參數(shù)都提供預(yù)設(shè)值，network 預(yù)設(shè)為 “SSD-Mobilenet-v2”、threshold 預(yù)設(shè)值為 0.5。

如果要在代碼外部利用參數(shù)去改變?cè)O(shè)定，就可以如以下方式：

--network=multiped，表示要使用“Multiped-500”這個(gè)網(wǎng)絡(luò)模型

--threshold=0.3，表示將閾值改成0.3

這樣 net 對(duì)象就具備了執(zhí)行物件檢測(cè)的相關(guān)功能，然后再繼續(xù)以下的步驟。

63 行：detections = net.Detect（img， overlay=opt.overlay）

這道指令，就是將 input.Capture（） 獲取的一幀圖形，傳入 net.Detect（） 函數(shù)去執(zhí)行物件檢測(cè)的推理識(shí)別計(jì)算，另一個(gè)參數(shù) “overlay” 的功能是“檢測(cè)覆蓋”的一個(gè)標(biāo)識(shí)，只影響顯示輸出的方式，與檢測(cè)結(jié)果并沒(méi)有關(guān)系，大部分時(shí)候都不需要去改變。

這里最重要的是 detections 這個(gè)數(shù)組變量，由于每幀圖像所檢測(cè)出來(lái)物件數(shù)量是不固定的，數(shù)組的結(jié)構(gòu)在說(shuō)明文件中并未完整表達(dá)，因此需要從執(zhí)行的代碼中去找到蛛絲馬跡，這個(gè)部分在下一道指令中可以找到答案。

66~69 行：

print（“detected {：d} objects in image”.format（len（detections）））

for detection in detections：

print（detection）

這部分執(zhí)行完之后，會(huì)在命令終端上顯示兩個(gè)很重要的信息：

本幀圖像所找到滿足閾值的物件數(shù)量。

前面變量detections的數(shù)據(jù)結(jié)構(gòu)。

在命令終端執(zhí)行以下指令，

看看所顯示的信息，如下截屏：

這里可以看到，代碼最后面 “l(fā)en（detections）” 的值，就是本幀圖像所檢測(cè)到的物件數(shù)量，而 detections 的數(shù)據(jù)結(jié)構(gòu)就是：

ClassID：類(lèi)別編號(hào)

Confidence：置信度

Left：標(biāo)框左坐標(biāo)

Top：標(biāo)框上坐標(biāo)

Right：標(biāo)框右坐標(biāo)

Bottom：標(biāo)框下坐標(biāo)

Width：框的寬度 = Right - Left

Height：框的高度 = Bottom - Top

Area：面積 = Width x Height

Center：中心點(diǎn)坐標(biāo) = （ （Left+Right）/2， （Top+Bottom）/2 ）

確認(rèn)了 net.Detect（） 返回值之后，就能很輕易地以這些數(shù)據(jù)去開(kāi)發(fā)滿足特定要求的應(yīng)用。

至于后面的 output.Render（img）、output.Status（） 這些函數(shù)，在前面的文章里面都講解的很清楚，這里不再重復(fù)。

到這里，要利用 Hello AI World 這個(gè)項(xiàng)目所提供的庫(kù)資源，去開(kāi)發(fā)自己的應(yīng)用程序，就顯得非常簡(jiǎn)單了。

編輯：jq