關(guān)于人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的相關(guān)介紹分析

對(duì)于許多集成人員和系統(tǒng)構(gòu)建者而言，會(huì)經(jīng)常遇到不同的挑戰(zhàn)，比如自動(dòng)實(shí)現(xiàn)復(fù)雜決策制定的算法難以編寫(xiě)且費(fèi)時(shí)費(fèi)力。

面對(duì)這一挑戰(zhàn)，FLIR給你的建議是：結(jié)合使用開(kāi)源庫(kù)、Nvidia 硬件和 FLIR 相機(jī)，充分利用深度學(xué)習(xí)。本文詳細(xì)的闡述了如何通過(guò)FLIR機(jī)器視覺(jué)相機(jī)收集圖像數(shù)據(jù)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)并在嵌入式系統(tǒng)上部署。

什么是深度學(xué)習(xí)？

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種形式，所采用的神經(jīng)網(wǎng)絡(luò)在輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間具有許多“深度”層。通過(guò)基于大數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，創(chuàng)建的模型可用于根據(jù)輸入數(shù)據(jù)進(jìn)行精確預(yù)測(cè)。在用于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中，每一層的輸出會(huì)前饋到下一層的輸入。通過(guò)更改各層之間連接的加權(quán)，反復(fù)優(yōu)化模型。在每一個(gè)周期，對(duì)模型預(yù)測(cè)準(zhǔn)確度的反饋將用于指導(dǎo)連接加權(quán)的更改。

圖 1：輸入和輸出之間含有“深度”隱藏層的神經(jīng)網(wǎng)絡(luò)

圖 2：相對(duì)輸入加權(quán)的更改

深度學(xué)習(xí)通過(guò)自動(dòng)處理之前對(duì)于傳統(tǒng)視覺(jué)應(yīng)用過(guò)于復(fù)雜的過(guò)程，不斷改變著交通系統(tǒng)。得益于易于使用的框架以及經(jīng)濟(jì)實(shí)惠且實(shí)現(xiàn)加速的圖形處理單元 (GPU) 硬件和云計(jì)算平臺(tái)，所有人都可以輕松使用深度學(xué)習(xí)。

為什么深度學(xué)習(xí)現(xiàn)在廣受歡迎？

GPU 加速硬件：功效更高、成本更低

使用大量處理器并行執(zhí)行一組協(xié)調(diào)計(jì)算的 GPU 體系結(jié)構(gòu)（稱為“大規(guī)模并行”體系結(jié)構(gòu)）非常適合深度學(xué)習(xí)系統(tǒng)。通過(guò) Nvidia 持續(xù)不斷的研發(fā)，極大地提升了 GPU 加速計(jì)算平臺(tái)的功效和效率并大幅降低了成本。此項(xiàng)技術(shù)應(yīng)用廣泛，從基于Jetson TX1和TX2的緊湊型嵌入式系統(tǒng)到如GTX 1080等的PC級(jí)GPU，再到如Nvidia DGX-1和Drive PX 2等的 AI 專用平臺(tái)。

圖 3：Nvidia TX1（左）、TX2（中）和 Drive PX 2（右）等硬件因其并行計(jì)算架構(gòu)而在加速深度學(xué)習(xí)過(guò)程方面表現(xiàn)出色

使深度學(xué)習(xí)框架大眾化

除了開(kāi)發(fā)易于使用的框架外，還提供大量教程和在線課程來(lái)幫助人們使用深度學(xué)習(xí)。通過(guò)內(nèi)含Google的TensorFlow以及開(kāi)源Caffe、Torch和Theano的C++包裝器，用戶能夠快速構(gòu)建和訓(xùn)練自己的深度神經(jīng)網(wǎng)絡(luò) (DNN)。最好是從通用型 TensorFlow 開(kāi)始，而Caffe的GPU優(yōu)化使它非常適合部署在Jetson TX1和TX2上。Nvidia CUDA深度神經(jīng)網(wǎng)絡(luò) (cuDNN)庫(kù)為開(kāi)發(fā)人員提供了已高度優(yōu)化的常見(jiàn)深度學(xué)習(xí)功能的實(shí)現(xiàn)，進(jìn)一步簡(jiǎn)化了針對(duì)這些平臺(tái)進(jìn)行的開(kāi)發(fā)。

用于交通系統(tǒng)的深度學(xué)習(xí)

多種應(yīng)用

雖然媒體主要關(guān)注的是無(wú)人駕駛車(chē)輛的發(fā)展，但深度學(xué)習(xí)還有許多其他交通應(yīng)用。深度學(xué)習(xí)適用于較小規(guī)模的系統(tǒng)，用于解決檢測(cè)交通信號(hào)控制的行人和應(yīng)急車(chē)輛、停車(chē)場(chǎng)管理、強(qiáng)行頻繁占用車(chē)道以及高精度車(chē)輛和牌照識(shí)別等問(wèn)題。它還適用于較大規(guī)模的系統(tǒng)，用于解決城際交通流量疏通等問(wèn)題。

持續(xù)訓(xùn)練深度學(xué)習(xí)系統(tǒng)，以便應(yīng)對(duì)不斷變化的狀況。HERE公司正致力于將支持深度學(xué)習(xí)的地圖系統(tǒng)部署到無(wú)人駕駛汽車(chē)中。此技術(shù)將生成持續(xù)更新的地圖，分辨率介于 10-20 厘米。通過(guò)深度學(xué)習(xí)，HERE 的地圖將包括固定物體（如標(biāo)牌）和臨時(shí)行駛隱患（如施工工程）的精確位置。

價(jià)格更低、準(zhǔn)備時(shí)間更短

通過(guò)提供分散的現(xiàn)成相機(jī)和嵌入式平臺(tái)，交通系統(tǒng)設(shè)計(jì)人員可以靈活地調(diào)整系統(tǒng)來(lái)適應(yīng)他們的項(xiàng)目。單獨(dú)的相機(jī)和處理硬件使每個(gè)組件的升級(jí)路徑既簡(jiǎn)單又不受約束。與專用智能相機(jī)相比，此生態(tài)系統(tǒng)的價(jià)格更低，準(zhǔn)備時(shí)間更短。

如何實(shí)現(xiàn)系統(tǒng)

訓(xùn)練數(shù)據(jù)采集

設(shè)計(jì)人員必須先訓(xùn)練深度學(xué)習(xí)模型，然后才能進(jìn)行部署。若要實(shí)現(xiàn)精確結(jié)果，需要高質(zhì)量的訓(xùn)練數(shù)據(jù)。高性能相機(jī)向根據(jù)視覺(jué)輸入做出決策的系統(tǒng)提供盡可能好的訓(xùn)練圖像。

相機(jī)范圍內(nèi)的圖像處理可簡(jiǎn)化訓(xùn)練之前所需的數(shù)據(jù)標(biāo)準(zhǔn)化。對(duì)自動(dòng)算法的精確控制、銳化、像素格式轉(zhuǎn)換、鏡頭遮光更正以及 FLIR 的高級(jí)預(yù)置顏色轉(zhuǎn)換和色彩校正矩陣等相機(jī)功能可優(yōu)化圖像。FLIR 在制造期間嚴(yán)格控制質(zhì)量，最大限度地降低相機(jī)性能影響，從而減少訓(xùn)練前進(jìn)行標(biāo)準(zhǔn)化的需求。

對(duì)于捕獲移動(dòng)車(chē)輛圖像的應(yīng)用，全局快門(mén)傳感器可同時(shí)讀取所有像素，以防物體在讀出過(guò)程中因移動(dòng)而導(dǎo)致的失真。FLIR 的許多機(jī)器視覺(jué)相機(jī)都使用Sony Pregius 全局快門(mén) CMOS 傳感器。憑借 72dB 的動(dòng)態(tài)范圍和小于 3e- 的讀取噪聲，它們可以同時(shí)捕獲明亮區(qū)域和陰影區(qū)域的細(xì)節(jié)，并提供出色的低光拍照性能。

低光應(yīng)用（如室內(nèi)停車(chē)場(chǎng)管理）可利用背照式 (BSI)Sony Exmor R 和 Starvis 傳感器的像素結(jié)構(gòu)優(yōu)勢(shì)。這些設(shè)備追求的是更大的量子效率，而不是讀出速度，以便具備小且經(jīng)濟(jì)的傳感器以及更好的低光性能。

在專用硬件上訓(xùn)練

收集足夠的訓(xùn)練數(shù)據(jù)后，就可以訓(xùn)練您的模型了。若要加快此過(guò)程，可以使用具有一個(gè)或多個(gè)啟用了 CUDA 的 GPU 或?qū)Ｓ?AI 訓(xùn)練硬件（如Nvidia DGX-1）的 PC。還提供專門(mén)使用深度學(xué)習(xí)的計(jì)算平臺(tái)。

相對(duì)性能（基于訓(xùn)練時(shí)間）
NVIDIA DGX-1 的訓(xùn)練速度快 75 倍
CPU 是雙套接字 Intel Xeon E5-2697 v3，170 TF 支持半精度或 FP16

部署到嵌入式系統(tǒng)

完成深度學(xué)習(xí)模型訓(xùn)練后，就可以將它部署到相關(guān)領(lǐng)域了。通過(guò)功能強(qiáng)大的精簡(jiǎn)型GPU加速嵌入式平臺(tái)，可防止在傳統(tǒng)PC上使用具有空間和電源要求的應(yīng)用，并在進(jìn)行邊緣計(jì)算時(shí)強(qiáng)制使用有限的Internet連接。這些系統(tǒng)基于ARM處理器體系結(jié)構(gòu)，通常在基于Linux的操作系統(tǒng)上運(yùn)行。有關(guān)如何在Linux環(huán)境中在ARM設(shè)備上使用 FLIR的FlyCapture SDK的信息，可進(jìn)入閱讀原文處找到鏈接。

許多交通應(yīng)用依賴于具有多個(gè)相機(jī)的系統(tǒng)。通過(guò) FLIR機(jī)器視覺(jué)相機(jī)，系統(tǒng)設(shè)計(jì)人員可以靈活地通過(guò)GPIO或軟件準(zhǔn)確觸發(fā)多個(gè)相機(jī)。IEEE 1588 精確時(shí)間協(xié)議 (PTP) 使相機(jī)時(shí)鐘與通用時(shí)基或 GPS 時(shí)間信號(hào)同步，無(wú)需用戶監(jiān)督。多相機(jī)系統(tǒng)的 MTBF 隨每個(gè)額外相機(jī)降低，高度可靠的相機(jī)在構(gòu)建穩(wěn)健的系統(tǒng)時(shí)起關(guān)鍵作用。設(shè)計(jì)和測(cè)試 FLIR 機(jī)器視覺(jué)相機(jī)可確保全天候可靠性，從而最大限度地減少停機(jī)和維護(hù)。

使用 FLIR Grasshopper3 USB3 相機(jī)的 NVidia Drive PX2

Nvidia Jetson TX1 和 TX2是功能強(qiáng)大且高效的 GPU 加速嵌入式平臺(tái)，支持第一代 USB 3.1 和 GigE Vision 相機(jī)。專用的 Jetson 載板提供 I/O 連接性和應(yīng)用特定功能。SmartCow TERA+本身就支持將最多 8 個(gè) GigE 相機(jī)與一個(gè)托管交換機(jī)一起使用。它還支持 RS-232 和 RS-485 串行通信。SmartCow 還提供 Caffe 包裝器，可簡(jiǎn)化在 TERA+ 硬件上支持視覺(jué)應(yīng)用的深度學(xué)習(xí)的設(shè)計(jì)和部署。Connect Tech Cogswell Carrier支持第一代 USB 3.1 和以太網(wǎng)供電 (PoE) GigE 相機(jī)。

Nvidia Drive PX 2是開(kāi)放汽車(chē)AI平臺(tái)，內(nèi)置有兩個(gè)Pascal GPU核心。憑借八個(gè)TFLOPS，Drive PX2的計(jì)算能力相當(dāng)于150臺(tái)Macbook Pro。Drive PX2旨在支持深度學(xué)習(xí)應(yīng)用，實(shí)現(xiàn)無(wú)人駕駛車(chē)輛導(dǎo)向。除了第一代USB 3.1和GigE Vision相機(jī)，它還對(duì)使用汽車(chē)GMSL相機(jī)接口的相機(jī)有所投入。