如何在3D機器視覺應(yīng)用中利用DLP？

TI為機器視覺攝影鏡頭提供了一些非常不錯的參考設(shè)計。TI為3D機器視覺提供的一種獨特的解決方案，利用了其數(shù)字光源處理器（DLP）技術(shù)。透過圖5中的例子可以看到，如何可在3D機器視覺應(yīng)用中利用DLP。

圖5 針對3D機器視覺的DLP解決方案。

除硬件外，TI還提供DLP結(jié)構(gòu)光軟件開發(fā)工具包（SDK），以及基于其TIDA-00254的3D機器視覺完整參考設(shè)計。

ADI

ADI選擇為條形碼掃描儀開發(fā)解決方案。機器視覺系統(tǒng)設(shè)計因為需要辨識和讀取大量的各類標(biāo)簽，而無論其大小、形狀、顏色或條件如何，所以需要使用這類基于影像的系統(tǒng)。該公司認為條形碼掃描儀市場目前正在從基于雷射的系統(tǒng)轉(zhuǎn)向成像解決方案，從而獲得更高的掃描分辨率、吞吐量和專一性。為此，嵌入式處理器需要進行邊緣檢測與分類，腐蝕、膨脹、復(fù)位位和感興趣區(qū)域選擇，以及掃描算法包含顏色和模板匹配部分。

在機器視覺攝影鏡頭領(lǐng)域，要求攝影鏡頭本身就能實時檢測缺陷或異常，Blackfin DSP的分析處理功能可以提高效率，并提供更具成本效益的線掃描和故障檢測解決方案。

ADI還推出了一款六足蜘蛛機器人，它可以部署在對人類來說過于危險的惡劣環(huán)境中，例如地震或其他自然災(zāi)害地區(qū)。

協(xié)作型機器人

機器人將在智慧工廠和太空中與人類一起工作，這類協(xié)作型機器人被稱為cobot（collaborative robot的簡稱）。計算機視覺和影像辨識的新技術(shù)進步，將幫助這些cobot避免與其人類同事相接觸。VEO Robotics是一家為工業(yè)cobot開發(fā)感知和智慧方案的公司典范。

NASA自動漫游車的機器視覺

現(xiàn)在我們來看看NASA用于自動漫游車的機器視覺技術(shù)。最新的火星漫游車是Mars 2020 Rover，它有一個非常獨特的”SuperCam”—不像大多數(shù)其他機器視覺攝影鏡頭那樣看影像，而是使用紅外線和綠色激光束來遠程分析土壤和巖石等材料的化學(xué)成分。使用的技術(shù)是雷射誘導(dǎo)擊穿光譜法（LIBS），利用漫游車上的遠程RAMAN光譜系統(tǒng)進行礦物分析（圖6）。欲了解更多信息，可參閱《”SuperCam” Update： Multi-purpose Instrument Coming Together for 2020 Launch to Mars》一文。

圖6 Mars 2020 Rover使用SuperCam。

使用機器人視覺的創(chuàng)新和教育應(yīng)用

6自由度機械手

人工智能正在成功地應(yīng)用于計算機視覺系統(tǒng)，特別是機器人視覺（robotic vision）。計算機視覺可以獲取、分析、處理和理解影像，《Computer Vision Based Object Grasping 6DoF RoboticArm Using Picamera》一文中提供了基本的機械手臂設(shè)計，它可以在特定位置執(zhí)行起吊、運輸和卸放物體等多種任務(wù)。這個機械手臂與基于攝影鏡頭的3D視覺系統(tǒng)相配合—該系統(tǒng)連接到一臺具有視覺算法功能的計算機，能夠辨識物體的變形，以及空間協(xié)調(diào)，從而使機械手臂能夠遵循特定程序來完成其任務(wù)。

這種機器人設(shè)計使用了Picamera—這是一款官方的Raspberry Pi產(chǎn)品，能夠拍攝照片、錄制視訊，并可將所用影像特效用作輸入（圖7）。

圖7 系統(tǒng)框圖。

計算機視覺算法

這個系統(tǒng)設(shè)計使用了兩種算法：算法1用于辨識紅色物體，而算法2可在將物體位置與機械手臂手爪位置進行比較時，與機械手臂一起辨識物體位置。

這是初學(xué)者學(xué)習(xí)機器視覺或計算機視覺和機器人技術(shù)的一個相對基礎(chǔ)的例子。這個示例利用將機械手臂的所有軸聚焦到所需對象來執(zhí)行一些不同的基本功能，并可在所需位置對其卸放。

配備機械手臂的輪椅

這個例子比前一個例子復(fù)雜一點。該設(shè)計將幫助有醫(yī)療運動障礙的患者執(zhí)行日常任務(wù)。由于患有上肢肢體疾?。ㄈ缗两鹕习Y）的患者手動控制機械手臂會比較困難，因此這種設(shè)計可以使他們受益，將使用計算機視覺的自主手臂安裝在輪椅上是基本的思路。

機械手臂具有6自由度，并結(jié)合計算機系統(tǒng)和兩個視覺傳感器安裝在電動輪椅上。一個傳感器使用計算機視覺算法，檢測架子上隨機所放有色物體的粗略位置；第二個傳感器透過確保物體準(zhǔn)確放在手爪前以提供物體的精確位置。手臂將自動抓取有色物體，并將其交給使用者（圖8）。

圖8 安裝在電動輪椅上的機械手臂。

這種機械手臂是由Trossen Robotics開發(fā)的PhantomX Reactor機械手臂套件。它使用的Arbotix-M機器人控制器是由Trossen自行開發(fā)—這款微控制器與Arduino兼容。為了透過計算機與手臂通信，設(shè)計人員使用了python串口訪問庫PySerial。

視覺傳感器

兩個USB網(wǎng)絡(luò)攝影鏡頭視覺傳感器用于物體檢測。視覺傳感器1是羅技HD c920網(wǎng)絡(luò)攝影鏡頭，安裝在面向架子的機械手臂上方，這樣可以擷取手臂和架子的視訊以便進行實時的粗略定位，利用對視訊訊框進行處理即可定位目標(biāo)對象的X和Y位置。視覺傳感器2是一個機器人VGA網(wǎng)絡(luò)攝影鏡頭，使用200mm鵝頸管安裝在手爪上方，這一視覺傳感器用來擷取目標(biāo)物體的近距離特寫視訊。計算機視覺算法負責(zé)尋找并抓住對象物體，并將其拿到使用者面前，交給使用者。

Cartman

澳大利亞機器人視覺中心（ACRV）團隊成功設(shè)計了一款用于自動倉儲的取放機器人Cartman，而贏得了2018年亞馬遜機器人挑戰(zhàn)賽（Amazon Robotics Challenge）冠軍。

對于機器人來說，從雜亂的隨機物體堆中選擇一件特定物體是比較困難的事。這個項目則更加先進，可以用于家庭清潔，或先進的空間相關(guān)樣品退還任務(wù)，圖9顯示了Cartman的組成部分。

圖9 Cartman設(shè)計有兩個6自由度機械手臂。其手腕上安裝有一個攝影鏡頭，以及兩個效應(yīng)器工具（抽吸工具和平行夾持機構(gòu)），框架上安裝了第二個攝影鏡頭，對紅色背景幕布區(qū)域的物品拾取進行二次拍攝。

攝影鏡頭

由于要安裝在機器人的手腕上，英特爾RealSense SR300 RGB-D攝影鏡頭因其體積小和重量輕等優(yōu)點而被選中。這款攝影鏡頭使用攝影鏡頭中的紅外線投影儀來確定深度；另一個RealSense攝影鏡頭安裝在機器人的框架上，用于對所拾取的物品進行第二次分類檢查。

這次比賽中一個有趣的挑戰(zhàn)是，機器人要拾取的物品僅在每次競賽開始前45分鐘才提供給參賽團隊。這為深度學(xué)習(xí)帶來了挑戰(zhàn)。這個獲獎團隊選擇在一組最小的未見物品數(shù)據(jù)上微調(diào)其基礎(chǔ)RefineNet網(wǎng)絡(luò)，該團隊開發(fā)了一個半自動數(shù)據(jù)收集流程，而使他們能夠收集到每個未見物品七個獨特姿勢的影像數(shù)據(jù)，并創(chuàng)建帶標(biāo)記的數(shù)據(jù)集，從而在7分鐘內(nèi)對網(wǎng)絡(luò)進行微調(diào)。在比賽期間，微調(diào)是在Intel Core i5-7600計算機和四片Nvidia GTX1080Ti顯卡上進行。

從挑戰(zhàn)賽可以看出，該團隊意識到，機器人系統(tǒng)的性能仍然有很長的路要走，才能達到人類的水平（人類可以做到大約400次拾取/小時，而Cartman只能執(zhí)行大約120次/小時）。他們認為以下兩個特性對于贏得挑戰(zhàn)比賽至關(guān)重要，對設(shè)計能夠在現(xiàn)實世界中使用的自動機器人系統(tǒng)同樣重要：

?采用專注于系統(tǒng)級整合和測試的設(shè)計方法，可以幫助優(yōu)化競賽表現(xiàn)；

?需要設(shè)計強健且能處理錯誤的高階邏輯。

機器視覺在紡織檢驗中的挑戰(zhàn)

Teledyne Dalsa擁有不錯的區(qū)域掃描、線掃描、TDI線掃描、智能和紅外線攝影鏡頭系列。他們已經(jīng)接受了在要求苛刻的紡織產(chǎn)業(yè)中使用機器視覺的挑戰(zhàn)，即要求成品不能有結(jié)構(gòu)性和表面缺陷，這是一項艱巨而復(fù)雜的任務(wù)。

機器視覺主要用于惡劣工業(yè)環(huán)境中的工業(yè)攝影鏡頭。在紡織產(chǎn)業(yè)，生產(chǎn)線可能每天24小時運作，材料又可能在這樣的生產(chǎn)在線以高達120公尺/分鐘的速度移動，同時要求保持產(chǎn)品有高度的一致性和質(zhì)量，這樣才能提高效率和利潤。

這種工作中所采用的攝影鏡頭通常是線掃描攝影鏡頭，其單行畫素可用于對快速移動材料創(chuàng)建連續(xù)的2D影像。這些攝影鏡頭特別適用于連續(xù)布料成像，同時可以檢測出圖案、顏色和紋理的變化，以及材料中的缺陷。與面掃描攝影鏡頭相比，這類攝影鏡頭在提供高速無污漬影像方面表現(xiàn)出色，具有很好的處理效率和更低的每畫素成本。

較新的多線掃描攝影鏡頭與不同的LED光源相結(jié)合，可以檢測沿生產(chǎn)線快速移動的紡織品在整個長度和寬度上的一系列缺陷，整個視場角范圍內(nèi)的照明應(yīng)該是均勻并且具高密度。

《A New Look： How Machine Vision Is Changing Textile Inspection》一文中指出，”線掃描攝影鏡頭產(chǎn)生的數(shù)據(jù)通常用于創(chuàng)建2D影像，或自動創(chuàng)建一張圖，用來準(zhǔn)確顯示缺陷位于紡織品表面的位置，質(zhì)量控制檢驗員可以查看這張缺陷圖來確定其有效性。質(zhì)量控制檢驗員所尋找的一些典型缺陷包括水損壞、印刷錯誤、異物纖維、油斑等，然后，圖像處理軟件對影像或缺陷圖進行分析，來對所檢測紡織品構(gòu)建虛擬切割方案。這個過程可使制造商在實際切割紡織品之前虛擬地構(gòu)建一個切割方案，從而能夠以最小的缺陷達到最大產(chǎn)量。一旦生成了理想的切割方案之后，制造商就可以據(jù)此實施，并準(zhǔn)備紡織品的出貨了。”

圖10 檢測結(jié)構(gòu)性缺陷。

機器人正與人們一起工作，它們可以看到許多人類無法看到的東西，處理大量數(shù)據(jù)的速度要比人類大腦快幾個數(shù)量級。他們有眼睛、耳朵、語音，以及嗅覺和感覺能力，可以走路、交談、抓取，并執(zhí)行復(fù)雜的功能。我們正在進入人工智能的時代，這是機器人推理的開始，但我們是這項技術(shù)的創(chuàng)造者和主人，有責(zé)任確保創(chuàng)造用于正當(dāng)目的，同時需要重新培訓(xùn)可能因先進技術(shù)而失去工作的人。技術(shù)是好的，但作為技術(shù)的監(jiān)護者，必須保持它們在社會中的地位，同時確保為每個人創(chuàng)造更美好和更成功的世界。
責(zé)任編輯:pj