2D相機(jī)與3D相機(jī)的機(jī)器視覺

1.前言無論2D相機(jī)還是3D相機(jī)，提到相機(jī)不可避免地涉及到機(jī)器視覺。 機(jī)器視覺與計(jì)算機(jī)視覺并沒有一個(gè)明顯的定義去劃分。但在實(shí)際應(yīng)用中，應(yīng)用于工業(yè)檢測的時(shí)候更多地被稱為機(jī)器視覺而非計(jì)算機(jī)視覺。這時(shí)候，機(jī)器視覺更多地偏向或者專指以圖像傳感器為采集軟件，輔助以光源，PLC甚至機(jī)器人等外部設(shè)備，以實(shí)現(xiàn)特定的檢測或定位等特定目的。如果你從事的是機(jī)器視覺行業(yè)則避免不了PCL，機(jī)器人，編碼器，光柵尺，光源，鏡頭等這些圖像之外的硬件設(shè)備打交道。

另外還有一些領(lǐng)域，圖像識(shí)別，物體檢測和跟蹤，自動(dòng)文檔分析，面部檢測和識(shí)別，計(jì)算攝影，增強(qiáng)現(xiàn)實(shí)，3D重建以及醫(yī)學(xué)圖像處理等也會(huì)被稱為機(jī)器視覺。 這篇文章所講述的內(nèi)容更多地以工業(yè)檢測領(lǐng)域的機(jī)器視覺的角度出發(fā)。2.2D視覺回顧在以往的機(jī)器視覺領(lǐng)域通常是指2D的視覺系統(tǒng)即通過攝像頭拍到一個(gè)平面的照片然后通過圖像分析或比對(duì)來識(shí)別物體，從而應(yīng)用缺陷、瑕疵，位置、OCR，條形碼等。 以2D視覺檢測為例，一個(gè)典型的基于2D相機(jī)的機(jī)器視覺檢測系統(tǒng)通常如下組成：

機(jī)器視覺系統(tǒng)組成 其中，屬于視覺部分的部件主要有：相機(jī)，鏡頭，光源，采集卡。 在機(jī)器視覺領(lǐng)域，每一個(gè)部件都是一門學(xué)問，例如對(duì)光源的選擇上，常見的光源形狀有環(huán)光，條光、面光等；從顏色上劃分，則可以分為單色光源和RGB光源。從打光方式上刻有正面打光、側(cè)面打光、背面打光等方式。 不同的樣件和不同的目的決定了哪一種光源和打光方式合適，如何選擇合適的打光方案既依賴于經(jīng)驗(yàn)，例如對(duì)于金屬件，可能藍(lán)光最好，如果要檢測邊緣，則紅色背光效果最佳，也依賴于實(shí)際效果的對(duì)比，對(duì)于一個(gè)具體的視覺檢測項(xiàng)目，最佳的打光效果要靠實(shí)際進(jìn)行打光的效果來進(jìn)行判斷和確定。

但即便2D視覺是一門如此高深的學(xué)問，它在應(yīng)用上也有很大的局限。這種局限很大一部分來源于，真實(shí)世界的物體在經(jīng)過鏡頭的透視投影后，相機(jī)能夠捕捉到的只有2D的平面信息。對(duì)于一些涉及到3D信息的處理，它是無能為力的，因此3D相機(jī)和3D視覺的出現(xiàn)和發(fā)展便是大勢所趨。3.3D相機(jī)與2D相機(jī)的區(qū)別3D相機(jī)與2D相機(jī)的最大區(qū)別在于，3D相機(jī)可以獲取真實(shí)世界尺度下的3D信息，而2D相機(jī)只能獲取像素尺度下的2D平面圖像信息，以下面的兩幅圖為例：

上面的左圖是圖像處理人員都知道的Lena，這種圖片是2D相機(jī)獲取的一張RGB圖像。而右圖是一張由深度相機(jī)獲取的深度圖。盡管看起來黑乎乎的一片，但我們依然可以看出圖像的形狀。 可能有的小伙伴看到這里，心中的疑惑更大了。這不還是一張2D圖嗎。的確，這還是一張2D圖像，但這種圖像上存儲(chǔ)的不是由光照決定的灰度信息，而是由距離決定的深度信息。 眾所周知，世界坐標(biāo)系下可以由（X,Y,Z）三個(gè)軸來表示，空間中的任何一個(gè)點(diǎn)都可以由(x,y,x)來表示。實(shí)際上作為一個(gè)合格的3D相機(jī)，它傳輸給你的必然是X,Y,Z方向的真實(shí)信息，例如，有的3D相機(jī)會(huì)得到X,Y,Z圖。其中，Z圖便是我們所謂的深度圖，而其它兩張圖分別存儲(chǔ)著X,Y方向的真實(shí)信息。 如果只有一張深度圖，那么其它兩個(gè)軸方向的信息也必然可以由某個(gè)公式給出。這便是被稱為3D相機(jī)的原因。我們以一款工業(yè)3D相機(jī)Gocator為例：

Gocatro生成的深度圖

3D相機(jī)Gocator的X,Y，Z數(shù)據(jù)的獲取 Gocator的深度圖可以直接獲取，而X,Y方向的信息與行和列按一定的公式進(jìn)行生成。值得注意的是，這個(gè)公式一般由生產(chǎn)該3D相機(jī)的廠商決定，并不通用。我們?cè)僖悦裼眉?jí)別的深度相機(jī)kinect為例，它的X,Y方向的信息可以按以下公式來獲取

其中，d為深度圖存儲(chǔ)的信息，(u,v)為像素坐標(biāo)，()為相機(jī)內(nèi)參，相機(jī)內(nèi)存均可標(biāo)定得知。在實(shí)際使用中，廠商會(huì)提供標(biāo)定好的參數(shù)或者現(xiàn)成的API。

Kinect的API參數(shù)，用于生成X,Y,Z圖 通過3D相機(jī)得到的數(shù)據(jù)，我們可以還原出被測量物體的三維信息，進(jìn)而用于后一步的處理。

4.3D相機(jī)的應(yīng)用 隨著科技的發(fā)展和檢測需求的提高，3D視覺越來越在機(jī)器視覺行業(yè)占有重要的地位，與傳統(tǒng)的2D相機(jī)相比，3D相機(jī)能獲取三維信息，可以實(shí)現(xiàn)2D視覺無法實(shí)現(xiàn)或者不好實(shí)現(xiàn)的功能，例如檢測產(chǎn)品的高度、平面度、體積等和三維建模等。

輪胎劃痕很紋理檢測

體積檢測

路面系統(tǒng)檢測

缺陷檢測

責(zé)任編輯：xj

原文標(biāo)題：3D相機(jī)及其工業(yè)應(yīng)用

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。