機器視覺系統(tǒng)設(shè)計如何進行成像基準(zhǔn)測試

1、導(dǎo)言：

開發(fā)視覺系統(tǒng)的一個重要活動是驗證其部署是否符合工程規(guī)范。一個成功的視覺應(yīng)用程序的兩個特點是它無需工程師干涉情況下正常工作了多長時間，以及它的維護和復(fù)制部署是多么簡易。實現(xiàn)所有如上所述目標(biāo)的一個關(guān)鍵步驟是確定視覺系統(tǒng)的基準(zhǔn)。

在這里使用的上下文中，基準(zhǔn)是對所需系統(tǒng)特性的度量或指示。在本文的范圍內(nèi)，有兩個領(lǐng)域應(yīng)加以基準(zhǔn)：

成像（相機和鏡頭）

光照

其中，我們通過視覺軟件獲取和存儲圖像后，可對圖像基準(zhǔn)項目進行離線分析。

視覺系統(tǒng)首次開發(fā)時，視覺工程師進行測試，以確保組件按預(yù)期執(zhí)行。這些測試幫助視覺工程師建立系統(tǒng)基準(zhǔn)，以驗證視覺系統(tǒng)在準(zhǔn)備調(diào)試時的性能，并供今后參考。

當(dāng)視覺系統(tǒng)進行維護時，技術(shù)人員可以重新檢查系統(tǒng)基準(zhǔn)項目，并將它們與既定的基準(zhǔn)進行比較。這使技術(shù)人員能夠確定是否發(fā)生了重大變化，以及在哪里發(fā)生了這些變化，因此在必要時采取了適當(dāng)?shù)募m正措施。它還避免了技術(shù)人員盲目變化系統(tǒng)配置，導(dǎo)致的一系列系統(tǒng)功能退化。如果沒有基準(zhǔn)，即使是經(jīng)驗豐富的視覺工程師也無法確保視覺系統(tǒng)恢復(fù)到原來的運行狀態(tài)。

基準(zhǔn)測試確實需要使用特定的工具，如測試圖形。其中一些工具可能是特定于應(yīng)用程序的，而另一些工具可能更通用?；鶞?zhǔn)測試不是一個便于系統(tǒng)調(diào)整或校準(zhǔn)的過程；系統(tǒng)的調(diào)整和校準(zhǔn)必須在基準(zhǔn)測試之前執(zhí)行。由于基準(zhǔn)測試不是校準(zhǔn)，因此它不需要像校準(zhǔn)/測量的任務(wù)，嚴(yán)格遵照國際標(biāo)準(zhǔn)的可追溯性，有些工具（如測試圖形）可以通過現(xiàn)有技術(shù)（例如激光打印機）購買或創(chuàng)建。然而，這些工具必須有適當(dāng)?shù)牟牧希苊饣鶞?zhǔn)工具在視覺系統(tǒng)的使用壽命內(nèi)發(fā)生變形或改變。維護基準(zhǔn)工具是視覺系統(tǒng)團隊的額外責(zé)任。

最后，對視覺系統(tǒng)進行基準(zhǔn)測試不是關(guān)于精確的定量數(shù)據(jù)，而是關(guān)于能夠很好地確定視覺系統(tǒng)特性的數(shù)據(jù)，這樣，如果這些特性被再現(xiàn)，那么視覺系統(tǒng)的性能可以預(yù)期與基準(zhǔn)記錄時一樣好。

我們可以對成像進行基準(zhǔn)測試提供以下特征的數(shù)據(jù)：

1.關(guān)鍵成像尺寸

2.相機設(shè)置

3.鏡頭設(shè)置

4.照明器設(shè)置（如果有的話）

5.影像視野

6.成像（光學(xué)）分辨率

7.景深

8.光照強度

9.照明方向

10.照明均勻性

11.顏色

12.圖像失真

13.圖像噪聲

2、Python與C++

視覺系統(tǒng)的設(shè)置必須記錄下來，作為基準(zhǔn)測試的準(zhǔn)備。這包括與成像相關(guān)的重要機械尺寸，以及所有調(diào)整位置和可訪問參數(shù)。這些值必須是視覺系統(tǒng)生產(chǎn)環(huán)境中實際使用的值。?成像包括照明、相機和調(diào)整后的鏡頭，調(diào)整到最佳狀態(tài)。成像基準(zhǔn)要求采集和存儲未經(jīng)處理的圖像。幾乎所有的視覺系統(tǒng)都支持這種功能。

應(yīng)記錄的典型設(shè)置有：

光源相對于視野的三維測量位置

視場到鏡頭的工作距離

鏡頭光圈設(shè)置

鏡頭聚焦設(shè)置

鏡頭焦距設(shè)置（如果使用變焦或變焦鏡頭）

相機增益

相機曝光時間

相機幀速率（如適用）

所有其他可編程攝像頭設(shè)置，即使出廠默認(rèn)設(shè)置

照明功率水平（如果可調(diào)）

照明脈沖寬度（如果使用脈沖照明）

當(dāng)使用基準(zhǔn)測試來確保再現(xiàn)性時，無論是復(fù)制視覺系統(tǒng)還是更換現(xiàn)有視覺系統(tǒng)上的部件，都需要考慮到組件中存在變化的事實。同一品牌和型號的兩臺相機在靈敏度上會有所不同。這些差異可能需要改變相機的增益、曝光時間或光源的輸出。

同一品牌和型號的兩個鏡頭的有效焦距可能略有不同，通常小于3%。有效焦距的變化可能會改變視場的大小?；蛘咭晥龃笮〉淖兓强扇萑痰?，或者改變相機的工作距離以獲得精確的視野。

光源的種類多樣，光輸出調(diào)整各有不同，例如，光源中使用的特定LED組時，可以調(diào)整光源控制器，改變驅(qū)動電流大小，控制光輸出強度，將成像性能恢復(fù)到基準(zhǔn)狀態(tài)。

3、基準(zhǔn)圖像亮度

由于相機的靈敏度不同，光源在光輸出強度方面也不同，因此非常希望對圖像亮度進行基準(zhǔn)測試。圖像亮度最好使用在視野中具有示例性的局部圖像的灰度直方圖來記錄，另外，記錄具有示例性的局部圖像的灰度均值也是一種方法。對于未來的基準(zhǔn)測試，如果可以存儲和保存相同的零件時，則應(yīng)使用相同的零件，并保證使其反射率不會降低（例如氧化作用使反射率降低）。

在復(fù)制系統(tǒng)時，應(yīng)使新系統(tǒng)的圖像亮度與基準(zhǔn)系統(tǒng)的直方圖相匹配。?

圖1-灰度直方圖

可能需要視覺工程師來決定是否需要改變照明器輸出、攝像機增益或曝光，或接受差異。使用現(xiàn)代機器視覺算法，如果圖像的亮度有一定的變化，只要關(guān)鍵像素沒有進入飽和（灰度值達到255），性能就可以保持合理的一致性。

應(yīng)該注意的是，改變鏡頭的f數(shù)，雖然一個非常容易的選擇，以獲得灰度直方圖匹配，但這是不可取的。雖然改變透鏡孔徑確實會影響鏡頭的集光功率，從而影響強度直方圖，但它也會改變鏡頭的景深和鏡頭的分辨率。保持景深和光學(xué)分辨率通常比灰度直方圖水平的輕微變化更為重要。

對于彩色視覺系統(tǒng)，應(yīng)該獲取和存儲三個顏色通道中每個通道的灰度直方圖，通常是紅色、綠色和藍色

4、基準(zhǔn)視野

本基準(zhǔn)記錄的兩個特征是視場的大小和位置。視場的大小與實際放大率有關(guān)，位置與相機/鏡頭指向有關(guān)。

為了對視場進行基準(zhǔn)測試，必須將靶標(biāo)定位在視野的中心。靶標(biāo)可以是任何有利于觀察的東西。它可以像天平一樣簡單，也可以像校準(zhǔn)的靶標(biāo)一樣復(fù)雜，也可以是在激光打印機上制作的項目專用靶標(biāo)。重要的要求是，每次對系統(tǒng)進行基準(zhǔn)測試時，目標(biāo)都可以定位在完全相同的位置。這可能需要對視覺系統(tǒng)設(shè)計中的夾具進行一些早期思考。

記錄并保存圖像以及從標(biāo)尺或目標(biāo)讀取的尺寸和位置尺寸。

圖2-標(biāo)尺用于評估視場大小

在評估視場尺寸時，請記住，大多數(shù)透鏡的有效焦距公差在±3%左右。因此，在復(fù)制一個視覺系統(tǒng)時，實際視場的大小可能會有微小的差異。

圖3-商業(yè)測試圖樣

5、基準(zhǔn)光學(xué)分辨率

系統(tǒng)級的光學(xué)分辨率表征圖像中可以分辨的細節(jié)。它取決于相機的圖像分辨率（像素的行和列）、圖像傳感器上像元的大小和鏡頭的光學(xué)分辨率。通常光學(xué)分辨率是在圖像上指定的，但為了應(yīng)用的目的，分辨率將在最重要的地方評估，即在應(yīng)用場景中。

光學(xué)分辨率定義為在像面處鏡頭在單位毫米內(nèi)能夠分辨開的黑白相間的條紋對數(shù)，如下圖所示：

分辨率為1/2d，其中，d為線寬。分辨率的單位為lp/mm（線對/毫米）。

另外，一般使用的分辨率公式：

分辨率（ε）=0.61×λ/N.A.（Reyleigh公式）

λ：使用的波長或輻射（λ=0.55μｍ用于可見光）

N.A.：物鏡數(shù)值孔徑

在實際工業(yè)應(yīng)用中，系統(tǒng)使用面陣或線陣傳感器作為成像器件，因此系統(tǒng)的分辨率通常也會受到成像傳感器中像元分辨率的限制。像元分辨率定義為單位毫米內(nèi)像素單元數(shù)的一半，即=1/2p，其中p為像素單元的尺寸大小。例如一個CCD的像元尺寸大小為5×5微米，則像元分辨率則為：=1/（2*0.005）=100（lp/mm）。傳感器的像元分辨率限制了系統(tǒng)的最高分辨率，即使鏡頭的分辨率再高，系統(tǒng)也不可能分辨高于像元分辨率的細節(jié)。

在實際使用中，普通鏡頭分辨率低，即使搭配高像素的相機，最后也只能生成模糊的影像。

基準(zhǔn)分辨率的典型技術(shù)是將分辨率靶標(biāo)，如USAF分辨率條形圖，放置在中心和所有四個角落。大多數(shù)商業(yè)分辨率靶標(biāo)都是為非常高的分辨率而設(shè)計的。

圖5-USAF分辨率目標(biāo)的一個版本

有時使用激光打印機制作您自己的項目特定靶標(biāo)。不過，請記住，激光打印機打印出來后目標(biāo)尺寸不穩(wěn)定。然而，打印后的文件將保持尺寸穩(wěn)定，打印文件應(yīng)與項目資料一起保存。對于這樣一個僅用于基準(zhǔn)目的的靶標(biāo)，只需要三組平行條圖形：一個用于預(yù)期分辨率，一個用于稍微粗的分辨率(名義上時預(yù)期分辨率乘以1.15)，一個為稍高的分辨率（名義上是預(yù)期分辨率的0.85倍）。由于下面解釋的原因，角落上的平行條必須是雙向的。

例如，如果您的目標(biāo)分辨率在現(xiàn)場是4線對/毫米，那么每個暗和白條應(yīng)該是0.125毫米寬的目標(biāo)分辨率。對于較粗的條形圖，每個暗條和白色條將寬0.144毫米，對于更精細的條形圖，每個條將寬0.106毫米。

在視野的中間，通常只需要注意將條形分辨率目標(biāo)定在一個方向。然而，在視場的角落，有必要記錄兩個方向的分辨率，一是指向視場中心的條形圖（切向方向)，二是指向與先前方向呈90度的條形圖(徑向或矢狀方向）。在角落，鏡頭的分辨率在這兩個方向中的每一個都是不同的。

圖6-特定于項目的分辨率目標(biāo)

上圖只有三組條形圖僅用于驗證系統(tǒng)成像是否達到了分辨率，但無法確定成像的極限分辨率。

商業(yè)用的靶標(biāo)，如USAF，有一個廣泛的條形圖案寬度范圍，可以用來尋找極限分辨率。

6、基準(zhǔn)景深

在確定景深基準(zhǔn)時，不干擾任何成像參數(shù)是非常重要的。這包括鏡頭的焦距、鏡頭的光圈和相機的高度（鏡頭工作距離）。

衡量景深的方法有兩種：

傾斜的比例尺

目標(biāo)升高

傾斜的比例尺

傾斜比例尺可以是一把直尺或標(biāo)尺，與視野成已知角度。圖像中刻度表現(xiàn)為銳利聚焦的范圍給出了景深范圍。雖然通常使用刻度尺，但也可以制作或購買景深測量儀。商用的景深測量儀通常比傾斜標(biāo)尺或直尺更容易固定到位。

圖7-在一個角度上示意景深范圍的直尺

升高的工件

在標(biāo)稱工作距離以及所需的景深范圍的近和遠限制處成像。這通常需要設(shè)計和構(gòu)建夾具，以確保結(jié)果的重現(xiàn)性。例如，像實驗室升降臺這樣的東西可以用來將工件垂直移動到所需的高度。

如果在所需景深限制和標(biāo)稱高度下達到所需分辨率，則景深有效。景深有可能遠遠超出要求的范圍。利用升高工件的很難實際測量景深的范圍。

圖8-景深目標(biāo)

圖9-成像顯示景深范圍

7、基準(zhǔn)照明強度

照明強度可以用兩種方法之一來衡量：

使用校準(zhǔn)的光度計

使用安裝好的相機

使用光度計的優(yōu)點是測量是校準(zhǔn)的（通?！?0%）。使用機器視覺系統(tǒng)的相機的優(yōu)點是，您可確保可重復(fù)照明，即使靈敏度因相機而異。對于非常小的視場，例如顯微鏡，光度計方法可能是不切實際的。

前照明和背光的程序是不同的。

光度計，前照明

測量現(xiàn)場入射光能。光度計的傳感器放置在場景的中心，并讀出測量的光的值。光度計通常以每平方米入射光能量的lux-流明讀取。這種方法的缺點是，對于大多數(shù)視覺應(yīng)用，儀表的傳感器只在視場的一小部分中拾取入射光，其讀數(shù)可能受到光照不均勻性的影響。非常重要的是，基準(zhǔn)測試需要提供一種方法來重新固定光傳感器；無論是通過夾具還是通過仔細的測量。

光度計方法不適用于非常小的視野，如那些使用顯微鏡。

光度計，背光

在這種情況下，光度計的傳感器就放在相機鏡頭的正前方。儀表的讀數(shù)仍以勒克斯為單位；更準(zhǔn)確的讀數(shù)應(yīng)為坎德拉，但大多數(shù)光度計都不支持這種測量讀數(shù)。

相機，前照明

第二種測量強度的方法是使用視覺系統(tǒng)的相機。相機不是經(jīng)過校準(zhǔn)的傳感器-兩個相同品牌和型號的相機將具有不同的靈敏度。所以測量是相對的。然而，目標(biāo)是獲得正確的曝光；因此，使用視覺系統(tǒng)的攝像機進行測量實現(xiàn)一部分目的——知道成像設(shè)置滿足其要求。但是，它不能保證成像設(shè)置可以被復(fù)制。請參閱上面的“圖像亮度基準(zhǔn)”。

最好用均勻反射的靶標(biāo)覆蓋視野。對于大多數(shù)照明方法，這個靶標(biāo)應(yīng)該是漫反射的。一些有用材料的例子是照相灰卡（一面反射18%，另一面反射90%）。對于非常大的視野，可能有必要借助于紙張或布料的背景，但期望這些產(chǎn)品的制造商控制其產(chǎn)品的反射率是不切實際的，并且測量的再現(xiàn)性也會受到影響。

有時，視覺系統(tǒng)是用來成像鏡面反射光的。在這些情況下，使用漫反射背景可能無法提供令人滿意的基準(zhǔn)強度方法。如果物體是平面的，那么背景可以是適當(dāng)尺寸的平面鏡。如果被成像的對象是一個更復(fù)雜的形狀，那么除了使用漫反射背景外，很難對強度進行基準(zhǔn)測試，這種情況下，難以進行基準(zhǔn)量化。

背景設(shè)置到位后，使用照明設(shè)置和相機參數(shù)設(shè)置捕捉場景圖像。讓視覺系統(tǒng)計算并報告場景的最大和平均灰度。您必須確保視覺系統(tǒng)報告的最大灰度值不是視覺系統(tǒng)可用的最大值（例如，對于具有8位像素的視覺系統(tǒng)，最大灰度值不能為255）。如果報告了最大的灰度值，這表示相機處于飽和狀態(tài)，則最大讀數(shù)無效，平均灰度讀數(shù)受損。除了少數(shù)例外，相機在飽和狀態(tài)下工作是不可取的。

相機，背光

在這種情況下，讓相機直接拍攝空場景，并報告圖像的最大和平均灰度。同樣，相機處于飽和狀態(tài)通常是不可取的。在某些情況下，背光強度被設(shè)計為很高，使相機飽和。在這種情況下，必須降低相機曝光時間，以避免相機飽和。較好的方法是使用ND鏡。如果視覺系統(tǒng)方便的話，也可以通過使用更快的快門速度（較短的曝光時間）來減少相機的曝光量，但稍微不太理想。

8、基準(zhǔn)照明方向

照明方向有時是需要基準(zhǔn)量化的，至少對于向前照明來說，使用一個拋光球體放置在視野中。事實上，拋光的半圓球會更好，但這些有點不尋常。球體通常是由軸承供應(yīng)商提供的拋光鋼球。它也可以是裝飾物，半圓形的汽車輪轂帽。

將球放置并固定在視野的中心。照明球的圖像顯示照明來自的方向。圖像的捕獲和歸檔為其他人檢查視覺系統(tǒng)或復(fù)制視覺應(yīng)用程序提供了一個基準(zhǔn)。

單點反射光表示單點光源。如果光以球為中心，則為軸上照明。

對于環(huán)形光，無論是亮場還是暗場，拋光的球體都會顯示出一圈光。

同軸漫射照明產(chǎn)生一個獨特的反射拋光球體。
?

9、基準(zhǔn)照明均勻性

使用用于基準(zhǔn)照明強度和相機相同的設(shè)置，捕捉圖像。重要的是，背景材料盡可能均勻，沒有紋理可由相機分辨。此外，許多視覺系統(tǒng)甚至一些相機都提供了一種常被稱為“平場校正”的功能，它可以補償圖像的不均勻性，如果此功能可用并在視覺系統(tǒng)中使用，則必須為此基準(zhǔn)禁用該功能。但是，如果在應(yīng)用程序中可用并使用了平面校正，那么也可以在啟用平面域校正的情況下執(zhí)行此基準(zhǔn)測試，這將是非常有用的。

此圖像的一些統(tǒng)計數(shù)據(jù)應(yīng)該為您的圖像記錄：

最小灰度值=52

最大灰度值=187

平均灰度值=143

獲取的圖像必須準(zhǔn)備如下：

如果使用彩色圖像，則將彩色圖像轉(zhuǎn)換為灰度。? ? ?如果顏色一致性是一個問題，您可以對紅色、綠色和藍色通道分別執(zhí)行此過程。

對圖像進行低通濾波器，盡可能消除圖像噪聲。由于你正在尋找逐漸變化的光強，低通濾波可以是有益的。

生成一個偽彩色圖像，其中每個特定的灰度范圍（例如255-251、250246、245-241等。） 被一種特定的對比顏色所取代。如果視覺系統(tǒng)不能創(chuàng)建偽彩色圖像，則可以使用PhotoShop等程序進行離線處理。

如果生成偽彩色圖像太復(fù)雜，或者該領(lǐng)域的技術(shù)人員無法實現(xiàn)，則可以創(chuàng)建顯示等高線的圖像如下：

低通濾波圖像。

減少圖像中灰度值的數(shù)量（例如，將灰度值的數(shù)量從256減少到128或64）。即使經(jīng)過濾波，在1像素的范圍內(nèi)也有如此大的變化，結(jié)果將是很小的價值。

創(chuàng)建被過濾和抽取的圖像的副本。

腐蝕（或膨脹）圖像副本。使用3x3結(jié)構(gòu)元素的簡單侵蝕（或膨脹）是足夠的。

取兩幅圖像的絕對差值。這個結(jié)果將是一個幾乎純黑色的圖像。閾值為1的差分圖像。結(jié)果將顯示等高線（均勻強度的輪廓）。

上圖顯示圖像等高的處理結(jié)果。等高線相距4個灰度級。

如果你了解機器視覺技術(shù)，你可以理解圖像中出現(xiàn)的不均勻性可能主要是由于光照的不均勻性，但它也受到諸如余弦等透鏡效應(yīng)的影響（漸暈），以及由圖像傳感器的光響應(yīng)不均勻性(PRNU)以及其他光學(xué)效應(yīng)。

10、基準(zhǔn)顏色

基準(zhǔn)顏色對于彩色相機的機器視覺系統(tǒng)是必不可少的。對于單色機器視覺系統(tǒng)，基準(zhǔn)顏色可能有助于量化光源特征。

如果你知道如何使用分光度計，那么這些儀器可以很好地量化照明顏色。對于大多數(shù)機器視覺從業(yè)者來說，這些儀器是不可用的。這些儀器只測量光源，不考慮鏡頭或相機的圖像傳感器。

對于單色視覺系統(tǒng)，照明光源可以是寬帶（例如白色）或窄帶(例如紅色LED)?；鶞?zhǔn)顏色的挑戰(zhàn)是，通過基準(zhǔn)測試，確保使用相同的“白色”光或相同的“紅色”光。許多單色視覺系統(tǒng)不受照明光譜的某些變化的影響，也沒有理由對照明光源顏色進行基準(zhǔn)測試。

對于彩色視覺系統(tǒng)，獲取商業(yè)彩色圖表的圖像。從圖表的圖像中，注意每個相關(guān)顏色的顏色坐標(biāo)(例如R值、G值和B值)。最好使用最適合您的視覺應(yīng)用程序的顏色系統(tǒng)。因此，您可以選擇RGB、CYMK、L*a*b*或其他用于記錄值的系統(tǒng)。

對于單色成像應(yīng)用，仍然有一種實用的方法來規(guī)范照明顏色。將一個顏色目標(biāo)，如Greytag/Macbeth ColorChecker圖表（參見上面的圖24）放置在視野中易于重復(fù)放置的位置。給圖表拍張照片。記錄每個彩色方塊的灰度。雖然這并不能確定任何特定的顏色或光的波長分布，但它確實提供了一個合理的基準(zhǔn)度量來確定照明顏色的變化。

11、基準(zhǔn)失真（畸變）

失真是由放大倍數(shù)的變化引起的。這些變化可能是由于透鏡的特性導(dǎo)致放大率從圖像的中心向外變化（即枕形和桶形失真）。它也可能是由于透鏡的主平面、圖像平面（圖像傳感器)和物體平面(視場）不平行導(dǎo)致透視失真。

失真的特征參數(shù)通常是獲取測試圖形的圖像，如下圖所示的點模式或棋盤模式。

點的中心的位置(或正方形的棋盤圖案)是通過圖像測量的。如果視覺系統(tǒng)提供這些測量，則測量畸變要容易得多，大多數(shù)機器視覺軟件包提供畸變校正。

畸變的特征參數(shù)是從圖像中心到圖像角點（以像素為單位)的成像和真實間距的差值除以從圖像中心到對應(yīng)點應(yīng)該在哪里(以像素為單位)的真實間距的比值）。

編輯：黃飛