機(jī)器視覺(jué)基礎(chǔ)知識(shí)Fundamentals of Machine Vision（視覺(jué)系統(tǒng)的構(gòu)成）

視覺(jué)系統(tǒng)的構(gòu)成

從機(jī)器視覺(jué)的定義可以推測(cè)出，一個(gè)攝像機(jī)和一個(gè)處理器結(jié)合在一起形成一個(gè)視覺(jué)系統(tǒng)。然而，這只是部分完整的描述。確實(shí)，視覺(jué)系統(tǒng)需要攝像機(jī)和處理器，但還有更多的組成部分，如圖8所示。

攝像機(jī)需要鏡頭來(lái)形成光學(xué)圖像。鏡頭必須提供合適的工作距離（鏡頭到場(chǎng)景的距離），正確的放大倍率，使場(chǎng)景填滿攝像機(jī)的視野，并具備分辨細(xì)節(jié)的能力。還需要光源，以確保攝像機(jī)獲得足夠的合適照明，以創(chuàng)建可用且可靠的圖像。 攝像機(jī)和處理器之間需要有一個(gè)接口。還需要軟件來(lái)執(zhí)行所需的應(yīng)用程序分析。最后，處理器必須支持與其他連接設(shè)備所需的輸入和輸出。

視覺(jué)系統(tǒng)的類(lèi)型

通常攝像機(jī)和處理器是分開(kāi)的。這使得攝像機(jī)可以更小，而處理器則具備所有所需的計(jì)算能力和輸入輸出功能。它還允許一個(gè)處理器為兩個(gè)或多個(gè)攝像機(jī)提供服務(wù)。這種類(lèi)型的視覺(jué)系統(tǒng)的常見(jiàn)形式是使用個(gè)人計(jì)算機(jī)作為處理器（見(jiàn)圖9）?；趥€(gè)人計(jì)算機(jī)的視覺(jué)系統(tǒng)提供了最大的靈活性。有許多攝像機(jī)接口可供選擇，許多不同的軟件包可供選擇，并且輸入輸出配置具備顯著的靈活性。然而，這種靈活性增加了應(yīng)用程序的工程化難度。為了使此配置與更苛刻的環(huán)境兼容，有可靠的工控計(jì)算機(jī)可供選擇。

類(lèi)似的配置是用專(zhuān)有處理器替換個(gè)人計(jì)算機(jī)（見(jiàn)圖10）。這種處理器帶有專(zhuān)有軟件。它可以使用標(biāo)準(zhǔn)或?qū)Ｓ袛z像機(jī)接口，并通常在輸入輸出方面具有靈活性。這種配置通常是為工廠環(huán)境設(shè)計(jì)的。與基于個(gè)人計(jì)算機(jī)的視覺(jué)系統(tǒng)相比，應(yīng)用程序的工程化難度較低。

還有一種趨勢(shì)是將攝像機(jī)和處理器合并為一個(gè)緊湊的設(shè)備，稱(chēng)為智能相機(jī)或智能傳感器（見(jiàn)圖11）。這對(duì)于單個(gè)攝像機(jī)應(yīng)用和物聯(lián)網(wǎng)設(shè)備已經(jīng)變得非常有效。由于緊湊的尺寸，處理和輸入輸出受到限制。雖然智能相機(jī)有時(shí)配備了內(nèi)置照明，但通常還需要其他光源。在大多數(shù)智能相機(jī)中，軟件已內(nèi)置，使得這些是應(yīng)用最簡(jiǎn)便的視覺(jué)系統(tǒng)。有一些產(chǎn)品專(zhuān)為OEM設(shè)計(jì)，他們可以承擔(dān)更多的工程化工作，這些產(chǎn)品不提供預(yù)裝軟件。

這是一類(lèi)是應(yīng)用特定的機(jī)器視覺(jué)（ASMV）系統(tǒng)。圖12顯示了一個(gè)示例。這是一個(gè)為特定應(yīng)用設(shè)計(jì)的視覺(jué)系統(tǒng)。除了安裝和產(chǎn)品特定配置外，幾乎不需要任何工程化工作就可以直接使用。ASMV的更高成本可以抵消幾乎不需要應(yīng)用工程化的優(yōu)點(diǎn)。此外，相對(duì)于僅為一次安裝設(shè)計(jì)的其他視覺(jué)系統(tǒng)，更全面的現(xiàn)場(chǎng)支持也是可用的。

最后一類(lèi)是嵌入式視覺(jué)系統(tǒng)。對(duì)于什么是嵌入式視覺(jué)系統(tǒng)，目前并沒(méi)有完全一致的定義。實(shí)際上，我們可以認(rèn)為它是一個(gè)設(shè)計(jì)用于集成到最終產(chǎn)品中的視覺(jué)系統(tǒng)，并且攝像機(jī)和處理器緊密耦合，如圖13所示。主要是為了OEM將其集成到產(chǎn)品中。

攝像機(jī)

讓我們更詳細(xì)地了解一下攝像機(jī)。圖14展示了攝像機(jī)的組成部分。

圖像傳感器是攝像機(jī)的主要組件，賦予攝像機(jī)大部分重要的特性。

電子元件控制圖像傳感器的時(shí)序，調(diào)節(jié)圖像傳感器的增益等功能，并提供攝像機(jī)獨(dú)有的其他特性。

鏡頭支架用于安裝鏡頭，將光學(xué)圖像投射到圖像傳感器上。

接口將攝像機(jī)連接到處理器。

圖像傳感器

圖像傳感器如圖15所示，由一組傳感元件組成，放大圖中顯示了這些元件，并帶有電路，用于從元件中讀取信號(hào)并將其轉(zhuǎn)換為數(shù)字信號(hào)。

當(dāng)暴露在光線下時(shí)，傳感元件將入射光子轉(zhuǎn)換為電荷（見(jiàn)圖16）。

在曝光過(guò)程中，這些光生電子在傳感元件中積累。當(dāng)傳感元件讀出時(shí)，其電壓與光生電子的數(shù)量成正比。讀出后，傳感元件被重置，清除所有光生電子，使其準(zhǔn)備好進(jìn)行下一次曝光。 你可以正確推斷傳感元件實(shí)際上是一個(gè)光子計(jì)數(shù)器。這幾乎正確，除了它是一個(gè)不完美的光子計(jì)數(shù)器。它并不能計(jì)算每個(gè)光子。它計(jì)算的光子百分比稱(chēng)為其量子效率，簡(jiǎn)稱(chēng)QE。量子效率隨著光的波長(zhǎng)而變化，如圖17所示。

彩色成像

制造彩色相機(jī)的圖像傳感器有兩種主要方法。第一種方法是使用三個(gè)單獨(dú)的圖像傳感器和光學(xué)部件，將紅、綠和藍(lán)三個(gè)顏色分量分離為單獨(dú)的方向，使得每個(gè)傳感器只感測(cè)其中一種顏色（見(jiàn)圖19）。每個(gè)像素有三個(gè)值，分別來(lái)自這三個(gè)圖像傳感器。

另一種方法是在每個(gè)單獨(dú)的感測(cè)元件上放置紅、綠和藍(lán)色濾光片。這些濾光片的常見(jiàn)模式是Bayer模式（見(jiàn)圖18）。每個(gè)像素仍然有三個(gè)值：一個(gè)通過(guò)其顏色濾光片直接感測(cè)的值，另外兩個(gè)顏色值是通過(guò)相鄰像素進(jìn)行插值得到的。

高動(dòng)態(tài)范圍

相機(jī)中的噪點(diǎn)水平通常限制了每個(gè)像素的數(shù)據(jù)為8或10位。這相當(dāng)于256或1,024個(gè)灰度級(jí)別。對(duì)于許多應(yīng)用來(lái)說(shuō)，這完全足夠。然而，有些應(yīng)用需要能夠感知圖像中既在高光（明亮）區(qū)域，也在陰影（暗）區(qū)域中的細(xì)節(jié)。 解決這一挑戰(zhàn)的方法是高動(dòng)態(tài)范圍（HDR）成像。這涉及拍攝兩張（或更多）曝光時(shí)間不同的照片。較短曝光時(shí)間的像素的高位將保留高光的細(xì)節(jié)，而較長(zhǎng)曝光時(shí)間的像素的低位將保留陰影中的細(xì)節(jié)。通過(guò)將每次曝光得到的位組合，生成一個(gè)新的像素值，從而獲得更高的動(dòng)態(tài)范圍，如圖20所示。

鏡頭安裝

機(jī)器視覺(jué)相機(jī)上使用了許多不同的鏡頭安裝方式，但最常見(jiàn)的是C安裝。鏡頭安裝方式的特點(diǎn)在于其螺紋（除非是卡口式安裝）和其法蘭焦距。法蘭焦距是從鏡頭安裝座到圖像傳感器的距離。 對(duì)于C安裝，螺紋是1英寸×24牙/英寸。法蘭焦距為17.52毫米（0.69英寸）。另一種常見(jiàn)的鏡頭安裝方式是CS安裝。它與C安裝具有相同的螺紋，但其法蘭焦距為12.52毫米。 鏡頭必須安裝到相機(jī)上。通常，兩者具有相同的安裝方式。然而，有時(shí)在鏡頭和相機(jī)具有不同安裝方式時(shí)會(huì)使用適配器。

相機(jī)接口

有許多種相機(jī)接口。以下六種是機(jī)器視覺(jué)中常用的接口：

Camera Link

GigE Vision

USB3 Vision

CoaXPress

Camera Link HS

MIPI

這些標(biāo)準(zhǔn)大多有不同的選項(xiàng)，有些選項(xiàng)還非常多。因此，詳細(xì)介紹每個(gè)接口超出了本文的范圍。這些接口在以下重要特性上有所不同：

帶寬/速度 - 圖像數(shù)據(jù)從相機(jī)傳輸?shù)教幚砥鞯乃俣扔卸嗫臁?/p>

延遲 - 圖像數(shù)據(jù)啟動(dòng)后到完成之間的時(shí)間。延遲的變化通常是最重要的因素。

數(shù)據(jù)可靠性 - 如果數(shù)據(jù)在傳輸過(guò)程中損壞，接口是否能夠檢測(cè)到并進(jìn)行糾正？

電纜長(zhǎng)度 - 可以使用多長(zhǎng)的電纜，仍然具有足夠的帶寬和數(shù)據(jù)可靠性。

電纜/連接器 - 使用何種類(lèi)型的電纜和連接器。許多標(biāo)準(zhǔn)提供了不同的電纜和連接器選項(xiàng)。大多數(shù)接口標(biāo)準(zhǔn)還支持使用光纖電纜。

幀抓取卡（圖像采集卡） - 接口是否需要使用一種特殊的適配器卡，稱(chēng)為幀抓取卡。

電源 - 相機(jī)的電源是否可以通過(guò)與數(shù)據(jù)共用的同一電纜供應(yīng)。

另一個(gè)重要的接口標(biāo)準(zhǔn)是GenICam。GenICam不是物理標(biāo)準(zhǔn)，與電纜、數(shù)據(jù)傳輸速率等無(wú)關(guān)。它是關(guān)于相機(jī)向所連接的處理器提供相機(jī)特性信息的標(biāo)準(zhǔn)。根據(jù)GenICam，相機(jī)包含一個(gè)可以被處理器讀取的XML文件。該文件詳細(xì)描述了相機(jī)及其所有設(shè)置。處理器中的軟件可以查詢(xún)此文件，了解與相機(jī)進(jìn)行接口和控制所需的所有信息。即使來(lái)自同一制造商的不同相機(jī)在控制方式上也可能不同。GenICam使視覺(jué)系統(tǒng)開(kāi)發(fā)人員無(wú)需關(guān)心連接的是哪種相機(jī)，從而可以編程開(kāi)發(fā)應(yīng)用程序。

鏡頭

鏡頭是視覺(jué)系統(tǒng)的關(guān)鍵組件。它與相機(jī)的圖像傳感器一起決定了工作距離和包含場(chǎng)景的視場(chǎng)。鏡頭及其光圈還決定了有多少光能傳遞到圖像傳感器上，景深或?qū)狗秶约巴渡涞綀D像傳感器上的光學(xué)圖像中的細(xì)節(jié)分辨率。 大多數(shù)經(jīng)驗(yàn)豐富的機(jī)器視覺(jué)工程師已經(jīng)學(xué)會(huì)如何為大多數(shù)應(yīng)用選擇鏡頭。對(duì)于剛接觸機(jī)器視覺(jué)或者對(duì)于非常復(fù)雜的應(yīng)用，可能需要尋求經(jīng)驗(yàn)豐富的光學(xué)工程師的幫助。 有三種基本類(lèi)型的鏡頭：普通或內(nèi)心鏡頭（圖22），微距鏡頭（圖23）和遠(yuǎn)心鏡頭（圖25）。大多數(shù)應(yīng)用可以通過(guò)使用內(nèi)心鏡頭來(lái)解決。這些鏡頭可以在一定范圍的工作距離內(nèi)調(diào)焦，延伸至無(wú)限遠(yuǎn)，并且通常具有可調(diào)光圈。

由于內(nèi)心鏡頭不能實(shí)現(xiàn)高放大倍數(shù)的近距離對(duì)焦，所以微距鏡頭被設(shè)計(jì)來(lái)滿足這個(gè)需求。放大倍數(shù)是圖像尺寸與成像場(chǎng)景尺寸之間的比例。微距鏡頭通常適用于0.05倍至10倍的放大倍數(shù)范圍。如果需要更高的放大倍數(shù)，顯微鏡通常是更好的選擇。 遠(yuǎn)心鏡頭是機(jī)器視覺(jué)中常用的特殊鏡頭。與內(nèi)心鏡頭不同，遠(yuǎn)心鏡頭在其景深范圍內(nèi)，其放大倍數(shù)基本保持不變。這意味著測(cè)量結(jié)果幾乎不受工件高度的輕微變化影響，并且沒(méi)有透視畸變。 雖然變焦鏡頭在機(jī)器視覺(jué)中似乎是理想的選擇，因?yàn)榭梢愿鶕?jù)需要設(shè)置所需的視場(chǎng)大小，但實(shí)際上它們只被稀少地使用。由于有一個(gè)額外的調(diào)整，很難確保鏡頭設(shè)置到正確的放大倍數(shù)，并且可能會(huì)影響校準(zhǔn)。此外，變焦鏡頭往往比內(nèi)聚焦鏡頭更大、更重，而且價(jià)格更高。

照明

對(duì)于必須可靠工作的機(jī)器視覺(jué)系統(tǒng)來(lái)說(shuō)，良好的照明是至關(guān)重要的。這就是為什么工業(yè)機(jī)器視覺(jué)系統(tǒng)總是采用專(zhuān)門(mén)設(shè)計(jì)的照明，并盡量減少環(huán)境光的影響。 一些較新的發(fā)展，如自動(dòng)駕駛車(chē)輛，幾乎完全使用環(huán)境光。 對(duì)于專(zhuān)門(mén)設(shè)計(jì)的照明，有幾種不同的照明技術(shù)。第一種是前照明（見(jiàn)圖24）或背照明（見(jiàn)圖26）。在前照明中，光源位于與相機(jī)相同的場(chǎng)景一側(cè)。在背照明中，光源位于與相機(jī)相反的場(chǎng)景一側(cè)。

照明中的另一個(gè)區(qū)分方式是明場(chǎng)和暗場(chǎng)（見(jiàn)圖27）。明場(chǎng)照明是指預(yù)期能夠反射（通過(guò)鏡子）或直接傳入相機(jī)視野的任何光線。

暗場(chǎng)照明是指放置光源的方式，以使其不會(huì)傳遞或反射（通過(guò)鏡子）到相機(jī)的視野中。 如圖28所示，照明技術(shù)的另一個(gè)區(qū)分方式是光線的指向性或擴(kuò)散性。定向光照亮場(chǎng)景上的每一點(diǎn)都使用單一光線，或者更常見(jiàn)的是使用一組光線，這些光線在非常狹窄的角度范圍內(nèi)傳播。

擴(kuò)散照明使用來(lái)自廣泛角度范圍的光束照亮場(chǎng)景上的每一點(diǎn)。 定向照明傾向于產(chǎn)生明顯的陰影，并使圖像中的紋理凸顯出來(lái)。擴(kuò)散照明會(huì)產(chǎn)生淡淡的陰影或不會(huì)有陰影，并消除使圖像中的紋理顯現(xiàn)的明暗效果。 照明設(shè)計(jì)的最后一個(gè)特征是顏色或所使用的光譜。大多數(shù)機(jī)器視覺(jué)系統(tǒng)在可見(jiàn)光范圍內(nèi)工作。對(duì)于單色成像，光源通常是紅色、綠色或藍(lán)色等窄帶波長(zhǎng)。對(duì)于彩色成像，需要白光。越來(lái)越多的應(yīng)用使用紅外波長(zhǎng)。由于人類(lèi)無(wú)法在這個(gè)光譜區(qū)域內(nèi)看到，需要一些實(shí)驗(yàn)來(lái)了解其工作情況。紫外線光也常被使用，通常用于使零件發(fā)出熒光。 這意味著視覺(jué)系統(tǒng)工程師有各種各樣的光源可供選擇，涵蓋了各種尺寸、各種顏色，并提供了各種照明特性。要了解如何選擇合適的光源需要學(xué)習(xí)和經(jīng)驗(yàn)。初入機(jī)器視覺(jué)領(lǐng)域的人在選擇光源時(shí)最好與有經(jīng)驗(yàn)的人合作。