機(jī)器視覺(jué)系統(tǒng)需要考慮的色彩串?dāng)_問(wèn)題

在為你的產(chǎn)品開(kāi)發(fā)最適合的機(jī)器視覺(jué)系統(tǒng)時(shí)，需要考慮很多因素，以下列出開(kāi)發(fā)過(guò)程中需要考慮的一些問(wèn)題：

顏色準(zhǔn)確性 / 差異化

首先要考慮的是應(yīng)用程序所需的顏色精度和差異程度。在某些應(yīng)用中，機(jī)器視覺(jué)相機(jī)必須區(qū)分檢測(cè)到的顏色和目標(biāo)值之間的距離。在這一領(lǐng)域，高精度機(jī)器視覺(jué)用戶(hù)需要比能夠接受較低精度和差異化水平的用戶(hù)更先進(jìn)的相機(jī)。

如前所述，插值和低靈敏度是提高顏色精度和差異化水平的兩個(gè)主要障礙。插值可能導(dǎo)致顏色檢測(cè)的細(xì)微差異，因?yàn)樗枰車(chē)袼氐钠骄祦?lái)確定每個(gè)像素的顏色值。因此，當(dāng)機(jī)器視覺(jué)系統(tǒng)試圖區(qū)分細(xì)微的顏色差異時(shí)，您可能不知道顏色的陰影實(shí)際上是不同的，或者它們只是拜耳插值中的變化。

色彩串?dāng)_

高度的色彩串?dāng)_會(huì)影響機(jī)器視覺(jué)相機(jī)產(chǎn)生的顏色的精度。高階串?dāng)_是由拜耳濾波器或二向色棱鏡涂層定義的紅、藍(lán)、綠通道的光譜響應(yīng)之間相當(dāng)大的重疊造成的。當(dāng)通道之間有大量重疊時(shí)，某些顏色系列，尤其是黃或藍(lán)綠色系列，會(huì)有很大的不確定性。

▲棱鏡相機(jī)中使用的二向色涂層比拜耳濾光片產(chǎn)生更陡的光譜曲線(xiàn)，以最大限度地減少由色彩串?dāng)_引起的不確定性。

當(dāng)您的機(jī)器視覺(jué)系統(tǒng)需要區(qū)分這些顏色的不同色調(diào)時(shí)，這可能是非常有問(wèn)題的。因此，在開(kāi)發(fā)彩色機(jī)器視覺(jué)系統(tǒng)時(shí)，必須考慮哪些顏色系列對(duì)您的分析至關(guān)重要，以及機(jī)器視覺(jué)系統(tǒng)中可接受的顏色串?dāng)_水平。

光照水平和靈敏度

根據(jù)您的應(yīng)用，您的機(jī)器視覺(jué)系統(tǒng)需要特定級(jí)別的感光度。拜耳、三線(xiàn)和棱鏡相機(jī)以不同的方式傳輸光，所以光的靈敏度是不同的。

例如，拜耳濾波器不僅由比光學(xué)棱鏡中使用的高級(jí)玻璃具有更低透射率的材料制成，而且鑲嵌方法也使得每個(gè)像素僅對(duì)三分之一的波長(zhǎng)敏感。它落在上面了。根據(jù)給定像素的確切顏色，這可能會(huì)導(dǎo)致超過(guò)一半的光照在濾光片上，并且無(wú)法到達(dá)傳感器。

根據(jù)系統(tǒng)的亮度級(jí)別和可容忍的增益 / 噪聲級(jí)別，您可以根據(jù)應(yīng)用程序選擇最合適的相機(jī)。

▲在拜耳相機(jī)中，每個(gè)像素上的濾波器阻擋了三分之二的光譜波長(zhǎng)，大大減少了從場(chǎng)景中捕獲的實(shí)際光量。通過(guò)三個(gè)獨(dú)立的傳感器，棱鏡相機(jī)捕獲與每個(gè)像素相關(guān)的 100％的光。

白平衡和噪音

每一個(gè)使用顏色的機(jī)器視覺(jué)應(yīng)用程序都需要白平衡。如果沒(méi)有根據(jù)系統(tǒng)使用的照明光譜調(diào)整清晰的基線(xiàn)，則無(wú)法準(zhǔn)確捕獲真實(shí)的顏色值。根據(jù)所選機(jī)器視覺(jué)相機(jī)的類(lèi)型，可以使用不同的白平衡方法。

例如，拜耳和三線(xiàn)相機(jī)只能通過(guò)在三個(gè)顏色通道中的兩個(gè)通道上添加增益（放大）來(lái)平衡白色，以匹配響應(yīng)最高的通道。然而，增加增益不僅會(huì)使信號(hào)倍增，還會(huì)使圖像中的噪聲倍增。然后，由于整體低光條件所需的任何額外增益將添加到基線(xiàn)。如果需要超低噪聲，則可能需要通過(guò)增加可用光的數(shù)量或切換到不同的相機(jī)類(lèi)型來(lái)解決此問(wèn)題。

相比之下，棱鏡相機(jī)可以獨(dú)立控制每個(gè)傳感器，包括快門(mén)速度和增益。因此，您可以選擇使用快門(mén)速度進(jìn)行白平衡 - 通過(guò)延長(zhǎng)兩個(gè)通道的曝光時(shí)間來(lái)減少響應(yīng)，或者縮短響應(yīng)時(shí)間最長(zhǎng)的兩個(gè)通道的曝光時(shí)間。如果暴露時(shí)間較長(zhǎng)，噪聲可能會(huì)略微增加，但增加的幅度比增益小得多。在某些應(yīng)用中，降噪可能是使用棱鏡相機(jī)技術(shù)的幾個(gè)原因之一。

▲彩色攝像機(jī)必須是白平衡的，以避免因照明類(lèi)型和色溫而變色。典型的基于增益的白平衡會(huì)增加圖像噪聲。棱鏡相機(jī)中可用的基于曝光的方法對(duì)圖像噪聲的影響要小得多。

顏色偽像

顏色偽像是圖像缺陷 - 通常是錯(cuò)誤著色的像素或圖案 - 由圖像的顏色信息的導(dǎo)出方式引起。使用估計(jì)或插值來(lái)計(jì)算顏色的相機(jī)最有可能表現(xiàn)出顏色偽影。

然而，即使是產(chǎn)生獨(dú)立的 R，G 和 B 值（非插值）的三線(xiàn)性相機(jī)，也會(huì)由于梯形失真效應(yīng)，不平整表面或輕微的時(shí)序變化引起的空間偏移而產(chǎn)生顏色偽影。由于棱鏡相機(jī)具有三個(gè)獨(dú)立的傳感器并使用單個(gè)光學(xué)平面來(lái)捕獲圖像，因此使用棱鏡相機(jī)產(chǎn)生顏色偽影的風(fēng)險(xiǎn)非常低。

最常見(jiàn)的顏色工件類(lèi)型是：

顏色混疊

顏色混疊是指當(dāng)具有特定顏色的對(duì)象的線(xiàn)條或邊緣（例如，深藍(lán)色對(duì)角線(xiàn)）顯示不同的顏色時(shí)的情況，例如當(dāng)在像素級(jí)別檢查圖像時(shí)沿其邊緣的紅色或黃色像素。

這個(gè)問(wèn)題在拜耳相機(jī)中最常見(jiàn)，因?yàn)橛糜跒槊總€(gè)像素分配 RGB 值的插值技術(shù)使用周?chē)袼氐幕旌?，這些像素可能具有與線(xiàn)或邊緣本身完全不同的顏色。

▲當(dāng)插值沿著線(xiàn)和邊緣產(chǎn)生錯(cuò)誤著色的像素時(shí)，會(huì)發(fā)生顏色混疊。

莫爾圖案

除了在捕獲單個(gè)邊緣或線(xiàn)時(shí)引起問(wèn)題時(shí)，當(dāng)圖像包含精細(xì)重復(fù)圖案時(shí)，大規(guī)模混疊可導(dǎo)致莫爾圖案的出現(xiàn)。雖然任何需要捕獲更高空間頻率的相機(jī)都會(huì)出現(xiàn)這種效果，但拜耳相機(jī) - 再次因?yàn)椴逯导夹g(shù) - 更容易出現(xiàn)這種情況。

▲具有重復(fù)顏色混疊的區(qū)域中的人造顏色圖案可以出現(xiàn)在拜耳圖像中。

對(duì)分辨率的影響

與單色系統(tǒng)相比，在確定彩色機(jī)器視覺(jué)系統(tǒng)所需的分辨率水平時(shí)需要特別小心。這是因?yàn)榘荻逯档壬始夹g(shù)大大降低了相機(jī)的有效分辨率。雖然拜耳相機(jī)可能有 500 萬(wàn)像素（5 百萬(wàn)像素），但插值過(guò)程會(huì)“平均”許多小細(xì)節(jié)，使有效分辨率達(dá)到整個(gè)像素?cái)?shù)的三分之一左右。

根據(jù)應(yīng)用程序必須能夠檢測(cè) / 分析的最小特征大小以及必須涵蓋的視野大小，有兩種可能的操作過(guò)程：

① 您可以選擇分辨率遠(yuǎn)高于類(lèi)似單色系統(tǒng)的拜耳相機(jī)。當(dāng)然，這通常帶有更高的價(jià)格標(biāo)簽，更昂貴的光學(xué)器件以及主機(jī)上更高的處理負(fù)荷。

② 您可以選擇具有與在單色系統(tǒng)上使用的基本分辨率大致相同的棱鏡相機(jī)。一個(gè) 320 萬(wàn)像素的棱鏡相機(jī)實(shí)際上是一個(gè) 3×320 萬(wàn)像素的攝像頭，帶有三個(gè)獨(dú)立的圖像傳感器，總計(jì) 9.6 百萬(wàn)像素。因此，它可以產(chǎn)生 24 位，320 萬(wàn)像素的輸出，而不會(huì)像拜耳相機(jī)那樣損失分辨率。如上所述，棱鏡相機(jī)比拜耳相機(jī)貴。但與使用 900 萬(wàn)像素拜耳相機(jī)的所有相關(guān)成本相比，整體比較變得更加接近。

以上信息僅適用于區(qū)域掃描分辨率。在線(xiàn)掃描系統(tǒng)的情況下，三線(xiàn)性和棱鏡相機(jī)都不依賴(lài)于插值，因此這兩種技術(shù)的有效分辨率都沒(méi)有顯著降低。但是，線(xiàn)掃描相機(jī)章節(jié)中討論的一些問(wèn)題可能會(huì)影響三線(xiàn)性相機(jī)區(qū)分小細(xì)節(jié)以及棱鏡相機(jī)的單個(gè)光學(xué)平面的能力。

色彩空間和色彩空間轉(zhuǎn)換

在開(kāi)發(fā)機(jī)器視覺(jué)系統(tǒng)時(shí)，您需要確定哪種顏色空間最適合您的特定應(yīng)用。確切的顏色空間取決于應(yīng)用程序的用途以及如何分析顏色信息。

例如，簡(jiǎn)單地在屏幕上顯示對(duì)象的應(yīng)用程序自然會(huì)使用標(biāo)準(zhǔn) RGB 顏色空間，因?yàn)檫@是所有監(jiān)視器構(gòu)造其像素顏色的方式。但是，如果您正在處理印刷材料，像 Adobe RGB 這樣的色彩空間可能是更好的選擇，因?yàn)樗峁┝烁鼜V泛的顏色選擇，適合數(shù)字印刷。

其他顏色空間如 HSI（色調(diào)，飽和度，強(qiáng)度）和 CIE XYZ 或 CIE L * a * b *顏色空間使用數(shù)學(xué)坐標(biāo)來(lái)描述顏色，以便某些應(yīng)用程序更容易計(jì)算顏色匹配和顏色差異在程度和方向上。

在大多數(shù)應(yīng)用程序中，您將使用主機(jī)上的算法和處理資源將來(lái)自攝像機(jī)的 RGB 數(shù)據(jù)轉(zhuǎn)換為最適合您應(yīng)用的色彩空間。但是，在某些情況下，您可能希望相機(jī)在主機(jī)處理資源專(zhuān)注于其他任務(wù)時(shí)執(zhí)行此轉(zhuǎn)換。對(duì)于這些情況，值得選擇具有內(nèi)置色彩空間轉(zhuǎn)換功能的相機(jī)。

色彩增強(qiáng)和色彩優(yōu)化

在某些情況下，您可能會(huì)發(fā)現(xiàn)有意改變顏色的準(zhǔn)確性很有價(jià)值。如果是這樣，在開(kāi)發(fā)機(jī)器視覺(jué)系統(tǒng)時(shí)，值得考慮色彩增強(qiáng)和優(yōu)化功能。

例如，如果要檢測(cè)圖像中的特定偏差或?qū)蓚€(gè)對(duì)象彼此區(qū)分開(kāi)來(lái)，有時(shí)可以幫助增強(qiáng)圖像中的特定顏色。例如，當(dāng)圖像中的紅色增強(qiáng)時(shí)，可以更容易地區(qū)分血細(xì)胞和組織。

使用主機(jī)上的算法捕獲圖像后，可以增強(qiáng)圖像中的顏色。然而，后處理增強(qiáng)可能受到原始圖像的飽和度或?qū)Ρ榷鹊南拗?。有些相機(jī)配備了色彩優(yōu)化功能，允許用戶(hù)增強(qiáng)特定的主色或互補(bǔ)色，其真實(shí)價(jià)值高達(dá) 200％（2 倍）。系統(tǒng)構(gòu)建者應(yīng)該考慮這樣的功能是否可以為其應(yīng)用程序增加價(jià)值，或者有助于將其與競(jìng)爭(zhēng)系統(tǒng)區(qū)分開(kāi)來(lái)。

▲顏色增強(qiáng)功能可以強(qiáng)調(diào)圖像中的特定顏色。

編輯：hfy