全方位了解圖像傳感器的基礎(chǔ)知識(shí)

典型圖像傳感器的核心是CCD單元（charge-coupled device，電荷耦合器件）或標(biāo)準(zhǔn)CMOS單元（complementary meta-oxide semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體）。CCD和CMOS傳感器具有類(lèi)似的特性，它們被廣泛應(yīng)用于商業(yè)攝像機(jī)上。不過(guò)，現(xiàn)代多數(shù)傳感器均使用CMOS單元，這主要是出于制造方面的考慮。傳感器和光學(xué)器件常常整合在一起用于制造晶片級(jí)攝像機(jī)，這種攝像機(jī)被用在類(lèi)似于生物學(xué)或顯微鏡學(xué)等領(lǐng)域，如圖1所示。

圖1：整合了光學(xué)器件和顏色過(guò)濾器的圖像傳感器的常用排列

圖像傳感器是為滿(mǎn)足不同應(yīng)用的特殊目標(biāo)而設(shè)計(jì)的，它提供了不同級(jí)別的靈敏度和質(zhì)量。想要熟悉各種傳感器，可查閱其廠商信息。例如，為了在硅基模和動(dòng)態(tài)響應(yīng)（用于實(shí)現(xiàn)光強(qiáng)度和顏色檢測(cè)）之間有一個(gè)最好的折中，對(duì)一個(gè)特定的半導(dǎo)體制造過(guò)程，需優(yōu)化每個(gè)光電二極管傳感器單位的大小和組成成分。

對(duì)計(jì)算機(jī)視覺(jué)而言，采樣理論的效果具有重要意義，如目標(biāo)場(chǎng)景的像素范圍就會(huì)用到Nyquist頻率。傳感器分辨率和光學(xué)器件能一起為每個(gè)像素提供足夠的分辨率，以便對(duì)感興趣特征進(jìn)行成像，因此有這樣的結(jié)論：興趣特征的采樣（或成像）頻率應(yīng)該是重要像素（對(duì)感興趣的特征而言）中最小像素大小的兩倍。當(dāng)然，對(duì)成像精度而言，兩倍的過(guò)采樣僅僅是一個(gè)最低目標(biāo)，在實(shí)際應(yīng)用中，并不容易決定單像素寬度的特征。

對(duì)于給定的應(yīng)用，要取得最好的結(jié)果，需校準(zhǔn)攝像機(jī)系統(tǒng)，以便在不同光照和距離條件下確定像素位深度（bit depth）的傳感器噪聲以及動(dòng)態(tài)范圍。為了能處理傳感器對(duì)任何顏色通道所產(chǎn)生的噪聲和非線性響應(yīng)，并且檢測(cè)和校正像素壞點(diǎn)、處理幾何失真的建模，需發(fā)展合適的傳感器處理方法。如果使用測(cè)試模式來(lái)設(shè)計(jì)一個(gè)簡(jiǎn)單標(biāo)定方法，這種方法在灰度、顏色、特征像素大小等方面具有由細(xì)到粗的漸變，就會(huì)看到結(jié)果。

1、傳感器材料

硅制圖像傳感器應(yīng)用最廣，當(dāng)然也會(huì)使用其他材料，比如在工業(yè)和軍事應(yīng)用中會(huì)用鎵（Ga）來(lái)覆蓋比硅更長(zhǎng)的紅外波長(zhǎng)。不同的攝像機(jī)，其圖像傳感器的分辨率會(huì)有所不同。從單像素光電晶體管攝像機(jī)（它通過(guò)一維直線掃描陣列用于工業(yè)應(yīng)用），到普通攝像機(jī)上的二維長(zhǎng)方形陣列（所有到球形整列的路徑均用于高分辨率成像），都有可能用到。（本章最后會(huì)介紹傳感器配置和攝像機(jī)配置）。

普通成像傳感器采用CCD、CMOS、BSI和Foveon方法進(jìn)行制造。硅制圖像傳感器具有一個(gè)非線性的光譜響應(yīng)曲線，這會(huì)很好地感知光譜的近紅外部分，但對(duì)藍(lán)色、紫色和近紫外部分就感知得不好（如圖2所示）。

圖2：幾種硅光電二極管的典型光譜響應(yīng)?？梢宰⒁獾?，光電二極管在900納米附近的近紅外范圍內(nèi) 具有高的敏感度，而在橫跨400納米～700納米的可見(jiàn)光范圍內(nèi)具有非線性的敏感度。 由于標(biāo)準(zhǔn)的硅響應(yīng)的緣故，從攝像機(jī)中去掉IR濾波器會(huì)增加近紅外的靈敏度。

注意，當(dāng)讀入原始數(shù)據(jù)，并將該數(shù)據(jù)離散化成數(shù)字像素時(shí)，會(huì)導(dǎo)致硅光譜響應(yīng)。傳感器制造商在這個(gè)區(qū)域做了設(shè)計(jì)補(bǔ)償，然而，當(dāng)根據(jù)應(yīng)用標(biāo)定攝像機(jī)系統(tǒng)并設(shè)計(jì)傳感器處理方法時(shí)，應(yīng)該考慮傳感器的顏色響應(yīng)。

2、傳感器光電二極管元件

圖像傳感器的關(guān)鍵在于光電二極管的大小或元件的大小。使用小光電二極管的傳感器元件所捕獲的光子數(shù)量沒(méi)有使用大的光電二極管多。如果元件尺寸小于可捕獲的可見(jiàn)光波長(zhǎng)（如長(zhǎng)度為400納米的藍(lán)光），那么為了校正圖像顏色，在傳感器設(shè)計(jì)中必須克服其他問(wèn)題。傳感器廠商花費(fèi)大量精力來(lái)設(shè)計(jì)優(yōu)化元件大小，以確保所有的顏色能同等成像（如圖3所示）。在極端的情況下，由于缺乏累積的光子和傳感器讀出噪聲，小的傳感器可能對(duì)噪聲更加敏感。如果二極發(fā)光管傳感器元件太大，那么硅材料的顆粒大小和費(fèi)用會(huì)增加，這沒(méi)有任何優(yōu)勢(shì)可言。一般商業(yè)傳感器設(shè)備具有的傳感器元件大小至少為1平方微米，每個(gè)生產(chǎn)廠商會(huì)不同，但為了滿(mǎn)足某些特殊的需求會(huì)有一些折中。

圖3：基本顏色的波長(zhǎng)分配。注意，基本顏色區(qū)域相互重疊， 對(duì)所有的顏色而言，綠色是一個(gè)很好的單色替代品

3、傳感器配置：馬賽克、Faveon和BSI

圖4顯示了多光譜傳感器設(shè)計(jì)的不同片內(nèi)配置，包括馬賽克和堆疊方法。在馬賽克方法中，顏色過(guò)濾器被裝在每個(gè)元件的馬賽克模式上。Faveon傳感器堆疊方法依賴(lài)于顏色波長(zhǎng)深度滲透到半導(dǎo)體材料的物理成分，其中每種顏色對(duì)硅材料進(jìn)行不同程度的滲透，從而對(duì)各自的顏色進(jìn)行成像。整個(gè)元件大小可適用于所有顏色，所以不需要為每種顏色分別配置元件。

圖4：（左圖）堆疊RGB元件的Foveon方法：在每個(gè)元件位置都有RGB顏色， 并在不同的深度吸收不同的波長(zhǎng)；（右圖）標(biāo)準(zhǔn)的馬賽克元件：在每個(gè)光電二極管上面放置一個(gè)RGB濾波器，每個(gè)濾波器只允許特定的波長(zhǎng)穿過(guò)每個(gè)光電二極管

反向照明（back-side illuminated，BSI）傳感器結(jié)構(gòu)具有更大的元件區(qū)域，并且每個(gè)元件要聚集更多的光子，因而在晶粒上重新布置了傳感器接線。

傳感器元件的布置也影響到顏色響應(yīng)。例如，圖5顯示了基本顏色（R、G、B）傳感器以及白色傳感器的不同排列，其中白色傳感器（W）有一個(gè)非常清晰或非彩色的顏色濾波器。傳感器的排列考慮到了一定范圍的像素處理，如在傳感器對(duì)一個(gè)像素信息的處理過(guò)程中，會(huì)組合在鄰近元件的不同配置中所選取的像素，這些像素信息會(huì)優(yōu)化顏色響應(yīng)或空間顏色分辨率。實(shí)際上，某些應(yīng)用僅僅使用原始的傳感器數(shù)據(jù)并執(zhí)行普通的處理過(guò)程來(lái)增強(qiáng)分辨率或者構(gòu)造其他顏色混合物。

圖5：元件顏色的幾個(gè)不同馬賽克配置，包括白色、基本RGB顏色和次要CYM元件。 每種配置為傳感器處理過(guò)程優(yōu)化顏色或空間分辨率提供了不同的方法（圖像來(lái)自于《Building Intelligent Systems》一書(shū)，并得到Intel出版社的使用許可）。

整個(gè)傳感器的大小也決定了鏡頭的大小。一般來(lái)說(shuō)，鏡頭越大通過(guò)的光越多，因此，對(duì)攝影應(yīng)用而言，較大的傳感器能更好地適用于數(shù)字?jǐn)z像機(jī)。另外，元件在顆粒上排列的縱橫比（aspect ratio）決定了像素的幾何形狀，如，4：3和3:2的縱橫比分別用于數(shù)字?jǐn)z像機(jī)和35毫米的膠片。傳感器配置的細(xì)節(jié)值得讀者去理解，這樣才能夠設(shè)計(jì)出最好的傳感器處理過(guò)程和圖像預(yù)處理程序。