夜視應(yīng)用的CMOS圖像傳感器的特性和說明

夜視技術(shù)市場涵蓋了廣泛的應(yīng)用，主要目的在于給操作員提供視覺輔助分析。通常要求系統(tǒng)具有良好的便攜性以及低功耗。現(xiàn)代的夜視系統(tǒng)已數(shù)字化并帶有高端圖像處理功能，可以實(shí)現(xiàn)模糊場景分析。

1. 簡述

夜視技術(shù)市場涵蓋了廣泛的應(yīng)用，主要目的在于給操作員提供視覺輔助分析。通常要求系統(tǒng)具有良好的便攜性以及低功耗?，F(xiàn)代的夜視系統(tǒng)已數(shù)字化并帶有高端圖像處理功能，可以實(shí)現(xiàn)模糊場景分析。在這樣的要求下，圖像傳感器本身的性能就變得極其重要。理想狀況，極度低光照狀態(tài)下每一個光子都必須轉(zhuǎn)化為有效信號，從而最終圖像可以清晰分辨所有細(xì)節(jié)。本文章對主要用于評估低照度性能的傳感器關(guān)鍵參數(shù)、建模和度量法作出探討。

2. 傳感器特征

本文工作是基于Teledyne e2v一款用于低照度科研CMOS圖像傳感器（CIS），560萬像素分辨率（2440x2304）。其像素為6.5微米，支持全局快門跟卷簾快門模式，最大速度為88幀每秒。這一單芯片架構(gòu)屬全數(shù)字并為非常低噪聲應(yīng)用作出優(yōu)化。這一CIS能夠在全速卷閘快門下實(shí)現(xiàn)亞電子時(shí)間噪聲，并在全局快門下實(shí)現(xiàn)5電子時(shí)間噪聲。

這一傳感器最初是基于標(biāo)準(zhǔn)CMOS工藝設(shè)計(jì)，然后轉(zhuǎn)移到特定的厚和高阻抗硅物料（HiRes）以實(shí)現(xiàn)從可見光到近紅外（NIR）更高靈敏度和良好的空間分辨率和更大的量子效率（QE）。像素的微透鏡以零縫隙（zero-gap）方法優(yōu)化，實(shí)現(xiàn)最大80%的量子效率。專有的像素彩色馬賽克陣列或單色陣列，使得傳感器適用于日間和夜視應(yīng)用。

其它測試器件（DUT）的低亮度性能在表1中做了比較。

3. 低照度相機(jī)和傳感器設(shè)計(jì)

3.1. 噪聲水平

噪聲是由以下各因素構(gòu)成：

- 讀出噪聲

- 暗散粒噪聲

- 光子散粒噪聲

- 量化噪聲

- 固定模式噪聲（FPN）

- 像素響應(yīng)非一致性（PRNU）

而最后的兩個因素FPN 和 PRNU 在系統(tǒng)校準(zhǔn)后不再出現(xiàn)，因而可以忽略。

在低輻照下，讀出和暗噪聲主導(dǎo)了信噪比（SNR），而光子散粒噪聲則在動態(tài)較高的位置有較大影響。要實(shí)現(xiàn)非常低光照水平下探測，噪聲的大小是關(guān)鍵因素。光子計(jì)數(shù)成像要求噪聲小于0.15 e-，這對于標(biāo)準(zhǔn)CMOS傳感器來說是很大的挑戰(zhàn)。特別對于一些像素內(nèi)信號放大電晶管會產(chǎn)生隨機(jī)電報(bào)噪聲源（RTS），導(dǎo)致一些像素出現(xiàn)非典型的高讀出噪聲，使得它們不適用于低照度感測。對超低噪CMOS傳感器設(shè)計(jì)而言，像素噪聲是主導(dǎo)因素。換言之，模數(shù)轉(zhuǎn)換器（ADC）和混合信號讀出通道對于影像和視覺傳感器性能來說是至關(guān)重要的。能夠降低模擬讀出噪聲的設(shè)計(jì)方式之一，是去除取樣存放步驟（sample-and-hold），直接轉(zhuǎn)換輸出像素信號。我們之前的工作提出了一個基于兩級ADC的新型架構(gòu)，能夠?qū)崿F(xiàn)接近0.5電子噪聲 。它同時(shí)展示了像素設(shè)計(jì)的重要性，以及電晶管工作和ADC分辨率的影響。

量化噪聲最一種隨機(jī)模擬噪聲。模數(shù)轉(zhuǎn)換器（ADC）將來自CMOS傳感器的光電信號轉(zhuǎn)換成數(shù)字信號。這便關(guān)乎到具體信號估算的不確定性。量化步長或數(shù)字量化值的選擇必須能夠讓量化噪聲跟其它噪聲源相較可以忽略。量化數(shù)值以及它的不確定性取決于：1） 模擬信號的滿量程范圍（FSR）以及2）數(shù)字信號的位數(shù)（Nb）。算式1給出了量化噪聲的算法。

算式1

其中Nb越大，則量化噪聲越小。但相應(yīng)地，也要求更大的存儲空間，在傳輸速率一定的情況下，也會帶來幀率的降低。因此，設(shè)計(jì)時(shí)，需兼顧幾方面。

3.2. 像素尺寸

像素的尺寸是圖像傳感器設(shè)計(jì)考慮的重要指標(biāo)。小像素能夠顯著提高空間分辨率。另一方面，在相同光學(xué)孔徑和視場范圍條件下，大像素能夠帶來更高的靈敏度。鑒于圖像質(zhì)量的概念是這兩個參數(shù)的結(jié)合，像素面積的折衷就成為必需事項(xiàng)。例如大像素有較高的響應(yīng)并能夠改進(jìn)夜視能力，但它的空間分辨率卻不足以辨別遠(yuǎn)處離物體的細(xì)節(jié)。約翰遜準(zhǔn)則（Johnson‘s criteria）被廣泛應(yīng)用在距離性能預(yù)測。

3.3. 靈敏度改進(jìn)趨勢

本工作設(shè)計(jì)方法在已有圖像傳感器設(shè)計(jì)基礎(chǔ)上加入新技術(shù)改進(jìn)光電特性，且不影響其它性能。這一方法已經(jīng)應(yīng)用芯片設(shè)計(jì)且得到了驗(yàn)證，成功實(shí)現(xiàn)產(chǎn)品系列擴(kuò)充。最近在新的工作中，通過負(fù)偏置基極并增加芯片厚度（HiRho），提升量子效率和靈敏度，同時(shí)保持出色的空間分辨率。HiRho是短期被看好的改進(jìn)靈敏度的方法，現(xiàn)在正技術(shù)驗(yàn)證階段。根據(jù)傳感器特性建模仿真數(shù)據(jù)，可以預(yù)期應(yīng)用HiRho技術(shù)芯片在低照度環(huán)境下表現(xiàn)性能優(yōu)于其他芯片。

4. 低照度性能測量

信噪比和空間分辨率是評估圖像質(zhì)量的兩個主要指標(biāo)。相機(jī)制造技術(shù)能力也體現(xiàn)在對這兩個指標(biāo)的良好把控。界定它們的參數(shù)包括量子效率、噪聲源、色彩還原度以及調(diào)制傳遞函數(shù)（MTF）。

噪聲等效輻照度（Noise Equivalent Irradiance，NEI），它反映了暗噪聲以及光響應(yīng)的影響，如算式2所示：

算式2

圖像傳感器的響應(yīng)度Rims取決于多個參數(shù)，如算式3所示：

算式3

從圖像傳感器角度， NEI主要取決于兩個主要參數(shù)，量子效率和噪聲。它們決定了生成基本影像所需的最低光照度的閾值。這一理論模型并沒有考慮到與光粒子性本質(zhì)相關(guān)的散粒噪聲。散粒噪聲遵從泊松分布，它的標(biāo)準(zhǔn)偏差為產(chǎn)生的信號的平方根，以電子為單位。因此，需結(jié)合考慮NEI和信噪比（SNR）。ISO 12232 標(biāo)準(zhǔn)定義了基于SNR的圖像質(zhì)量條件。標(biāo)準(zhǔn)給出了SNR值與輻照度水平的對應(yīng)關(guān)系指標(biāo)。指標(biāo)的值愈小，傳感器的性能愈佳。在實(shí)際使用中，SNR10公認(rèn)為可接受的圖像，SNR40為完美影像。對于低照度成像而言，一般認(rèn)為SNR = 10 dB 的圖像是可用水平。

獲得SNR=X所需場景的輻照度Escene可通過算式4得出。

算式4

其中Tint代表曝光時(shí)間，Idc為暗電流（e-/s）。

空間分辨能力的分析與時(shí)域信號噪聲分析同等重要?；诩s翰遜準(zhǔn)則的最小可分辨對比度（Minimum Resolvable Contrast，MRC）是常用的空間分辨能力衡量方法。相較于NEI，它更復(fù)雜一些。因?yàn)樗腔诰叽硇缘墓ぷ鳁l件下的測試結(jié)果，且受到觀察者主觀感受隨機(jī)性影響。

基于上述方法，比較不同傳感器的性能是可能的。

5. 傳感器性能對比實(shí)驗(yàn)

5.1. TTP 計(jì)量

在1950年后期提出的約翰遜準(zhǔn)則（Johnson criteria）經(jīng)常被引用界定夜視系統(tǒng)性能。根據(jù)理論，我們可以得到不同輻照水平下傳感器的最高空間分辨率fj。最小可分辨對比度（MRC）相當(dāng)于分辨某個頻率所需的對比度閾值。因此我們也能得到給定距離范圍內(nèi)，對于某一對像的偵測、辨識和識別（DRI）的機(jī)率計(jì)算?，F(xiàn)場測試結(jié)果常常顯示出與準(zhǔn)則有差異的結(jié)果，特別是數(shù)字傳感器和顯示器。因而衍生出多個其它方法。其中任務(wù)性能目標(biāo)（Targeting Task Performance，TTP） 方法結(jié)合了約翰遜方法和取樣圖像（或視頻）與諸如銳利化或?qū)Ρ刃拚葦?shù)字圖像處理等因素。另外，為了反映操作者主觀因素，TTP模型也加入了視覺的對比限制。這就是本工作中選用的方法。

對比閾值函數(shù)（Contrast Threshold Function，CTF） 是考慮人類視覺特征的函數(shù)。CTFsyst也采用了同一概念，通過圖像來顯示傳感器在不同光照度水平下的空間分辨率、光學(xué)模糊度（MTF）和噪聲。CTFsyst的曲線呈浴缸形，人眼對低頻變化對比度敏感，但對小圖案的空間分辨率則靈敏度受限。

TTP 的計(jì)算是在頻域，對比目標(biāo)背景對比度（Ctgt）和CTFsyst。截止頻率為Ctgt開始超過CTFsyst的頻率，即fj。低頻接近于零。算式 5 定義了TTP 的計(jì)量。

算式5

對一個給定范圍，且已知目標(biāo)范圍ATGT，可分辨周期數(shù)Nresolved可通過算式6定義。

算式6

在算式7中，系數(shù)E由一個相當(dāng)于0.5完成任務(wù)機(jī)率的經(jīng)驗(yàn)實(shí)現(xiàn)參數(shù)V50而得出：

算式7

其中V50 = 18.8。

由算式 5 到算式7，我們得到每個范圍TTP的準(zhǔn)確概率函數(shù)（Pid）機(jī)率函數(shù)：

算式8

我們把TTP 計(jì)量設(shè)置到Python 環(huán)境，以演示出CMOS圖像傳感器的性能對比。

5.2. 光學(xué)工作臺設(shè)定

TTP方法一般都是基于反射型目標(biāo)，而在實(shí)驗(yàn)室環(huán)境不容易實(shí)現(xiàn)。我們特別依照測試目的，設(shè)計(jì)了一個緊湊型光學(xué)工作臺。這個工作臺配備一個用于配接任何相機(jī)和卡的機(jī)械接口。機(jī)箱內(nèi)置有標(biāo)準(zhǔn)透射型分辨率測試卡（USAF 1951），帶通濾波片或中性濾波片。積分球內(nèi)配置有校準(zhǔn)過的輻照度監(jiān)測儀。工作平臺封閉不透光，可以抵抗外界環(huán)境光 （》 100 lx）干擾，并能夠保持腔內(nèi)輻照度小于10 μlx。腔內(nèi)部使用了特殊涂料，內(nèi)壁350nm-1100 nm的光譜范圍內(nèi)殘留反射率小于5%。所有量度均使用Kowa telephoto高分辨率50 mm焦距c-mount鏡頭。

圖1 – TTP光學(xué)工作臺

6. 結(jié)果與討論

圖2到圖4為基于TTP技術(shù)在1.5 mlx 輻照度下（night level 4）的對比結(jié)果?？梢钥吹较袼爻叽?，噪聲和信噪比帶來的影響。這一組圖片與USAF 1951在低亮度工作臺拍攝的目標(biāo)圖片呈現(xiàn)了一致的結(jié)果。

圖2 – USAF 1951 1.5 mlx照度下對比

我們簡化了計(jì)算模型，Ctgt 的計(jì)算剔除了大氣吸收，采用了簡化的噪聲模型。Ctgt 取固定值0.4。由于對比是以Pid曲線為基礎(chǔ)，我們簡化CTFsyst，假定顯示器是完美的，不帶有任何對比度增強(qiáng)且其空間頻率噪聲考慮為白噪聲。雖然計(jì)算的范圍數(shù)值相較于現(xiàn)場數(shù)據(jù)更理想化，但是它已足夠用于比較不同傳感器的表現(xiàn)。表1 給出了新型器件的參數(shù)比較。由于使用了高靈敏度的像素和低噪聲讀出，本文工作顯示了比其他像素尺寸相近產(chǎn)品更好的性能。而像素尺寸越大的芯片，表現(xiàn)出更好的SNR和NEI，在遠(yuǎn)距離探測保證更好的探測可靠性。本研究器件的性能與其它當(dāng)前高水平芯片對比，表現(xiàn)出相近的性能水平。

表 1 – 最新型CIS簡表

7. 結(jié)論與未來工作

本文為前期提出的傳感器優(yōu)化方法論的延伸工作，應(yīng)用于夜視芯片優(yōu)化。提出了實(shí)驗(yàn)室測量對比夜視芯技術(shù)方法，并以此方法對比驗(yàn)證了本工作夜視傳感器與現(xiàn)有其他芯片性能進(jìn)行比較。在1.5 mlx照度下得出的結(jié)果與NEI和SNR的計(jì)算一致。由于近紅外產(chǎn)生電子擴(kuò)散更明顯，所有測試傳感器均出現(xiàn)對比度下降和空間分辨率的損失。要實(shí)現(xiàn)長距離目標(biāo)探測識別（DRI）需要新一代的傳感器具有更好的光電性能。值得一提的是HiRho工藝開啟了新的技術(shù)領(lǐng)域。深耗盡區(qū)（full deep depletion）工藝將實(shí)現(xiàn)更接近理論值的對比度分辨率以及顯著改進(jìn)的QE。例如具有6.5 μm 像素的Teledyne e2v 科學(xué)CMOS圖像傳感器，在夜視等級4 （night level 4）環(huán)境下，探測范圍增加至1.2倍， 甚至超越了對比測試中表現(xiàn)最好的競爭器件A。
責(zé)任編輯 LK