關(guān)于機(jī)器視覺(jué)中的傳感器和像素分析介紹

作者 John Gabay, Mouser Electronics

視頻監(jiān)控的好處多多，作為一組遠(yuǎn)程眼線，視頻監(jiān)控可以在異地位置某個(gè)點(diǎn)上以虛擬形式出現(xiàn)在現(xiàn)場(chǎng)。更重要的是，攝像頭可以覆蓋一大片連續(xù)視野，能夠穩(wěn)定的移動(dòng)照相并同時(shí)保持持續(xù)的掃描搜索模式。

視頻系統(tǒng)也能在人類無(wú)法到達(dá)的地方繼續(xù)發(fā)揮作用。已知最早的視頻監(jiān)控技術(shù)用于1942年開(kāi)發(fā)和發(fā)射的V-2火箭的安全監(jiān)控。在一個(gè)安全的距離之外，科學(xué)家和工程師可以遠(yuǎn)程觀察火箭的表現(xiàn)，并確定故障。

此后，視頻系統(tǒng)已經(jīng)成為人類眼睛和耳朵的擴(kuò)展延伸之物。技術(shù)及制造的不斷發(fā)展與進(jìn)步，促使視頻監(jiān)控質(zhì)量也在不斷提升，目前我們已經(jīng)可以安心地依靠它來(lái)從事安全防范。

光線的秘密

感光材料可以根據(jù)光的存在與否改變其電阻或電導(dǎo)。早期的單色視頻系統(tǒng)，如20世紀(jì)50年代的RCA視像相機(jī)系統(tǒng)使用帶有感光硒板的真空管，這個(gè)硒板充當(dāng)被感測(cè)圖像的焦平面。

電子束將掃描該感光板，在精確時(shí)間量下生成的電流正比于命中感光板的光線數(shù)量。因此，光柵掃描管產(chǎn)生電子視頻信號(hào)，這些信號(hào)可以容易地進(jìn)行長(zhǎng)距離傳輸。CRT電視再以相反的順序使用這些信號(hào)，通過(guò)電子束掃描熒光屏，從而重現(xiàn)圖像中光強(qiáng)度相符的光線。

曾經(jīng)幾十年間，視頻只能單色感測(cè)和實(shí)時(shí)顯示圖像。為創(chuàng)建彩色傳感器，在每個(gè)傳感器的前面放置了濾色片，將相應(yīng)光的模擬電平限制在匹配原色彩的強(qiáng)度上。在電子束的路徑中放置色磷光體，以生成相應(yīng)色光。色同步信號(hào)晶體的出現(xiàn)有助于在視頻信號(hào)中同步色分量。

隨著時(shí)間的推移，這些真空管取得了穩(wěn)步發(fā)展并不斷改進(jìn)，包括更高分辨率，更低功耗，更小制造成本以及更高可靠性。閉路電視（CCTV）和廣播產(chǎn)業(yè)隨之誕生，并以更快的步伐推動(dòng)持續(xù)進(jìn)步。

不利的一面是，這些技術(shù)中采用易碎的玻璃，并且電路中的電壓也變得更高。尺寸約束導(dǎo)致基于電子管圖像傳感器的外形很大，組裝起來(lái)很笨重。多虧了現(xiàn)代半導(dǎo)體技術(shù)，這種局面最終得以轉(zhuǎn)變。

固態(tài)傳感器技術(shù)

在70年代初，電荷耦合器件（CCD）進(jìn)入人們的視野，它將帶有存儲(chǔ)器件的精密陣列與半導(dǎo)體制造進(jìn)行了有機(jī)結(jié)合。陣列中的單個(gè)光敏圖像元件傳感器同步地設(shè)置對(duì)應(yīng)觸發(fā)器的狀態(tài)。反過(guò)來(lái)，這些傳感器連接成菊花鏈架構(gòu)，整體表現(xiàn)像一個(gè)移位寄存器。通過(guò)時(shí)鐘驅(qū)動(dòng)移位寄存器將生成一個(gè)同步視頻流。

最初一維傳感器陣列應(yīng)用在掃描儀和傳真機(jī)等設(shè)備中，二維和最終彩色CCD版本的出現(xiàn)，使視頻圖像傳感器的尺寸大幅縮小，同時(shí)也降低了功耗需求。

不再需要人工參與

由于缺乏可用的記錄技術(shù)，早期的CCTV系統(tǒng)需要人工觀察，并且觀察者只有一次機(jī)會(huì)從檢測(cè)到的事件中提取盡可能多的信息。而這之后，圖像將永遠(yuǎn)消失。

這樣的CCTV系統(tǒng)中，由人類進(jìn)行場(chǎng)景識(shí)別，檢測(cè)關(guān)注的活動(dòng)，并作出決策確定是否警報(bào)。本質(zhì)上來(lái)說(shuō)，在報(bào)警環(huán)路中某個(gè)人充當(dāng)了控制處理器，這個(gè)人來(lái)做出一位信息的決策，即是否觸發(fā)報(bào)警器。

線性CCD傳感器開(kāi)始改變這一狀況，因?yàn)樗邆渥x取條形碼和識(shí)別模式的編程能力。在現(xiàn)代電話、數(shù)碼相機(jī)和機(jī)器視覺(jué)系統(tǒng)中，使用的兩維傳感器提升了分辨率和擴(kuò)展了光譜感光度，同時(shí)減少了尺寸和功耗并降低了外部透鏡組件的需求。

機(jī)器視覺(jué)與人工智能結(jié)合在一起，衍生了新一代監(jiān)視系統(tǒng)，這樣的系統(tǒng)中需要更少的人工參與，具備更低的成本以及更高水平的目標(biāo)可編程檢測(cè)（以及追蹤）能力。這些需求也推高了工程師的設(shè)計(jì)水準(zhǔn)，他們需要使用前所未有的更高處理能力的部件來(lái)集成更高級(jí)別的功能。

設(shè)計(jì)難題和關(guān)注

如果沒(méi)有現(xiàn)代存儲(chǔ)器的高速存取和高集成度，如果沒(méi)有現(xiàn)代嵌入式處理器的強(qiáng)大性能，下一代智能監(jiān)控系統(tǒng)就無(wú)法保證合理的成本和尺寸大小。其中的一個(gè)主要原因是，每增加點(diǎn)圖像分辨率，都將給系統(tǒng)設(shè)計(jì)的其余部分帶來(lái)新的負(fù)擔(dān)。

較早的8位4 MHz傳統(tǒng)處理器在幫助設(shè)計(jì)師實(shí)現(xiàn)早期數(shù)字控制環(huán)路和信號(hào)處理和實(shí)時(shí)控制中所需的數(shù)字技術(shù)是夠用的，但在解決智能安防需求時(shí)速度卻不夠快。其主要原因可以歸結(jié)為對(duì)內(nèi)存需求的指數(shù)級(jí)增長(zhǎng)。

例如，一個(gè)簡(jiǎn)單的傳統(tǒng)復(fù)合視頻攝像機(jī)擁有總計(jì)525條的掃描線，并且每條線都可能使用不同的采樣速率。其中的二十一條用于垂直消隱。在低端方面，現(xiàn)代CCD圖像傳感器的數(shù)字分辨率起始于?VGA（320×240）。

在?VGA的分辨率上，需要76800個(gè)字節(jié)來(lái)表示一幀（8位分辨率時(shí)）。使用8位RGB技術(shù)（一個(gè)字節(jié)來(lái)表示紅色、綠色和藍(lán)色），字節(jié)數(shù)將達(dá)到230400。這兩種情況都超出了傳統(tǒng)處理器的尋址范圍。

隨著分辨率增加，內(nèi)存需求也大幅上升。即使在640×480的VGA分辨率下，一個(gè)單色幀也需要307,200字節(jié)，而在使用24位顏色調(diào)色板時(shí)彩色幀則需要近1兆字節(jié)。

數(shù)據(jù)量需求還要繼續(xù)膨脹。在每秒30幀（這是典型的閃爍融合率）時(shí)，需要近28兆字節(jié)來(lái)緩沖一秒的VGA視頻。下面幾種常見(jiàn)視頻標(biāo)準(zhǔn)分辨率的比較也突顯了日益苛刻的約束。

表1：分辨率的增加給視頻密集處理、存儲(chǔ)和傳輸強(qiáng)加了巨量?jī)?nèi)存需求。