單像素成像圖像智能處理算法和應(yīng)用場(chǎng)景

圖像傳感器是把攝像頭接收到的光信號(hào)轉(zhuǎn)化成電子信號(hào)的感光元件，可以記錄光場(chǎng)強(qiáng)度的分布，對(duì)于拍照設(shè)備來(lái)說(shuō)，它就如同人眼的視網(wǎng)膜。手機(jī)或者相機(jī)的傳感器一般是一個(gè)包含了很多個(gè)小單元的陣列，每個(gè)小單元對(duì)應(yīng)著照片中的一個(gè)像素。我們平時(shí)說(shuō)的，相機(jī)2000萬(wàn)像素就是指圖像傳感器上有2000萬(wàn)個(gè)小單元（感光點(diǎn)）。

圖像傳感器單像素成像原理然而，近十多年來(lái)，科學(xué)家們卻在探索一種新型的“單像素相機(jī)”[2]，即圖像傳感器只包含一個(gè)像素，這種另類的光學(xué)成像方式就是“單像素成像”[1]。 那么單像素相機(jī)又是怎么工作的呢？單像素成像中，通過(guò)一個(gè)投影器件不斷向目標(biāo)物體照射不同的結(jié)構(gòu)光圖案，單像素探測(cè)器依次記錄下每次照射時(shí)物體場(chǎng)景總體光強(qiáng)度，最后計(jì)算重建出具有空間分辨率的物體圖像。數(shù)學(xué)上來(lái)說(shuō)，單像素探測(cè)器記錄的光強(qiáng)度是投影圖案和物體圖像之間的內(nèi)積。單像素成像與以往常常提到的鬼成像和關(guān)聯(lián)成像的概念比較接近。

典型的單像素成像系統(tǒng)單像素成像智能處理算法由于單像素相機(jī)與普通相機(jī)有著不同的成像機(jī)制和框架，在最近的研究中，筆者設(shè)計(jì)了四種為其“量身打造”的圖像智能處理算法。 （1）運(yùn)動(dòng)物體單像素成像中模糊去除和質(zhì)量提升 單像素成像中需要依次投影大量不同圖案，記錄下很長(zhǎng)一串單像素值序列，才能重建出一張物體圖像，這顯然需要一定的成像時(shí)間。所以，拍攝快速運(yùn)動(dòng)的物體時(shí)，幀率往往比較低，記錄前幾個(gè)單像素值時(shí)還“朝發(fā)白帝”,記錄后幾個(gè)單像素值時(shí)就已經(jīng)“暮到江陵”了。這導(dǎo)致最后記錄下的單像素值數(shù)據(jù)里包含了不同位置物體的混合信息，重建的圖像會(huì)包含比較多模糊和噪聲，類似于普通相機(jī)拍攝一輛飛馳而過(guò)的汽車得到的“拖尾”照片一樣。 為解決這一問(wèn)題，可以考慮一個(gè)基本的物理定律——運(yùn)動(dòng)的相對(duì)性，物體在運(yùn)動(dòng)，投影圖案是靜止的，等效于物體是靜止的，而投影圖案在反方向運(yùn)動(dòng)。物體從左到右運(yùn)動(dòng)，相當(dāng)于投影圖案從右到左運(yùn)動(dòng)；物體順時(shí)針轉(zhuǎn)動(dòng)，相當(dāng)于投影圖案逆時(shí)針轉(zhuǎn)動(dòng)。通過(guò)搜索估算物體的平移或者轉(zhuǎn)動(dòng)速度，對(duì)投影圖案做相應(yīng)的反向變換，然后計(jì)算時(shí)使用變換后的投影圖案替代原本的投影圖案，重建出的物體圖像就會(huì)清晰很多，質(zhì)量得到明顯提升[3]。

實(shí)驗(yàn)中，拍攝一個(gè)快速轉(zhuǎn)動(dòng)圓盤上的數(shù)字，我們?cè)O(shè)計(jì)的算法可以去除重建圖像中的模糊和噪聲 [3]。 （2）基于單像素成像的全光學(xué)物體快速分類 圖像常常需要進(jìn)行自動(dòng)分類識(shí)別，比如照片里的是一只貓，還是一只狗？一般無(wú)論普通相機(jī)還是單像素相機(jī)，都要先拍攝到物體（比如數(shù)字或交通標(biāo)志）清晰的圖片，才能使用機(jī)器學(xué)習(xí)方法進(jìn)行圖像分類任務(wù)。 不過(guò)，筆者提出的基于單像素成像的全光學(xué)物體快速分類方案中[4]，不需要重建物體圖像，物體只被很少數(shù)量的投影圖案所照射，探測(cè)器只記錄下“寥寥無(wú)幾”的單像素值，該算法直接基于這些單像素值，在“不知道物體到底長(zhǎng)得什么樣”情況下，能夠進(jìn)行快速物體分類。比如我們要把物體分為10類，只需要從大量訓(xùn)練圖片中優(yōu)化設(shè)計(jì)出10個(gè)投影圖案，一共投影10次，而進(jìn)行完整的圖像重建可能需要投影幾百幾千次。

從10個(gè)類別的數(shù)字圖像和交通標(biāo)志圖像中分別優(yōu)化設(shè)計(jì)出的10個(gè)用于快速物體分類的投影圖案（第四行）。 分類結(jié)果可以通過(guò)單像素值序列中最大光強(qiáng)度值直接顯示出來(lái)，無(wú)需后續(xù)的數(shù)字處理，整個(gè)系統(tǒng)相當(dāng)于一個(gè)可以進(jìn)行線性分類任務(wù)的“光學(xué)計(jì)算機(jī)”。相比于2018年Science論文中多層級(jí)聯(lián)相位板結(jié)構(gòu)的全光學(xué)衍射神經(jīng)網(wǎng)絡(luò)(DNN)系統(tǒng)[5]，我們的系統(tǒng)可以完成類似的全光學(xué)物體分類任務(wù)，同時(shí)具有非相干光照射下工作，低實(shí)驗(yàn)復(fù)雜性，高可編程性等優(yōu)點(diǎn)，更容易實(shí)現(xiàn)。 （3）單像素成像中圖像盲重建 單像素成像中一般既需要已知所有投影圖案，又需要已知所有單像素值，才能進(jìn)行物體圖像的重建。這樣看起來(lái)二者缺一就無(wú)法重建圖像，其實(shí)未必。

假設(shè)投影圖案雖然是未知的，但它們保持固定不變。如果已知一定數(shù)量不同的物體圖像和它們對(duì)應(yīng)單像素值序列作為訓(xùn)練樣本，可以通過(guò)機(jī)器學(xué)習(xí)方式實(shí)現(xiàn)盲重建。筆者在研究[6]中并沒(méi)有使用“時(shí)尚潮流之選”的深度學(xué)習(xí)方法，而使用了更簡(jiǎn)單的基于線性回歸模型的方式恢復(fù)未知的投影圖案，但獲得的結(jié)果在一定條件下優(yōu)于深度學(xué)習(xí)的結(jié)果。 事實(shí)上，很多相干和非相干的光學(xué)成像系統(tǒng)都是線性的，一些傳統(tǒng)方法也可能對(duì)系統(tǒng)進(jìn)行精確模擬，那么近年在各領(lǐng)域都普遍使用的深度學(xué)習(xí)方法是否一定優(yōu)于傳統(tǒng)方法？一些仿真和實(shí)驗(yàn)結(jié)果顯示，對(duì)于單像素成像系統(tǒng)和其他一些線性光學(xué)系統(tǒng)，深度學(xué)習(xí)其實(shí)未必總能表現(xiàn)出優(yōu)勢(shì)，尤其在需要大量訓(xùn)練樣本和泛化性這兩個(gè)方面表現(xiàn)出一定不足[6]。 （4）單像素成像中的可視加密 作為90后經(jīng)典童年回憶的《冒險(xiǎn)小虎隊(duì)》中，通過(guò)解密卡才能看到雜亂無(wú)章的條紋中隱藏的信息，這其實(shí)很類似于一種“可視加密”技術(shù)。

可視加密(Visual Cryptography)把要隱藏的圖像分解成幾個(gè)隨機(jī)圖案，把它們打印在透明膠片上，每個(gè)圖案稱為一個(gè)可視密鑰(Visual Key)，無(wú)法從中看到隱藏的圖像?？墒钱?dāng)可視密鑰重疊在一起時(shí)，隱藏圖像就可以在視覺(jué)上顯現(xiàn)出來(lái)。單像素成像中的探測(cè)器收集物體圖像總體光強(qiáng)度的方式，相當(dāng)于進(jìn)行了像素值的虛擬疊加操作，與可視加密一定程度上“異曲同工”。 筆者提出通過(guò)物體圖像和通過(guò)投影圖案兩種方式將可視加密在單像素成像中實(shí)現(xiàn)[7]。單像素的可視加密可以適用于打印在不透明介質(zhì)上的可視密鑰圖案，并且容易在肉眼觀察不到的非可見光波段以及視平線之外隱藏角落實(shí)現(xiàn)可視加密，物理層面上提升可視加密的安全性。 例如，(a)和(b)兩個(gè)二維碼可以作為一組可視密鑰，用手機(jī)掃它們，可以讀出同樣的信息，不過(guò)讀出的并不是要隱藏的信息，而是做偽裝的“幌子”。通過(guò)單像素可視加密系統(tǒng)虛擬疊加到一起之后，依舊是一個(gè)可以用手機(jī)掃的二維碼(c)，不過(guò)真正隱藏的信息”O(jiān)K”浮現(xiàn)了出來(lái)。

此外單像素成像中，只對(duì)一組投影圖案的隨機(jī)置換也能實(shí)現(xiàn)圖像加密[8]。單像素成像的應(yīng)用單像素成像可以把傳感器從一個(gè)單元陣列簡(jiǎn)化為單個(gè)像素，與此同時(shí)，則需要額外的投影器件，比如，數(shù)字微鏡陣列DMD，并且要投影照射和記錄很多次，而不是一次性成像。 然而，這不妨礙在很多情況下，單像素相機(jī)仍然比普通相機(jī)更具有優(yōu)勢(shì)，比如在可見光以外的一些波段，單元陣列傳感器難以制造，或者成本非常高，而只包含一個(gè)像素的簡(jiǎn)單傳感器就容易實(shí)現(xiàn)得多，單像素成像為這些波段的低成本相機(jī)提供了一個(gè)好的選擇。 再比如普通相機(jī)拍攝照片時(shí)，物體需要放到鏡頭或者傳感器的視平線范圍內(nèi)，而單像素探測(cè)器可以拍攝隱藏在拐角處的物體。當(dāng)同時(shí)對(duì)多個(gè)光譜和多個(gè)偏振態(tài)的光場(chǎng)進(jìn)行記錄時(shí)，難以在同一個(gè)單元陣列傳感器上對(duì)這么多的“頻道”同時(shí)進(jìn)行復(fù)用，單像素探測(cè)器則比較容易在“頻道”間靈活來(lái)回切換。 目前，該技術(shù)已被研究者嘗試應(yīng)用于多個(gè)領(lǐng)域，如遙感成像、顯微鏡、光譜儀、無(wú)人駕駛激光雷達(dá)、加油站氣體泄露監(jiān)測(cè)、便攜式掃描儀等，單像素成像的潛在應(yīng)用場(chǎng)景一直在不斷被發(fā)掘和擴(kuò)展。

作者簡(jiǎn)介

焦述銘，深圳大學(xué)納米光子學(xué)研究中心副研究員，香港城市大學(xué)博士畢業(yè)。主要從事單像素成像，全息成像及顯示，圖像處理等方面研究。以第一作者發(fā)表期刊論文20余篇，曾入選Hong Kong PhD Fellowship Scheme和廣東省“珠江人才計(jì)劃”博士后資助項(xiàng)目。

審核編輯：郭婷