Sony偏振傳感器加持 Blackfly S工業(yè)相機突破視覺成像反光難題

Q為什么采用傳感器偏振?

A:視覺系統(tǒng)一直都在試圖克服玻璃、塑料和金屬等反光表面產(chǎn)生的動態(tài)或多余光線、反射、朦朧和眩光影響。Teledyne FLIR的Blackfly S 機器視覺工業(yè)相機具有 Sony 的傳感器偏振和 Spinnaker SDK 內(nèi)置的防眩光功能，提供便于實施、輕量化且可靠的解決方案，以應對這種充滿挑戰(zhàn)的情況。

配備偏振傳感器的 Blackfly S工業(yè)相機，通過同時傳感整個傳感器的所有偏振光的角度和強度，增加了速度，減小了體積、復雜度和耗電量。同時對曝光、增益、白平衡和顏色校正進行精確動態(tài)控制，以傳感器偏振方式在單幀圖像中從四個角度捕獲光線，可顯著降低系統(tǒng)復雜度和應用設計。

采用Sony偏振傳感器的Blackfly S的優(yōu)勢01Sony的偏振傳感器

Sony IMX253MZR 和 IMX50MZR 傳感器基于廣受歡迎的1200 萬和500萬像素 IMX253 和 IMX250 Pregius 全局快門CMOS傳感器研發(fā)而成。每個像素都有自己的偏振濾光器 - 這些濾光器的朝向角度為 0°、45°、90° 和 135°，并以重復的雙像素塊排列。

這些傳感器能夠?qū)⒂捎谔砑酉袼仄駷V光器而降低的量子效率 (QE) 的影響降到最低。例如，IMX250MXR的偏振濾光器的消光比為 4:1，足夠提供準確的測定偏振的數(shù)據(jù)，無需阻擋正交偏振光。這保證了即使最小量的光通過對齊的濾光器，也有足夠的光到達感光二極管，以捕獲有用的圖像。這樣即使在具有挑戰(zhàn)性、需要增益補償降低的 QE 的條件下，也可以捕獲低噪聲的影像。

02具有防眩光和消除反射功能的Spinnaker SDK

Spinnaker SDK支持API調(diào)用，以通過從每個偏振象限中選擇最暗像素，從源影像中創(chuàng)建眩光減少的圖像。它可以利用偏振測量，動態(tài)地減少來自非金屬表面的反射，從而降低系統(tǒng)復雜度并節(jié)省應用的開發(fā)時間。請看以下示例：

L-原始偏振圖像| M-偏振圖像，偵測物體以紅色突出顯示| R-處理后的圖像，啟用了防眩光功能

03更高的幀率（采用無損壓縮）

配備Sony偏振CMOS圖像傳感器的Blackfly S GigE攝像頭可通過利用攝像頭固件中內(nèi)置的無損壓縮功能，在高分辨率下實現(xiàn)更高的幀速率（例如，在 1200 萬像素下高達14FPS），同時不損失任何圖像數(shù)據(jù)。這種更高的處理速度和高分辨率對于要求苛刻的工業(yè)和研究導向型應用特別有用。

04偏振數(shù)據(jù)的解讀

光偏振參數(shù)的解讀和定性需要測量所有四個偏振角的數(shù)據(jù)。為了使傳感器上的每一個像素都做到這一點，需要組合相鄰像素數(shù)據(jù)進行插值處理。這與彩色傳感器上組合相鄰的紅色、綠色和藍色像素的數(shù)據(jù)得到每個像素的 RGB 值的方式類似。此過程由 Spinnaker SDK支持。

05偏振和彩色的結(jié)合

IMX250MYR傳感器在偏振濾光器下為傳感器增加了一個色彩濾光陣列。該傳感器使用一種獨特的Quad-Bayer樣式，使偏振域的空間分辨率優(yōu)于色彩信息的空間分辨率。

RGB 像素排列為 2x2“超像素”。每個超像素在每個方向都有一個偏振濾光器，并包含在該位置計算斯托克斯參數(shù)所需的所有信息。

突出顯示 2x2“超像素”的 Spinnaker SDK GUI 截圖

06全局快門功能

由于焦平面失真，卷簾快門CMOS圖像傳感器無法準確識別快速移動的物體。配備 Sony全新傳感器偏振型傳感器的Blackfly S攝像頭解決此問題的方法是在每個像素內(nèi)提供模擬內(nèi)存，從而提供全局快門功能，以便實現(xiàn)較高的圖像質(zhì)量而不發(fā)生焦平面失真的情況。

偏振工業(yè)相機的應用

下圖所示在室外照明條件下的擋風玻璃反射；有偏振和無偏振。

智能交通（ITS）

鑒于戶外照明條件全天都在變化，對于 ITS 應用（如透過反光的擋風玻璃對安全帶或移動設備違規(guī)行為拍照）而言，采用偏振濾光器設置很有挑戰(zhàn)性。有些系統(tǒng)通過多攝像頭/濾光器設置克服了這一難題，但這樣做既提高了硬件和維護成本，同時又嚴重影響了系統(tǒng)的可靠性。

通過相機偏振可以每幀同時捕獲四組圖像；確保其中至少有一幅圖像可以有效消除不必要的反射。應用程序開發(fā)人員可以在后處理過程中靈活地選擇一幅或多幅偏振圖像，從而節(jié)省開發(fā)、集成和維護的時間和成本。

探測和識別

使用傳統(tǒng)的可見或熱成像方法很難探測到目標，而偏振測定法就能解決了這個問題。偽裝的車輛或微觀細胞結(jié)構(gòu)持續(xù)反射平行于表面的偏振光；這些反射在AoLP模式（線性偏振角）下可以清楚地顯現(xiàn)，如上圖所示，偽裝良好的車輛在使用傳感器偏振技術(shù)之前和之后的觀察效果。

無人機系統(tǒng)（UAS）

UAS 或無人機等通常在室外不受控制的照明條件下運行。Blackfly S 提供四組偏振圖像，偏振角分別為 90°、45°、135° 和 0°，以根據(jù)照明條件的變化，以及UAS 的相對運動和方向做出補償。Blackfly S通過向應用工程師提供每幀4組偏振圖像，減少了系統(tǒng)的復雜度、有效載荷重量和故障點，同時改善了在挑戰(zhàn)性照明條件下的圖像質(zhì)量和決策時間。

優(yōu)化對AUV和USV的深度學習（DL）

通過去除有害的眩光和反射來清理影像，可以簡化深度學習系統(tǒng)的培訓。特別是在自動駕駛汽車和海洋無人艦船（Unmanned Surface Vehicle，即USV）遇到的各種高反光環(huán)境中，其將發(fā)揮極大的作用。

Blackfly S 工業(yè)相機的高分辨率和低讀取噪聲可實現(xiàn)用標準顯微鏡設備分析寬廣的視野（例如，利用生物化合物的偏振特性和光學活性可以區(qū)分健康和患病的組織）。半導體和電子產(chǎn)品制造、平板顯示器 (FPD) 制造和檢驗、食品包裝、化妝品、藥品包裝、物流、顯微鏡和檢驗等其他多種應用都需要處理表面反光區(qū)域，這些情況下攝像頭偏振特別有用。