安森美的AR0822圖像傳感器提供支持的eHDR線性化模式

圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機(jī)器人等應(yīng)用，必須能夠在各種惡劣成像條件下穩(wěn)定工作，以支持圖像視覺和機(jī)器視覺等功能。高動(dòng)態(tài)范圍場(chǎng)景、運(yùn)動(dòng)物體或LED閃爍等惡劣成像條件，會(huì)導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。

什么是HDR，為什么需要HDR？

圖像傳感器的動(dòng)態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細(xì)節(jié)的能力。只有動(dòng)態(tài)范圍較高的圖像才能讓人同時(shí)看到亮區(qū)和暗區(qū)的細(xì)節(jié)。人眼的動(dòng)態(tài)范圍可以達(dá)到100dB以上，但單次曝光的攝像頭很難達(dá)到這一水平。

為了擴(kuò)展動(dòng)態(tài)范圍，常用的方法是拍攝多張曝光時(shí)間不同的低動(dòng)態(tài)范圍圖像，然后將它們合并在一起以獲得高動(dòng)態(tài)范圍圖像。長(zhǎng)曝光圖像可捕捉圖像中的暗區(qū)，而短曝光圖像可捕捉亮區(qū)，因此在合并后的圖像中，我們將能夠看到分別利用長(zhǎng)曝光信號(hào)和短曝光信號(hào)形成的暗區(qū)和亮區(qū)。

線性化與相關(guān)的挑戰(zhàn)

合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量?jī)?nèi)存，此外為實(shí)現(xiàn)高幀率，還需具備強(qiáng)大的處理能力作為支撐。

完成線性化后，在查看已合并的高動(dòng)態(tài)范圍圖像時(shí)，還可能會(huì)遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下，這些圖像質(zhì)量問題或偽影會(huì)變得更加明顯。

例如，以下成像條件會(huì)導(dǎo)致偽影問題更加明顯：

場(chǎng)景中有運(yùn)動(dòng)物體

場(chǎng)景中有LED燈閃爍

空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)

安森美(onsemi)的白皮書《利用低帶寬高動(dòng)態(tài)范圍(eHDR)技術(shù)提高物體識(shí)別精度》說明了eHDR相對(duì)于LI?HDR在帶寬和節(jié)省能耗方面的優(yōu)勢(shì)。該白皮書重點(diǎn)介紹了由安森美的AR0822圖像傳感器提供支持的線性化模式，其中的嵌入式高動(dòng)態(tài)范圍(eHDR)技術(shù)無需依賴于主機(jī)ISP/SoC，便能在傳感器上創(chuàng)建HDR圖像。AR0822圖像傳感器的eHDR技術(shù)能夠有效應(yīng)對(duì)通過線性化將多張圖像合成HDR圖像時(shí)所遇到的重大難題，尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。

智能線性化改善轉(zhuǎn)換信噪比

一般的線性化過程會(huì)先使用長(zhǎng)曝光信號(hào)，直至長(zhǎng)曝光飽和（12位ADC為4095LSB），然后利用短曝光信號(hào)計(jì)算HDR圖像中所需的線性化信號(hào)。在HDR圖像中，由于短曝光信號(hào)的信噪比遠(yuǎn)低于長(zhǎng)曝光信號(hào)，因此從長(zhǎng)曝光信號(hào)轉(zhuǎn)換到短曝光信號(hào)時(shí)會(huì)導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng)ISP對(duì)該圖像進(jìn)行后處理時(shí)，偽影可能會(huì)進(jìn)一步放大。

為了有效管理從長(zhǎng)曝光到短曝光的轉(zhuǎn)換過程，智能線性化會(huì)對(duì)長(zhǎng)曝光和短曝光信號(hào)進(jìn)行加權(quán)組合，從而計(jì)算出一個(gè)信號(hào)。其中，長(zhǎng)曝光和短曝光依據(jù)各自的信號(hào)水平被賦予不同的權(quán)重。通過這種智能線性化處理，當(dāng)從長(zhǎng)曝光切換到短曝光時(shí)，信號(hào)會(huì)平滑傳輸。

圖1顯示了由頂部散射光照亮的相同場(chǎng)景，當(dāng)我們由上至下觀察這個(gè)灰色場(chǎng)景，會(huì)發(fā)現(xiàn)信號(hào)水平下降，圖像也從短曝光轉(zhuǎn)換到長(zhǎng)曝光。圖1的左側(cè)圖像未啟用智能線性化功能?？梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象，這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。

圖1的右側(cè)圖像開啟了智能線性化功能，可以看到偽影現(xiàn)象顯著緩解，能給人以更舒適的觀感，而且也降低了被機(jī)器視覺算法誤認(rèn)為是邊緣的風(fēng)險(xiǎn)。由此可見，AR0822的智能線性化技術(shù)有助于實(shí)現(xiàn)不同曝光水平下信噪比的平滑過渡，避免信噪比突然變化。

圖1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡

智能線性化改善運(yùn)動(dòng)偽影成像

對(duì)運(yùn)動(dòng)場(chǎng)景進(jìn)行多次曝光成像時(shí)，可能出現(xiàn)長(zhǎng)曝光信號(hào)和經(jīng)線性化的短曝光信號(hào)不等效的情況，這是由于場(chǎng)景中物體正在運(yùn)動(dòng)造成的，并有可能導(dǎo)致出現(xiàn)顏色偽影，即在運(yùn)動(dòng)發(fā)生的區(qū)域中存在色調(diào)變化。

減少長(zhǎng)曝光時(shí)間在一定程度上有助于減小偽影的面積，但這種方法的可操作性不高，可能會(huì)造成大部分場(chǎng)景處于低光狀態(tài)，導(dǎo)致整個(gè)場(chǎng)景的整體圖像質(zhì)量下降。

AR0822傳感器的智能線性化功能可以有效緩解場(chǎng)景中的顏色偽影。該功能會(huì)首先檢測(cè)場(chǎng)景中的運(yùn)動(dòng)，即短曝光與長(zhǎng)曝光在線性化信號(hào)水平上的差異。然后將根據(jù)檢測(cè)到的運(yùn)動(dòng)程度，使用長(zhǎng)曝光和短曝光的組合信號(hào)水平來減輕場(chǎng)景中的運(yùn)動(dòng)偽影。

圖2為背景中有旋轉(zhuǎn)風(fēng)扇的例子，對(duì)比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時(shí)，風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影，這是由長(zhǎng)曝光與線性化短曝光的信號(hào)水平差異造成的。在右側(cè)圖像，智能線性化算法檢測(cè)到了這一情況并進(jìn)行了校正。

圖2.智能線性化– 減少運(yùn)動(dòng)偽影

圖3放大了圖2的部分細(xì)節(jié)。智能線性化關(guān)閉時(shí)，風(fēng)扇葉片附近出現(xiàn)了黃色的運(yùn)動(dòng)偽影，而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。

圖3.智能線性化技術(shù)能夠有效緩解運(yùn)動(dòng)偽影

智能線性化改善LED閃爍成像

在一般線性化過程中，場(chǎng)景中不停閃爍的LED燈可能會(huì)導(dǎo)致圖像傳感器的某個(gè)顏色通道通過長(zhǎng)曝光成像，而另一個(gè)顏色通道通過短曝光成像，具體取決于每個(gè)顏色通道的信號(hào)水平。因此，當(dāng)某個(gè)顏色通道正通過長(zhǎng)曝光成像時(shí)，LED燈處于開啟狀態(tài)；而當(dāng)另一個(gè)顏色通道進(jìn)行短曝光成像時(shí)，LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時(shí)間的圖像時(shí)，圖像的色調(diào)可能會(huì)因此而改變。在比較糟糕的情況下，圖像中會(huì)顯示LED為關(guān)閉狀態(tài)，而肉眼卻看到LED正亮著。

智能線性化可以通過檢測(cè)長(zhǎng)曝光與短曝光的線性化信號(hào)的差異，來感測(cè)由LED閃爍引起的閃爍偽影。它能根據(jù)觀測(cè)到的線性化信號(hào)的差異程度，智能地組合長(zhǎng)曝光和短曝光，從而有效減輕顏色偽影。短曝光成像常會(huì)導(dǎo)致閃爍的LED呈關(guān)閉狀態(tài)，而開啟智能線性化則可以避免這個(gè)問題，讓圖像更接近我們?nèi)搜塾^察到的情況。

圖4對(duì)比了智能線性化關(guān)閉和開啟兩種情況下的LED閃爍圖像。智能線性化關(guān)閉時(shí)，場(chǎng)景中的一些LED燈會(huì)顯示顏色偽影，這是由長(zhǎng)曝光與短曝光的信號(hào)水平差異造成的。在右側(cè)圖像，智能線性化算法檢測(cè)到了這一情況并進(jìn)行了校正。

圖4.智能線性化? 視頻快照

圖5放大了圖4中的LED燈局部細(xì)節(jié)。智能線性化關(guān)閉時(shí)，在視頻中會(huì)看到閃爍的偽影，或者在快照?qǐng)D像中會(huì)看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影，如右側(cè)圖像所示。

圖5.智能線性化技術(shù)能夠有效減少LED偽影

智能線性化的集成優(yōu)勢(shì)

隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升，片外ISP/SoC的處理負(fù)擔(dān)日益加劇，進(jìn)而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計(jì)算時(shí)間，同時(shí)提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進(jìn)算法，安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影，并且單個(gè)和多個(gè)傳感器可以輕松集成到ISP/SoC上。