一文看懂索尼的多重曝光HDR技術(shù)

1，什么是 HDR

HDR 的英文全稱為 High Dynamic Range，意思就是“高動態(tài)范圍”。

其“高”之程度是相對于以前的 SDR（標準動態(tài)范圍）而言，那么這個“動態(tài)范圍”又是啥呢？

這個詞所代表的，就是圖像所能清晰呈現(xiàn)之明暗差別。

所以 HDR 的實際意義就是，圖像能以更高質(zhì)量同時顯示畫面的亮部和暗部。

如上圖所示，在 HDR 技術(shù)的加持之下，本來寡淡且好像蒙了一層灰似的畫面，瞬間就變成了鮮艷明麗的絕美風景！

這樣，用戶拍照的時候就能化身為“神筆馬良”，借助手機相機鏡頭（畫布），用所調(diào)配之豐富色彩的顏料（HDR傳感器），“畫”出最美最真實的圖像。

當然，HDR 的實現(xiàn)也依賴于顯示設備——畢竟能拍出來但看不出來也白搭，所以在 HDR 顯示器越來越強的今天，HDR 傳感器技術(shù)也變得越來越重要。

但是，由于智能手機的內(nèi)部空間限制，手機CIS的 HDR 能力要明顯弱于數(shù)碼單反。

畢竟單反傳感器那動輒3微米或更高的像素尺寸，以及動輒14位或更高級的 ADC（模數(shù)轉(zhuǎn)換器），在動態(tài)范圍方面可以說是能將手機CIS吊起來打了。

那么，在滿阱容量和電路規(guī)格兩方面被單反CIS碾壓的手機CIS，該怎么提高 HDR 能力呢？

2，如何提高動態(tài)范圍

上圖所示，即為動態(tài)范圍的三個計算式。其中第一個代表的是最大信號量和最小信號量的比值，其所代表的意思可由第二個計算式解釋。

第二個計算式所代表的，是 FWC（滿阱容量）與 TN（暫態(tài)噪聲）的比值，這里面的滿阱容量代表單像素的最大電荷存儲量，而暫態(tài)噪聲則代表光電轉(zhuǎn)換過程中出現(xiàn)的數(shù)值波動。

和第一個計算式所遇到的困境一樣，在像素尺寸上手機CIS與單反傳感器完全沒法比，相對應的就是滿阱容量被單反傳感器碾壓。

如上圖所示，綠色部分標注 noise 的就是噪聲之源——在光子轉(zhuǎn)換為電子以及電子傳輸?shù)?ADC 這兩個過程中都會產(chǎn)生噪聲，而暫態(tài)噪聲就是這些噪聲之和。

實際上第三個計算式所代表的正是這個意思，其中分母項分別標注 Quant 和 Readout 的字母N，便分別是光量子轉(zhuǎn)換為電子的噪聲與信號讀出的噪聲之意。

通過這三個計算式可以看出，要提高動態(tài)范圍，就得提高滿阱容量，或者減少暫態(tài)噪聲。要達到這些目的，就得改變像素結(jié)構(gòu)，以及改進電路設計。

落到實處，該怎么實現(xiàn)呢？單反上那套平面堆料之做法肯定是行不通的，畢竟整部手機的內(nèi)部空間才多大。所以一般都是通過技術(shù)的進步，來改造像素的結(jié)構(gòu)并改進電路設計。

例如從前照式演進為背照式，再推進到堆棧式，直至索尼最新的雙層晶體管技術(shù)。這些不斷演進的CIS結(jié)構(gòu)技術(shù)，不僅能夠提高滿阱容量，還能減少讀出電路的噪聲。

至于光電轉(zhuǎn)換噪聲方面的努力，最重要的就是 DTI（深槽隔離）技術(shù)，其能將每個像素隔離，以克服光串擾；同時還能促進像素縱深的擴展，從而提高滿阱容量。

當然，在動態(tài)范圍方面被單反CIS碾壓的手機CIS，單靠以上這些努力是不夠的——那些形形色色的 HDR 技術(shù)下面就該上場了。

3，早期 HDR 技術(shù)

基礎技術(shù)方面的突破完成之后，最終就輪到 HDR 技術(shù)登場了。最早被普及的 HDR 技術(shù)，就是最簡單的不同曝光時間圖像之多幀合成——Multi-frame HDR（多幀異曝光HDR）。

首先引入這個 HDR 技術(shù)的，是2011年發(fā)布的蘋果 iPhone4S 所搭載之IMX145，這就是 iPhone4S 的傳奇之處——開創(chuàng)性地引入“手機計算攝影”概念！

不過由于當時使用的還是背照式技術(shù)，所以合成 HDR 圖像的過程都是手機芯片代勞，另外曝光時間引起的“運動偽影”也是繞不過去之難題（例如下圖的“八條馬腿”）。

于是，索尼便推出了 BME-HDR 技術(shù)，并由2012年的公版旗艦IMX135首發(fā)。

這個技術(shù)的全稱為 Binning Multiplexed Exposure（像素合并多重曝光），技術(shù)原理如下圖所示。就是通過合并同時進行長、短曝光的兩行，從而獲得高動態(tài)范圍之圖像。

而之所以要每兩行像素為一組，則是因為 Bayer 排列的RGGB濾鏡需要占用兩行。

此外，由于這次的IMX135首開堆棧式技術(shù)之先河，從而讓CIS的電路層集成了圖像處理器——這便是硬件級HDR的基礎；這不僅能更快生成HDR圖片，還能實現(xiàn)HDR錄像。

但是，BME 的缺點也很明顯，那就是最終圖像的分辨率會直接減半。當時正是追求高像素的年代，這能忍？而且其圖像也不夠自然。

于是，后面大法又推出了 SME-HDR 技術(shù)，其全稱為 Spatially Multiplexed Exposure（空間多重曝光），該技術(shù)由2014年發(fā)布的公版旗艦IMX214首發(fā)。

如下圖所示，通過“Z字形”的曝光陣列，將長、短曝光之圖像融合在兩行范圍之內(nèi)，從而將分辨率損失壓到了20%的可接受水平。

隨著大法持續(xù)地在手機端“飚像素”，2018年 Quad Bayer 排列開始流行，至此因其而生的 QBC HDR 技術(shù)也迎來了普及時刻。

這個HDR技術(shù)由2017年發(fā)布的，索尼旗艦級安防傳感器IMX294首發(fā)，其利用 Quad Bayer 排列中四個同色像素聚在一起的特性，直接實現(xiàn)了片上HDR！

如下圖所示，通過每個對角線一組的曝光策略，每組同色四像素便能輸出分別對應長、短曝光的兩組圖像，融合之后便能得到一張HDR圖像。

4，在用 HDR 技術(shù)

QBC HDR 技術(shù)可以說是 SME-HDR 技術(shù)的完美迭代，其優(yōu)點除了速度快之外，效果還很好，所以非常適合應用在視頻拍攝中。

但是，隨著 Quad Bayer 技術(shù)的不斷發(fā)展，更復雜的 QBC 3-HDR 技術(shù)后面也被開發(fā)了出來。

如下圖所示，通過在同色四像素內(nèi)分別施以三重曝光，其中 S、M、L 分別代表短、中、長曝光，融合后便可獲得動態(tài)范圍更廣的HDR圖像。

雖然 QBC 3-HDR 技術(shù)確實牛，能夠?qū)崿F(xiàn)等同于肉眼所見的動態(tài)范圍，但其與 SME-HDR 一樣皆無法解決“運動偽影”問題（多重曝光所致）。

于是，索尼又研究出了 DOL-HDR 技術(shù)。這個 DOL 技術(shù)不僅沒有 BME 那損失分辨率和圖像不自然的兩大缺點，還大幅改善了“運動偽影”問題！但由于技術(shù)難度比較大，這項源于2018年的技術(shù)，到了2020年才由IMX766首發(fā)。

DOL 是 Digital Overlap（數(shù)字重疊）的簡稱，具體工作原理如下圖所示——能夠利用滾動電子快門的特點，讓曝光與讀出交織進行從而實現(xiàn)“準同時”曝光。

具體展開來說的話，就是以往的多幀 HDR 在執(zhí)行一次曝光之后，要先從上到下完整讀取出整個畫面的數(shù)據(jù)，才能開始下一次曝光。

而在 DOL-HDR 技術(shù)的加持下，每行像素完成讀取后，可以立即開始下一次曝光，這樣就可以省下等待其它像素完成讀取的時間——“準同時”曝光之原理就是這么來的。

和 BME-HDR 技術(shù)那樣只有長、短兩種曝光的，被稱作2exp-DOL。至于后面出現(xiàn)的，包含長、中、短三曝光的則被稱為3exp-DOL（下圖所示）。

總結(jié)：

動態(tài)范圍——要提高這個 HDR 的核心指標，一是提高滿阱容量，二為減小暫態(tài)噪聲。這兩方面的實現(xiàn)方式除了CIS結(jié)構(gòu)技術(shù)的進步外，還有像素細分工藝和HDR技術(shù)的引進。

BME-HDR 技術(shù)——索尼史上首個硬件級 HDR 技術(shù)，通過單幀長、短曝光合成解決了“運動偽影”問題，但損失了一半的分辨率，可謂是“殺敵一千自損五百”。

SME-HDR 技術(shù)——依然是單幀 HDR 技術(shù)，但對“運動偽影”問題進行妥協(xié)，將長、短曝光通過“Z字形”排列融合于單幀的每行像素之中，從而將像素損失率降低至20%。

QBC-HDR 技術(shù)——引進 Quad Bayer 排列，在四個同色像素組中分別進行長、短曝光并分別合成（SME技術(shù)的改良），后面又出現(xiàn)效果更好的長、中、短三重曝光之3-HDR技術(shù)。

DOL-HDR 技術(shù)——引進全新的“多幀逐行”技術(shù)，能將長、短曝光或者長、中、短曝光的多幀圖像“準同時”完成，既大幅改善了“運動偽影”問題又獲得了優(yōu)秀的 HDR 效果。

假如單看這些多重曝光的 HDR 技術(shù)，那么 DOL 無疑是最優(yōu)秀的。但隨著技術(shù)的發(fā)展，能夠從根本上徹底解決“運動偽影”難題的單曝光 HDR 技術(shù)也被研發(fā)了出來，而這個更為硬核的HDR技術(shù)正是下篇要講的內(nèi)容。