關于索尼CMOS圖像傳感器芯片IMX400的三層堆疊結(jié)構(gòu)

3D視覺系統(tǒng)的“最強大腦”

圖像信號處理器（Image Signal Processor，以下簡稱ISP），是一種專用數(shù)字集成電路，對從CMOS圖像傳感器中輸出的圖像數(shù)據(jù)進行處理，得到經(jīng)過復原、增強后的數(shù)字圖像，使其更加接近現(xiàn)實中人眼所看到的圖像。

ISP是一款“軟硬皆施”的芯片，需要配合專業(yè)算法處理傳感器數(shù)據(jù)，如線性糾正、噪點去除、壞點修補、顏色插值、白平衡校正、曝光校正等。通常，圖像數(shù)據(jù)從前端感知后，均須經(jīng)過ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像處理（Pre-ISP）與后端影像處理（Post-ISP）四個階段后，“完美”的圖像才能最終呈現(xiàn)于終端設備上。

成像框圖

對于3D視覺系統(tǒng)來講，如果說圖像傳感器好比“眼睛”，那么ISP則是它的“大腦”。ISP主要作用如下：

1．拜耳轉(zhuǎn)換

圖像傳感器中的光電二極管本質(zhì)上是“色盲”，它們只能記錄不同的灰度信息。之所以能呈現(xiàn)出彩色圖片，那是因為不同的紅、綠、藍三種顏色濾鏡——拜耳濾鏡將灰度信息轉(zhuǎn)換成彩色信息。由于每個光電二極管只記錄圖像的一個像素的顏色信息，像素點只可能有三種顏色：紅、綠、藍，或者什么也沒有（黑）。不同顏色的濾光點的排列是有規(guī)律的：每個綠點的四周，分布著2個紅點、2個藍點、4個綠點。這意味著，整體上，綠點的數(shù)量是其他兩種顏色點的兩倍。這是因為研究顯示人眼對綠色最敏感，所以濾光層的綠點最多。然而，拜耳轉(zhuǎn)換過程相當復雜，涉及到許多不同的操作。成像質(zhì)量在很大程度上取決于對圖像傳感器輸出原始數(shù)據(jù)處理的算法優(yōu)劣。

拜耳陣列

2．去馬賽克

如上所述，圖像處理器對顏色和亮度的賦予像素數(shù)據(jù)，比較它們與相鄰像素的數(shù)據(jù)，然后采用插值算法計算出這個像素的顏色和亮度值。ISP對整個圖片評估，猜測對比度的正確分布。通過調(diào)整伽瑪值（提高或降低圖像的中間色調(diào)的對比度范圍）進行色彩微調(diào)，如人體的皮膚和藍色的天空，使整個畫面與現(xiàn)實更為接近。

3．降噪

噪聲在任何電子線路普遍存在。在數(shù)碼攝影中，一幅流暢的彩色畫面出現(xiàn)的明顯突兀的色彩隨機斑點被視為噪聲。噪聲隨著溫度和曝光時間的增加而增多。當選擇較高的ISO設置時，圖像傳感器中的電子信號被放大，同時增加噪聲電平，從而導致較低的信噪比。ISP從圖像信息中分離噪聲并去除它。但面臨的相當大的挑戰(zhàn)是圖像中正常區(qū)域可能會被誤認為是噪聲，導致畫面受損。

4．圖像銳化

當每個像素的顏色和亮度值被插值時，圖像平滑會使圖像的邊界、輪廓變得模糊。為了增強圖像的灰度跳變，保持清晰度和細節(jié)完整性，圖像處理器必須銳化邊緣和輪廓。因此，它必須正確檢測邊緣，并順利地復制它們，而不過分銳化。

難以跨越的技術鴻溝

ISP技術壁壘高，要求專業(yè)算法層面的深層配合，兩者相輔相成，互為補充。ISP雖然可以對樣張的質(zhì)量進行后期處理，但不同的芯片或者使用同一款芯片的不同產(chǎn)品在拍攝性能方面也存在明顯的差異，這是因為ISP不僅僅有處理能力，還具有可編程性，經(jīng)過不同方式調(diào)試后的新算法會和集成原廠算法拉開差距。

市面上絕大多數(shù)手機都集成了ISP芯片，部分產(chǎn)品則采用了獨立的ISP芯片，除了富士通為不少知名機型提供了獨立ISP之外，像蘋果這樣的廠商都是自己定制專屬于iPhone的ISP。高通驍龍820集成了Spectra ISP、聯(lián)發(fā)科的Helio P25內(nèi)置12位雙ISP支持，都融合了自家最前沿的ISP。但研發(fā)難度相當大，財力消耗大，只有智能手機巨頭才有能力建立自己的ISP和專業(yè)的算法團隊。而國內(nèi)的華為也投入9800萬美金組建頂尖的專業(yè)團隊，自主開發(fā)并由海思半導體制造Hi3516首次搭載在華為Mate 8，開啟宣告國產(chǎn)手機突出重圍。

高通的Spectra ISP擁有雙ISP

iPhone專屬定制的ISP

就芯片集成方式而言，將圖像傳感器和ISP通過封裝集成于一顆模組可以有效降低成本，而業(yè)界領頭羊索尼已經(jīng)將圖像傳感器和ISP直接集成于一顆芯片。2017年，索尼推出的CMOS圖像傳感器IMX400采用三層堆疊式結(jié)構(gòu)：頂層為CIS，中間層為DRAM，底層則是ISP。全新的三層芯片能夠在1/120秒內(nèi)讀取1930萬像素圖片，是IMX318芯片的4倍。這減少了讀取每個像素行的時間間隔。這對于缺乏機械快門來控制曝光的智能手機尤其重要。

索尼CMOS圖像傳感器芯片IMX400的三層堆疊結(jié)構(gòu)

目前全球范圍內(nèi)主要被歐洲和日本巨頭所壟斷，如意法半導體、德州儀器、英飛凌、恩智浦、安霸、索尼、東芝、富士通等。而在國內(nèi)，北京君正、全志科技和瑞芯微借助前幾年平板電腦的爆發(fā)期也獲得快速成長，此外還有一些新興的創(chuàng)業(yè)型公司，如興芯微。

應用：始于工業(yè)，盛于消費電子，走向人工智能

ISP的應用領域涉及消費電子、工業(yè)、安防、汽車、無人機、機器人等。其中，智能手機是目前ISP的主要應用領域。近幾年智能手機廠商都在打攝像頭的牌，通過不斷改善拍照質(zhì)量來吸引消費者的眼球。但是，沒有ISP與圖像傳感器、鏡頭等硬件的高度協(xié)同，不論是前置還是后置的雙攝像頭都僅僅是攝像頭性能參數(shù)的堆砌和噱頭。

當前，人工智能已經(jīng)延伸至ISP領域。這點蘋果應當是布局已久，陸續(xù)收購了四家機器學習公司，而機器學習正是人工智能的核心所在。iPhone 7 使用的新款ISP處理能力比之前版本了提高一倍，它可以通過特定的算法獲取拍攝對象的更多信息，并據(jù)此對成像進行深度處理。在人工智能的驅(qū)動下，通過機器學習技術檢測到目標、設置曝光、焦距和白平衡。蘋果營銷總監(jiān)Phil Schiller表示，這種通過人工智能驅(qū)動的ISP能夠在25毫秒中進行最多1000億次的操作，比原先快了60%。谷歌和微軟也在不斷渲染自己在人工智能上的技術儲備，三大IT巨頭相繼發(fā)力，可以預見，人工智能扮演的角色將越來越重要，相信更加智能的ISP已經(jīng)在路上。
? ? ? ?責任編輯:pj