深度解析3D攝像頭技術(shù)與應(yīng)用報(bào)告

3D視覺(jué)測(cè)量原理知多少

要談3D視覺(jué)應(yīng)用方案，就必須先弄清楚光學(xué)測(cè)量分類以及其原理。光學(xué)測(cè)量分為主動(dòng)測(cè)距法和被動(dòng)測(cè)距法。

主動(dòng)測(cè)距方法的基本思想是利用特定的、人為控制光源和聲源對(duì)物體目標(biāo)進(jìn)行照射，根據(jù)物體表面的反射特性及光學(xué)、聲學(xué)特性來(lái)獲取目標(biāo)的三維信息。其特點(diǎn)是具有較高的測(cè)距精度、抗干擾能力和實(shí)時(shí)性，具有代表性的主動(dòng)測(cè)距方法有結(jié)構(gòu)光法、飛行時(shí)間法、和三角測(cè)距法。

光學(xué)測(cè)距法的分類

1. 主動(dòng)測(cè)距法

（1）結(jié)構(gòu)光法

根據(jù)投影光束形態(tài)的不同，結(jié)構(gòu)光法又可分為光點(diǎn)式結(jié)構(gòu)光法、光條式結(jié)構(gòu)光法和光面式結(jié)構(gòu)光法等。

三種結(jié)構(gòu)光法測(cè)量的原理圖

目前應(yīng)用中較廣，且在深度測(cè)量中具有明顯優(yōu)勢(shì)的方法是面結(jié)構(gòu)光測(cè)量法。面結(jié)構(gòu)光測(cè)量將各種模式的面結(jié)構(gòu)投影到被測(cè)物體上，例如將分布較密集的均勻光柵投影到被測(cè)物體上面，由于被測(cè)物體表面凹凸不平，具有不同的深度，所以表面反射回來(lái)的光柵條紋會(huì)隨著表面不同的深度發(fā)生畸變，這個(gè)過(guò)程可以看作是由物體表面的深度信息對(duì)光柵的條紋進(jìn)行調(diào)制。所以被測(cè)物體的表面信息也就被調(diào)制在反射回來(lái)的光柵之中。通過(guò)被測(cè)物體反射回來(lái)的光柵與參考光柵之間的幾何關(guān)系，分析得到每一個(gè)被測(cè)點(diǎn)之間的高度差和深度信息。

結(jié)構(gòu)光的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，測(cè)量精度較高，對(duì)于平坦的、無(wú)明顯紋理和形狀變化的表面區(qū)域都可進(jìn)行精密的測(cè)量。其缺點(diǎn)是對(duì)設(shè)備和外界光線要求高，造價(jià)昂貴。目前，結(jié)構(gòu)光法主要應(yīng)用在條件良好的室內(nèi)。

（2）飛行時(shí)間法（ToF）

飛行時(shí)間（Time of Flight，簡(jiǎn)稱ToF）法，又叫做激光雷達(dá)（LiDAR）測(cè)距法。它將脈沖激光信號(hào)投射到物體表面，反射信號(hào)沿幾乎相同路徑反向傳至接收器，利用發(fā)射和接收脈沖激光信號(hào)的時(shí)間差可實(shí)現(xiàn)被測(cè)量表面每個(gè)像素的距離測(cè)量。

飛行時(shí)間（ToF）深度測(cè)量法的原理示意圖

ToF直接利用光傳播特性，不需要進(jìn)行灰度圖像的獲取與分析，因此距離的獲取不受物體表面性質(zhì)的影響，可快速準(zhǔn)確地獲取景物表面完整的三維信息。缺點(diǎn)則是需要較復(fù)雜的光電設(shè)備，價(jià)格偏貴。

（3）三角測(cè)距法

三角測(cè)距法又稱主動(dòng)三角法，是基于光學(xué)三角原理，根據(jù)光源、物體和檢測(cè)器三者之間的幾何成像關(guān)系來(lái)確定空間物體各點(diǎn)的三維坐標(biāo)。在實(shí)際測(cè)量過(guò)程中，它常用激光作為光源，用CCD相機(jī)作為檢測(cè)器。這種方式主要用于工業(yè)勘探、工件表面粗糙度檢測(cè)、輪胎檢測(cè)、飛機(jī)檢測(cè)等工業(yè)、航空、軍事領(lǐng)域，在消費(fèi)電子類產(chǎn)品還不曾涉及。

基于激光三角法測(cè)量系統(tǒng)簡(jiǎn)圖

2. 被動(dòng)測(cè)距法

被動(dòng)測(cè)距技術(shù)不需要人為地設(shè)置輻射源，只利用場(chǎng)景在自然光照下的二維圖像來(lái)重建景物的三維信息，具有適應(yīng)性強(qiáng)、實(shí)現(xiàn)手段靈活、造價(jià)低的優(yōu)點(diǎn)。但是這種方法是用低維信號(hào)來(lái)計(jì)算高維信號(hào)的，所以其使用的算法復(fù)雜。被動(dòng)測(cè)距按照使用的視覺(jué)傳感器數(shù)量可分為單目視覺(jué)、雙目立體視覺(jué)和多目視覺(jué)三大類。

（1）單目視覺(jué)

單目視覺(jué)是指僅利用一臺(tái)照相機(jī)拍攝一張相片來(lái)進(jìn)行測(cè)量。因僅需要一臺(tái)相機(jī)，所以該方法的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、相機(jī)標(biāo)定容易，同時(shí)還避免了立體視覺(jué)的小視場(chǎng)問(wèn)題和匹配困難問(wèn)題。

單目視覺(jué)測(cè)量示意圖

單目視覺(jué)方法又可分聚焦法和離焦法兩類。聚焦法是指首先使相機(jī)相對(duì)于被測(cè)點(diǎn)處于聚焦位置，然后根據(jù)透鏡成像公式求得被測(cè)點(diǎn)相對(duì)于相機(jī)的距離。相機(jī)偏離聚焦位置會(huì)帶來(lái)測(cè)量誤差，因此尋求精確的聚焦位置是關(guān)鍵所在。而離焦法不要求相機(jī)相對(duì)于被測(cè)點(diǎn)處于聚焦位置，而是根據(jù)標(biāo)定出的離焦模型計(jì)算被測(cè)點(diǎn)相對(duì)于相機(jī)的距離，這樣就避免了由于尋求精確的聚焦位置而降低測(cè)量效率的問(wèn)題，但離焦模型的準(zhǔn)確標(biāo)定是該方法的主要難點(diǎn)。

（2）雙目立體視覺(jué)

雙目立體視覺(jué)的基本原理是從兩個(gè)視點(diǎn)觀察同一景物，以獲取在不同視角下的感知圖像，然后通過(guò)三角測(cè)量原理計(jì)算圖像像素間的位置偏差（視差）來(lái)獲取景物的三維信息。這一過(guò)程與人類視覺(jué)感知過(guò)程是類似的。

雙目立體視覺(jué)測(cè)量示意圖

在雙目立體視覺(jué)系統(tǒng)的硬件結(jié)構(gòu)中，通常采用兩個(gè)攝像機(jī)作為視覺(jué)信號(hào)的采集設(shè)備，通過(guò)雙輸入通道圖像采集卡與計(jì)算機(jī)連接，把攝像機(jī)采集到的模擬信號(hào)經(jīng)過(guò)采樣、濾波、強(qiáng)化、模數(shù)轉(zhuǎn)換，最終向計(jì)算機(jī)提供圖像數(shù)據(jù)。一個(gè)完整的雙目立體視覺(jué)系統(tǒng)通?？煞譃閿?shù)字圖像采集、相機(jī)標(biāo)定、圖像預(yù)處理與特征提取、圖像校正、立體匹配、三維重建六大部分。

（3）多目立體視覺(jué)

多目立體視覺(jué)系統(tǒng)是對(duì)雙目視覺(jué)系統(tǒng)的一種拓展。所謂多目立體視覺(jué)系統(tǒng)，就是采用多個(gè)攝像機(jī)設(shè)置于多個(gè)視點(diǎn)，或者由一個(gè)攝像機(jī)從多個(gè)視點(diǎn)觀測(cè)三維景物的視覺(jué)系統(tǒng)。

多目視覺(jué)測(cè)量示意圖

對(duì)多目系統(tǒng)所采集到的景物圖像進(jìn)行感知、識(shí)別和理解的技術(shù)被稱為多目立體視覺(jué)系統(tǒng)技術(shù)。在雙目立體視覺(jué)中，對(duì)于給定的物體距離，視差與基線長(zhǎng)度成正比，基線越長(zhǎng)，對(duì)距離的計(jì)算越精確。但是當(dāng)基線過(guò)長(zhǎng)時(shí)，需要在相對(duì)較大的視覺(jué)范圍內(nèi)進(jìn)行搜索，從而增加計(jì)算量。利用多基線立體匹配是消除誤匹配、提高視差測(cè)量準(zhǔn)確性的有效方法之。基線數(shù)目的增加可以通過(guò)增加相機(jī)來(lái)實(shí)現(xiàn)。

一張表看懂3D視覺(jué)應(yīng)用案列

目前市場(chǎng)上的3D視覺(jué)采用的應(yīng)用方案原理主要有三種：結(jié)構(gòu)光法、ToF法和多目（雙目）立體視覺(jué)法。就其優(yōu)缺點(diǎn)，應(yīng)用領(lǐng)域和實(shí)際案例，下面一張圖則做了總體的概括。

一張表看懂3D視覺(jué)應(yīng)用方案優(yōu)缺點(diǎn)及案例

一張圖展示國(guó)內(nèi)外3D視覺(jué)應(yīng)用方案主要玩家

在3D視覺(jué)應(yīng)用方案領(lǐng)域三大原理的提供商分別有：

多目（雙目）立體視覺(jué)法提供商：國(guó)外（英特爾、微軟，Leapmotion）；國(guó)內(nèi)（圖漾科技、縱目科技、凌云光技術(shù)、西緯科技和弼智仿生）。

結(jié)構(gòu)光法提供商：國(guó)外（英特爾，谷歌）；國(guó)內(nèi)（圖漾科技、奧比中光和華捷艾米）。

飛行時(shí)間法提供商：國(guó)外（微軟、谷歌、英飛凌、德州儀器、意法半導(dǎo)體），國(guó)內(nèi)（?？低?、舜宇光學(xué)和樂(lè)行天下）。

一張圖展示國(guó)內(nèi)外3D視覺(jué)應(yīng)用方案主要玩家

攝像頭模組——智能手機(jī)的兵家必爭(zhēng)之地

最近三年間，每部智能手機(jī)的攝像頭模組成本從15美元上升到近25美元，不少手機(jī)的配置數(shù)量也從1顆增至3顆。智能手機(jī)的各大巨頭，如蘋果、三星、華為、OPPO、VIVO、小米、LG等的旗艦機(jī)采取了差異化的攝像頭戰(zhàn)略。隨著人們?cè)谖⑿排笥讶?、Facebook和Snapchat等社交網(wǎng)站上PO圖的熱情高漲，對(duì)照片的要求也越來(lái)越高，一款能突出主體、色彩艷麗又能增加顏值的智能手機(jī)對(duì)消費(fèi)者的吸引力是巨大的，攝像頭成了智能手機(jī)廠商爭(zhēng)奪市場(chǎng)的一把利器。

每部智能手機(jī)攝像頭數(shù)量的發(fā)展趨勢(shì)

智能手機(jī)在攝像頭模組上可謂費(fèi)盡心思，后置攝像頭、前置攝像頭，增加像素，加大鏡頭和感光元件，這些還不夠。雙攝像頭的方案逐漸成為主打方案：主攝像頭+輔助攝像頭，做到類似單反的背景虛化效果；長(zhǎng)焦+廣角鏡頭方案，光學(xué)變焦的雙攝像頭模組；RGB+Mono方案，也就是彩色攝像頭+黑白攝像頭的方案，提高夜拍效果，提亮降噪。從后置雙攝像頭到前置前置雙攝像頭，輸出的照片焦內(nèi)更加銳麗清晰，而虛化部分也更加真實(shí)。

從本質(zhì)上講，雙攝像頭是一個(gè)過(guò)渡產(chǎn)品，因?yàn)闆](méi)有深度信息，只能依靠算法進(jìn)行測(cè)算，對(duì)于拍照或許能滿足攝像愛(ài)好者的初級(jí)要求，但是對(duì)于識(shí)別跟蹤和智能化增強(qiáng)處理方面，還是需要深度攝像頭的幫助才能做到完美。

那么，繼雙攝像頭時(shí)代的下個(gè)時(shí)代會(huì)是什么呢？麥姆斯咨詢認(rèn)為，3D成像和傳感技術(shù)已經(jīng)在高端市場(chǎng)的“庇護(hù)”下逐漸成熟，并在醫(yī)療類和工業(yè)類領(lǐng)域取得了巨大的成功。2016年，3D成像和傳感器件開(kāi)始出現(xiàn)明顯的商業(yè)拓展，市場(chǎng)規(guī)模超過(guò)13億美元。未來(lái)兩年，我們很可能看到以智能手機(jī)和電腦為首的大量采用3D成像感知設(shè)備的消費(fèi)類產(chǎn)品涌入，iPhone8極有可能采用前置3D攝像頭。蘋果這座“風(fēng)向標(biāo)”對(duì)3D攝像頭的應(yīng)用，極有可能將引發(fā)“類似指紋傳感器在消費(fèi)類電子上井噴式爆發(fā)”的場(chǎng)景再次出現(xiàn)，3D攝像頭最終將成為生物識(shí)別和臉部識(shí)別的主流配置。

3D攝像頭模組結(jié)構(gòu)

3D攝像頭模組拆解后，其主要硬件包括：紅外光發(fā)射器（IR LED或VCSEL）、紅外光圖像傳感器（IR CIS或者其他光電二極管）和可見(jiàn)光圖像傳感器（Vis CIS）、圖像處理芯片、濾光片或鏡頭。此外，室外工作的飛行時(shí)間（ToF）方案需要窄帶濾光片；結(jié)構(gòu)光方案需要發(fā)射端光學(xué)棱鏡與DOE光柵；雙目立體成像方案采用兩顆紅外光攝像頭或兩顆可見(jiàn)光攝像頭。

典型的3D攝像頭模組結(jié)構(gòu)

基于ToF方案的3D視覺(jué)系統(tǒng)的工作原理為：首先紅外激光發(fā)射器發(fā)射出近紅外光，經(jīng)過(guò)人手或人臉的反射之后，紅外信息（IR Light）被紅外光圖像傳感器所接收，這個(gè)圖像信息用來(lái)計(jì)算人手所處的位置（Z軸）；同時(shí)，可見(jiàn)光圖像傳感器采集二維平面（X與Y軸）的人手的可見(jiàn)光信息（Vis Light）；圖像傳感器的信息匯總至專用的圖像處理芯片，從而得到人手或人臉的三維數(shù)據(jù)，實(shí)現(xiàn)空間定位。

基于ToF方案的3D視覺(jué)系統(tǒng)工作原理

從硬件方面講，3D攝像頭模組與普通二維攝像頭模組的差異在于紅外光發(fā)射器的選擇上，采用垂直腔面發(fā)射激光器VCSEL取代傳統(tǒng)的紅外LED。VCSEL的優(yōu)勢(shì)是驅(qū)動(dòng)電壓和電流小、功耗低、光源可調(diào)變頻率更高（可達(dá)數(shù)GHz），與化合物半導(dǎo)體工藝兼容，適合大規(guī)模集成制造。傳言iPhone8的3D攝像頭將采用VCSEL+ToF方案，有望將VCSEL帶入消費(fèi)電子藍(lán)海。VCSEL的相關(guān)知識(shí)在后續(xù)的報(bào)道中我們會(huì)專門做詳細(xì)講解。

3D攝像頭模組的“春天”真的來(lái)了嗎？

據(jù)Yole報(bào)告《3D成像和傳感-2017版》，預(yù)計(jì)3D成像和傳感器件市場(chǎng)的復(fù)合年增長(zhǎng)率為37.7%，2022年將達(dá)到90億美元。如此爆發(fā)性的增長(zhǎng)讓人不禁想起指紋傳感器，2013年蘋果公司發(fā)布了采用指紋識(shí)別傳感器的iPhone 5S，由此引爆了指紋識(shí)別傳感器市場(chǎng)，三年間市場(chǎng)規(guī)模從幾乎為零飆升到幾十億美元。故事的開(kāi)始驚人的相似，主角都是蘋果公司，劇情是否會(huì)重演？

2011~2022年3D成像和傳感器件市場(chǎng)預(yù)測(cè)

各大公司在3D視覺(jué)布局已久，但是一直未出現(xiàn)大規(guī)模應(yīng)用，硬件是制約因素，算法的復(fù)雜性和未找到合適的應(yīng)用場(chǎng)景則是主要原因。從硬件方面講，單光子雪崩二極管（SPAD）、VCSEL、MEMS掃描鏡、近紅外圖像傳感器等技術(shù)工藝復(fù)雜，國(guó)內(nèi)有能力量產(chǎn)的企業(yè)簡(jiǎn)直是鳳毛麟角；3D攝像頭模組的工藝流程也較雙攝像頭模組復(fù)雜許多，國(guó)內(nèi)的丘鈦科技已有量產(chǎn)的案例。在算法端，3D深度攝像頭要求模組廠和算法進(jìn)行有效配合。3D更偏向于深度攝像技術(shù)，它對(duì)算法提出的要求更高，它不再滿足雙攝機(jī)械式AA制程。沒(méi)有合適的應(yīng)用場(chǎng)景則是導(dǎo)致3D攝像技術(shù)一直處于不溫不火局面的原因?，F(xiàn)在，我們期待蘋果（Apple）公司能夠邁出重要一步，推動(dòng)3D成像和傳感產(chǎn)業(yè)發(fā)展。生物識(shí)別和臉部識(shí)別將成為3D成像和傳感技術(shù)的主要應(yīng)用，增強(qiáng)現(xiàn)實(shí)（AR）則是另一個(gè)重要應(yīng)用。未來(lái)幾年，消費(fèi)類產(chǎn)品對(duì)3D攝像頭的采用，則是推動(dòng)該市場(chǎng)的強(qiáng)勁動(dòng)力！

3D視覺(jué)系統(tǒng)的“最強(qiáng)大腦”

圖像信號(hào)處理器（Image Signal Processor，以下簡(jiǎn)稱ISP），是一種專用數(shù)字集成電路，對(duì)從CMOS圖像傳感器中輸出的圖像數(shù)據(jù)進(jìn)行處理，得到經(jīng)過(guò)復(fù)原、增強(qiáng)后的數(shù)字圖像，使其更加接近現(xiàn)實(shí)中人眼所看到的圖像。

ISP是一款“軟硬皆施”的芯片，需要配合專業(yè)算法處理傳感器數(shù)據(jù)，如線性糾正、噪點(diǎn)去除、壞點(diǎn)修補(bǔ)、顏色插值、白平衡校正、曝光校正等。通常，圖像數(shù)據(jù)從前端感知后，均須經(jīng)過(guò)ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像處理（Pre-ISP）與后端影像處理（Post-ISP）四個(gè)階段后，“完美”的圖像才能最終呈現(xiàn)于終端設(shè)備上。

成像框圖

對(duì)于3D視覺(jué)系統(tǒng)來(lái)講，如果說(shuō)圖像傳感器好比“眼睛”，那么ISP則是它的“大腦”。ISP主要作用如下：

1．拜耳轉(zhuǎn)換

圖像傳感器中的光電二極管本質(zhì)上是“色盲”，它們只能記錄不同的灰度信息。之所以能呈現(xiàn)出彩色圖片，那是因?yàn)椴煌募t、綠、藍(lán)三種顏色濾鏡——拜耳濾鏡將灰度信息轉(zhuǎn)換成彩色信息。由于每個(gè)光電二極管只記錄圖像的一個(gè)像素的顏色信息，像素點(diǎn)只可能有三種顏色：紅、綠、藍(lán)，或者什么也沒(méi)有（黑）。不同顏色的濾光點(diǎn)的排列是有規(guī)律的：每個(gè)綠點(diǎn)的四周，分布著2個(gè)紅點(diǎn)、2個(gè)藍(lán)點(diǎn)、4個(gè)綠點(diǎn)。這意味著，整體上，綠點(diǎn)的數(shù)量是其他兩種顏色點(diǎn)的兩倍。這是因?yàn)檠芯匡@示人眼對(duì)綠色最敏感，所以濾光層的綠點(diǎn)最多。然而，拜耳轉(zhuǎn)換過(guò)程相當(dāng)復(fù)雜，涉及到許多不同的操作。成像質(zhì)量在很大程度上取決于對(duì)圖像傳感器輸出原始數(shù)據(jù)處理的算法優(yōu)劣。

拜耳陣列

2．去馬賽克

如上所述，圖像處理器對(duì)顏色和亮度的賦予像素?cái)?shù)據(jù)，比較它們與相鄰像素的數(shù)據(jù)，然后采用插值算法計(jì)算出這個(gè)像素的顏色和亮度值。ISP對(duì)整個(gè)圖片評(píng)估，猜測(cè)對(duì)比度的正確分布。通過(guò)調(diào)整伽瑪值（提高或降低圖像的中間色調(diào)的對(duì)比度范圍）進(jìn)行色彩微調(diào)，如人體的皮膚和藍(lán)色的天空，使整個(gè)畫面與現(xiàn)實(shí)更為接近。

3．降噪

噪聲在任何電子線路普遍存在。在數(shù)碼攝影中，一幅流暢的彩色畫面出現(xiàn)的明顯突兀的色彩隨機(jī)斑點(diǎn)被視為噪聲。噪聲隨著溫度和曝光時(shí)間的增加而增多。當(dāng)選擇較高的ISO設(shè)置時(shí)，圖像傳感器中的電子信號(hào)被放大，同時(shí)增加噪聲電平，從而導(dǎo)致較低的信噪比。ISP從圖像信息中分離噪聲并去除它。但面臨的相當(dāng)大的挑戰(zhàn)是圖像中正常區(qū)域可能會(huì)被誤認(rèn)為是噪聲，導(dǎo)致畫面受損。

4．圖像銳化

當(dāng)每個(gè)像素的顏色和亮度值被插值時(shí)，圖像平滑會(huì)使圖像的邊界、輪廓變得模糊。為了增強(qiáng)圖像的灰度跳變，保持清晰度和細(xì)節(jié)完整性，圖像處理器必須銳化邊緣和輪廓。因此，它必須正確檢測(cè)邊緣，并順利地復(fù)制它們，而不過(guò)分銳化。

難以跨越的技術(shù)鴻溝

ISP技術(shù)壁壘高，要求專業(yè)算法層面的深層配合，兩者相輔相成，互為補(bǔ)充。ISP雖然可以對(duì)樣張的質(zhì)量進(jìn)行后期處理，但不同的芯片或者使用同一款芯片的不同產(chǎn)品在拍攝性能方面也存在明顯的差異，這是因?yàn)镮SP不僅僅有處理能力，還具有可編程性，經(jīng)過(guò)不同方式調(diào)試后的新算法會(huì)和集成原廠算法拉開(kāi)差距。

市面上絕大多數(shù)手機(jī)都集成了ISP芯片，部分產(chǎn)品則采用了獨(dú)立的ISP芯片，除了富士通為不少知名機(jī)型提供了獨(dú)立ISP之外，像蘋果這樣的廠商都是自己定制專屬于iPhone的ISP。高通驍龍820集成了Spectra ISP、聯(lián)發(fā)科的Helio P25內(nèi)置12位雙ISP支持，都融合了自家最前沿的ISP。但研發(fā)難度相當(dāng)大，財(cái)力消耗大，只有智能手機(jī)巨頭才有能力建立自己的ISP和專業(yè)的算法團(tuán)隊(duì)。而國(guó)內(nèi)的華為也投入9800萬(wàn)美金組建頂尖的專業(yè)團(tuán)隊(duì)，自主開(kāi)發(fā)并由海思半導(dǎo)體制造Hi3516首次搭載在華為Mate 8，開(kāi)啟宣告國(guó)產(chǎn)手機(jī)突出重圍。

高通的Spectra ISP擁有雙ISP

iPhone專屬定制的ISP

就芯片集成方式而言，將圖像傳感器和ISP通過(guò)封裝集成于一顆模組可以有效降低成本，而業(yè)界領(lǐng)頭羊索尼已經(jīng)將圖像傳感器和ISP直接集成于一顆芯片。2017年，索尼推出的CMOS圖像傳感器IMX400采用三層堆疊式結(jié)構(gòu)：頂層為CIS，中間層為DRAM，底層則是ISP。全新的三層芯片能夠在1/120秒內(nèi)讀取1930萬(wàn)像素圖片，是IMX318芯片的4倍。這減少了讀取每個(gè)像素行的時(shí)間間隔。這對(duì)于缺乏機(jī)械快門來(lái)控制曝光的智能手機(jī)尤其重要。

索尼CMOS圖像傳感器芯片IMX400的三層堆疊結(jié)構(gòu)

目前全球范圍內(nèi)主要被歐洲和日本巨頭所壟斷，如意法半導(dǎo)體、德州儀器、英飛凌、恩智浦、安霸、索尼、東芝、富士通等。而在國(guó)內(nèi)，北京君正、全志科技和瑞芯微借助前幾年平板電腦的爆發(fā)期也獲得快速成長(zhǎng)，此外還有一些新興的創(chuàng)業(yè)型公司，如興芯微。

應(yīng)用：始于工業(yè)，盛于消費(fèi)電子，走向人工智能

ISP的應(yīng)用領(lǐng)域涉及消費(fèi)電子、工業(yè)、安防、汽車、無(wú)人機(jī)、機(jī)器人等。其中，智能手機(jī)是目前ISP的主要應(yīng)用領(lǐng)域。近幾年智能手機(jī)廠商都在打攝像頭的牌，通過(guò)不斷改善拍照質(zhì)量來(lái)吸引消費(fèi)者的眼球。但是，沒(méi)有ISP與圖像傳感器、鏡頭等硬件的高度協(xié)同，不論是前置還是后置的雙攝像頭都僅僅是攝像頭性能參數(shù)的堆砌和噱頭。

當(dāng)前，人工智能已經(jīng)延伸至ISP領(lǐng)域。這點(diǎn)蘋果應(yīng)當(dāng)是布局已久，陸續(xù)收購(gòu)了四家機(jī)器學(xué)習(xí)公司，而機(jī)器學(xué)習(xí)正是人工智能的核心所在。iPhone 7 使用的新款I(lǐng)SP處理能力比之前版本了提高一倍，它可以通過(guò)特定的算法獲取拍攝對(duì)象的更多信息，并據(jù)此對(duì)成像進(jìn)行深度處理。在人工智能的驅(qū)動(dòng)下，通過(guò)機(jī)器學(xué)習(xí)技術(shù)檢測(cè)到目標(biāo)、設(shè)置曝光、焦距和白平衡。蘋果營(yíng)銷總監(jiān)Phil Schiller表示，這種通過(guò)人工智能驅(qū)動(dòng)的ISP能夠在25毫秒中進(jìn)行最多1000億次的操作，比原先快了60%。谷歌和微軟也在不斷渲染自己在人工智能上的技術(shù)儲(chǔ)備，三大IT巨頭相繼發(fā)力，可以預(yù)見(jiàn)，人工智能扮演的角色將越來(lái)越重要，相信更加智能的ISP已經(jīng)在路上。