3D視覺(jué)感知底層技術(shù)與產(chǎn)業(yè)應(yīng)用

奧比中光是一家專門做3D視覺(jué)感知技術(shù)的公司。我們?yōu)槭裁匆鋈S相關(guān)的東西？其實(shí)還是應(yīng)用驅(qū)動(dòng)。三維相關(guān)的應(yīng)用變多了，如智能檢測(cè)識(shí)別、6DoF定位、機(jī)器人SLAM等，而原來(lái)的2D信息則越來(lái)越不夠用。

為什么需要三維感知技術(shù)？

實(shí)際上，三維感知技術(shù)的種類還是蠻多的。今天我想講的，主要還是偏重于非接觸式的三維感知技術(shù)。而即使是非接觸式的三維感知，依然有很多分支，有光學(xué)的，還有非光學(xué)的，像超聲、毫米波等。

奧比中光關(guān)注的還是光學(xué)方面。從光學(xué)測(cè)量系統(tǒng)來(lái)看，又分為透射式、反射式。透射式一般測(cè)什么？測(cè)一些透明材質(zhì)物體（如玻璃），往往是用透射式的。我們常見(jiàn)的一般是反射式：光在發(fā)出之后通過(guò)物體表面反射回來(lái)，然后被傳感器接收到，利用這個(gè)信息來(lái)計(jì)算深度。

反射式又可以分主動(dòng)和被動(dòng)。主動(dòng)是指它會(huì)投射一些特定的光或光斑，從而實(shí)現(xiàn)三維恢復(fù)。我在圖中列了幾種常見(jiàn)的方法，其實(shí)光學(xué)測(cè)量的范疇很大，還不限于這幾類。被動(dòng)也很多技術(shù)路線。人的眼睛其實(shí)就是一個(gè)被動(dòng)雙目，像SFM、SFX、攝影測(cè)量等，則是利用Motion、shading等多種約束去解算。

今天，我主要想和大家分享下奧比中光的主動(dòng)結(jié)構(gòu)光、主動(dòng)被動(dòng)雙目及ToF技術(shù)。

結(jié)構(gòu)光的前世今生

結(jié)構(gòu)光的歷史其實(shí)很早。20年前，研究人員就能用條紋結(jié)構(gòu)光重建出人臉模型，只是計(jì)算和建模過(guò)程比較緩慢。即使到了現(xiàn)在，結(jié)構(gòu)光的概念還是比較寬泛的。

我想重點(diǎn)介紹的Kinect，大家可能已經(jīng)比較清楚了。Kinect應(yīng)該是第一個(gè)消費(fèi)級(jí)的Depth-Camera，而且銷量也蠻大，有超過(guò)3000萬(wàn)套。而真正為Kinect提供技術(shù)的公司，其實(shí)是以色列的PrimeSense。這家2007年成立的公司專注于研發(fā)實(shí)時(shí)結(jié)構(gòu)光技術(shù)，并在2009年與微軟一起發(fā)布了Kinect，可以和Xbox配合做體感游戲。Kinect深刻影響了企業(yè)界和學(xué)術(shù)界，大家那時(shí)發(fā)現(xiàn)，1000塊錢左右就能得到一個(gè)深度相機(jī)，還是很不可思議的。

奧比中光在2013年成立，在2015年就推出了我們第一套結(jié)構(gòu)光傳感器。為了推廣方面的需求，我們做了兼容，盡量與Kinect的數(shù)據(jù)協(xié)議保持一致。實(shí)際上，我們的傳感器能輸出的分辨率還可以更高。

PrimeSense后來(lái)被蘋果收購(gòu)。蘋果在2017年9月推出iPhone X，帶著結(jié)構(gòu)光“劉?！?，這也是蘋果第一款帶3D相機(jī)的手機(jī)，可以用來(lái)刷臉解鎖、刷臉支付。

在安卓陣營(yíng)里，奧比中光與OPPO合作，推出了第一款帶3D攝像頭的安卓手機(jī)。其實(shí)，我們?cè)?017年初就可以把3D結(jié)構(gòu)光方案做進(jìn)手機(jī)，只是廠商當(dāng)時(shí)不理解3D應(yīng)用的價(jià)值，直到iPhone X的發(fā)布引爆了行業(yè)。

在2018年下半年，我們又在結(jié)構(gòu)光的產(chǎn)業(yè)化應(yīng)用上邁出了一大步，把結(jié)構(gòu)光大規(guī)模地用在線下刷臉支付設(shè)備中。

實(shí)時(shí)結(jié)構(gòu)光的原理其實(shí)不難。把激光散斑投射到物體上，形成散斑圖，然后在特定的平面上采集一幀參考圖像。利用這個(gè)散斑圖，跟參考圖上的散斑做匹配，找到對(duì)應(yīng)的視差，然后計(jì)算它Z方向的信息。

結(jié)構(gòu)光跟雙目有一定接近的地方，不過(guò)結(jié)構(gòu)光只有一個(gè)相機(jī)。如果把結(jié)構(gòu)光相機(jī)中的激光投影模塊看成一個(gè)倒置的相機(jī)，其實(shí)就很接近雙目技術(shù)。

結(jié)構(gòu)光的核心在于做匹配，計(jì)算量很大。即使是算一個(gè)像素，一個(gè)block，也要算很多次。計(jì)算100萬(wàn)像素的話，數(shù)據(jù)量就非常巨大。所以，實(shí)現(xiàn)這個(gè)過(guò)程，需要自己做芯片。

到現(xiàn)在為止，奧比中光已經(jīng)自研了四代結(jié)構(gòu)光芯片。因?yàn)榻Y(jié)構(gòu)光計(jì)算量大，集成到芯片上，可以把算力、成本、功耗都平衡到可以大規(guī)模生產(chǎn)的地步。

主動(dòng)被動(dòng)融合的奧比中光雙目技術(shù)

再來(lái)講講雙目。奧比中光在雙目上做了什么呢？

我們做了主動(dòng)被動(dòng)融合的雙目模式。在幾米之內(nèi)的近距離時(shí)，采用主動(dòng)增加散斑紋理，得到更好的精度；在遠(yuǎn)距離時(shí)，因?yàn)橹鲃?dòng)投射沒(méi)有任何意義，就會(huì)變成被動(dòng)雙目。

同學(xué)們可能知道，這時(shí)候圖像容易出現(xiàn)抖動(dòng)的情況。怎么辦呢？奧比中光開(kāi)始采用深度學(xué)習(xí)的方式，用深度學(xué)習(xí)模型來(lái)學(xué)習(xí)圖像的特征，然后做特征匹配，效果比傳統(tǒng)方法好很多。

雙目芯片這塊，我們也在做芯片設(shè)計(jì)。因?yàn)殡p目的計(jì)算量與結(jié)構(gòu)光一樣，都非常巨大。奧比中光原來(lái)已有的兩款結(jié)構(gòu)光芯片MX6000和MX6600，其實(shí)也兼容雙目。之后，我們還會(huì)再專門做一款AIOT芯片，我們叫它Venus，結(jié)合了雙目和iToF的處理。

iToF與dToF：自研Sensor是核心壁壘

奧比中光也在投入iToF Sensor，預(yù)計(jì)今年7月份能夠量產(chǎn)。這個(gè)項(xiàng)目從開(kāi)始到現(xiàn)在已經(jīng)做了快三年，用的時(shí)間還蠻長(zhǎng)的。值得一提的是，我們目前正在和微軟一起合作，開(kāi)發(fā)在Azure云計(jì)算平臺(tái)上使用的iToF相機(jī)。

iToF發(fā)展簡(jiǎn)史

簡(jiǎn)單介紹下iToF的原理。iToF的原理是發(fā)射脈沖，再接受脈沖，最終利用相位差計(jì)算深度。一個(gè)不需要高精度的iToF測(cè)量其實(shí)很簡(jiǎn)單，但如果想把一個(gè)系統(tǒng)做得很精確，需要大量的標(biāo)定工作。因?yàn)榘l(fā)射的脈沖跟理想的正弦信號(hào)還差很多，這塊需要標(biāo)定。

iToF系統(tǒng)濾波算法

而iToF系統(tǒng)標(biāo)定這塊，主要有四個(gè)方面：

全局偏差標(biāo)定與補(bǔ)償：全局偏差相當(dāng)于整個(gè)系統(tǒng)的系系統(tǒng)誤差，通過(guò)對(duì)全局偏差的處理，使測(cè)量數(shù)據(jù)歸一化。

wiggling標(biāo)定：主要解決調(diào)制信號(hào)與理想信號(hào)存在的周期性差異，因此，在標(biāo)定時(shí)需要確保完成對(duì)一個(gè)調(diào)制周期的標(biāo)定補(bǔ)償。

FPPN標(biāo)定：FPPN噪聲是與像素點(diǎn)相關(guān)的固定偏置噪聲，因此，可以在某一位置上計(jì)算固定偏置的相位。然后在計(jì)算深度時(shí)加上這一個(gè)固定的偏置相位即可。

溫漂標(biāo)定：溫度會(huì)改變深度偏移，因?yàn)榧す庹{(diào)制和傳感器中的延遲時(shí)間解調(diào)會(huì)隨溫度變化。因此，補(bǔ)償隨溫度變化漂移時(shí)，應(yīng)根據(jù)傳感器和激光驅(qū)動(dòng)器中的溫度應(yīng)用于原始距離。

給大家再介紹下奧比中光自研iToF傳感器PLECO。PLECO采用背照和堆疊工藝設(shè)計(jì)，像素層和邏輯層采用65nm工藝，尺寸做得更小。聽(tīng)說(shuō)索尼下一代將采用背照和堆疊工藝來(lái)做iToF傳感器，實(shí)際上奧比中光在這上面已經(jīng)做了三年了。

奧比中光iToF開(kāi)發(fā)時(shí)間線

講完iToF，再講講dToF。蘋果在iPhone12系列上裝的Lidar其實(shí)就是dToF。dToF跟iToF原理上唯一的差別就在于，dToF是測(cè)量時(shí)間差，發(fā)射出去脈沖跟接收的脈沖中間有一個(gè)時(shí)間差。不過(guò)，對(duì)這個(gè)時(shí)間差的測(cè)量精度要求非常高。

dToF最關(guān)鍵的部件是接收端的Sensor。dToF Sensor的發(fā)展也有一個(gè)趨勢(shì)，最早基本都在用APD (Avalanche Photo Diode)，后來(lái)發(fā)展成SPAD（Single Photon Avalanche Diode），即單光子雪崩二極管，只進(jìn)去一個(gè)光子也會(huì)觸發(fā)它的雪崩。再后來(lái)，則會(huì)走向SPAD Array的路線。而dToF技術(shù)的核心壁壘，也在于Sensor。

主流3D視覺(jué)感知技術(shù)，各有千秋

3D視覺(jué)感知技術(shù)各有特色，我們是全球少數(shù)全面布局結(jié)構(gòu)光、雙目、iToF、dToF、激光雷達(dá)等主流3D視覺(jué)感知技術(shù)的公司。我這里并沒(méi)有給出哪種技術(shù)它的精度到底好還是不好，而是給了一些跟誤差相關(guān)的參數(shù)。

主流3D視覺(jué)感知技術(shù)對(duì)比

像結(jié)構(gòu)光和雙目，它的誤差聯(lián)系最緊密的就是測(cè)量距離和焦距，可以看出它的誤差是隨著距離成平方關(guān)系的。iToF基本跟距離成線性關(guān)系，dToF幾乎就是一個(gè)常量，整體精度不隨距離的變化而變化，當(dāng)然，dToF測(cè)量結(jié)果跟時(shí)間的精度關(guān)系很大。

3D視覺(jué)感知技術(shù)本身沒(méi)有“好”與“壞”之分，而是分別適合于不同的應(yīng)用場(chǎng)景。我認(rèn)為幾種技術(shù)之間，是一種優(yōu)勢(shì)互補(bǔ)、長(zhǎng)期并存的狀態(tài)。

3D視覺(jué)感知技術(shù)是趨勢(shì)，大規(guī)模產(chǎn)業(yè)化正當(dāng)其時(shí)

我再分享幾個(gè)典型的應(yīng)用場(chǎng)景。整體來(lái)說(shuō)，結(jié)構(gòu)光的優(yōu)勢(shì)還是近距離感測(cè)，雙目的好處就在于它可近可遠(yuǎn)。iToF在0.1到5米范圍內(nèi)，dToF可以到幾百米，車載激光雷達(dá)的原理就是dToF。

奧比中光一直在做3D視覺(jué)感知技術(shù)，把這幾種技術(shù)從底層Sensor、芯片設(shè)計(jì)到光學(xué)、算法以及整體系統(tǒng)優(yōu)化，都做了全方位深耕。我們?yōu)槭裁匆@么做？舉個(gè)簡(jiǎn)單的例子，如果企業(yè)核心的Sensor是買來(lái)的，那么做很多應(yīng)用都會(huì)被局限住，就容易在一些關(guān)鍵領(lǐng)域被卡脖子。

奧比中光做了很多3D視覺(jué)感知模組，這些模組可以應(yīng)用到的場(chǎng)景也很多，如手機(jī)前置、后置攝像頭，線下刷臉支付，汽車激光雷達(dá)、車內(nèi)安防，智能門鎖，AR/VR，機(jī)器人，智慧畜牧，工業(yè)三維檢測(cè)等等。

奧比中光智能制造行業(yè)解決方案

當(dāng)前，3D視覺(jué)感知技術(shù)已經(jīng)在多個(gè)領(lǐng)域崛起，并且在迅速擴(kuò)大應(yīng)用規(guī)模。與此同時(shí)，我們也能看到光學(xué)產(chǎn)業(yè)已經(jīng)在向亞洲乃至轉(zhuǎn)移——從20世紀(jì)中葉前歐洲國(guó)家（德國(guó)為主）獨(dú)占鰲頭，到1950年日本光學(xué)產(chǎn)業(yè)高速起飛而后制霸全球，從21世紀(jì)初期臺(tái)灣光學(xué)產(chǎn)業(yè)在智能手機(jī)鏡頭帶動(dòng)下崛起，到近年來(lái)大陸光學(xué)產(chǎn)業(yè)科創(chuàng)新秀涌現(xiàn)、大規(guī)模應(yīng)用落地，中國(guó)有望在3D感知技術(shù)產(chǎn)業(yè)實(shí)現(xiàn)彎道超車。

我們捕捉到了3D視覺(jué)感知技術(shù)在物聯(lián)網(wǎng)時(shí)代的應(yīng)用浪潮，并大力發(fā)展底層核心技術(shù)和下游應(yīng)用生態(tài)。

我希望，中國(guó)能夠在高端基礎(chǔ)組件(比如Sensor、算法芯片、硅光技術(shù)等)上，有自己的持續(xù)研發(fā)和生產(chǎn)能力，培養(yǎng)更多人才，不被“卡脖子”

審核編輯 ：李倩