dToF和iToF的成像原理

蘋果公司近期正式推出了新款iPad Pro，吸引了不少人的關(guān)注。在官方的宣傳標(biāo)語中，有一句話尤其引人關(guān)注，“它的Pro級攝像頭打通了真實和虛擬的交界”。

新款iPad Pro搭載的Pro級攝像頭不僅包含了全新的超廣角攝像頭，還包含了一款激光雷達(dá)掃描儀。該掃描儀利用dToF技術(shù)，結(jié)合運動傳感器和iPadOS內(nèi)的架構(gòu)，可以進(jìn)行深度測量，為增強(qiáng)現(xiàn)實及更廣泛的領(lǐng)域開啟無盡可能。

那么dToF是什么呢，它和我們之前市面上已有的iToF又有什么不同呢？

本文將會介紹dToF和iToF的成像原理，對比分析dToF和iToF兩者的差異性，帶領(lǐng)大家了解一下ToF領(lǐng)域。

一．TOF

首先，讓我們先來了解一下ToF的基本概念。

Time-of-Flight(ToF)，顧名思義，是一種利用光飛行時間的技術(shù)。接觸過3D視覺的讀者應(yīng)該知道，ToF和結(jié)構(gòu)光、雙目立體視覺是近年來三種主流的3D成像方式。ToF向場景中發(fā)射近紅外光，利用光的飛行時間信息，測量場景中物體的距離。ToF相比較另外兩種3D成像方式，深度信息計算量小，抗干擾性強(qiáng)，測量范圍遠(yuǎn)。種種優(yōu)勢推動了ToF在機(jī)器人、交互以及其他工業(yè)領(lǐng)域中的應(yīng)用。尤其是在移動端，已有多品牌手機(jī)，比如華為、OPPO、蘋果，將其用于手機(jī)后置攝像。

二．dTOF和iTOF

了解了ToF的概念之后，讓我們再來深入了解一下兩類ToF的基本成像原理，也就是文章標(biāo)題中提到的iToF和dToF。

dToF，全稱是direct Time-of-Flight。顧名思義，dToF直接測量飛行時間。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD和時間數(shù)字轉(zhuǎn)換器TDC。Single Photon Avalanche Diode(SPAD)是一種具有單光子探測能力的光電探測雪崩二極管，只要有微弱的光信號就能產(chǎn)生電流。dToF模組的VCSEL向場景中發(fā)射脈沖波，SPAD接收從目標(biāo)物體反射回來的脈沖波。Time Digital Converter(TDC)能夠記錄每次接收到的光信號的飛行時間，也就是發(fā)射脈沖和接收脈沖之間的時間間隔。dToF會在單幀測量時間內(nèi)發(fā)射和接收N次光信號，然后對記錄的N次飛行時間做直方圖統(tǒng)計，其中出現(xiàn)頻率最高的飛行時間t用來計算待測物體的深度。

圖1是dToF單個像素點記錄的光飛行時間直方圖，其中，高度最高的柱對應(yīng)的時間就是該像素點的最終光飛行時間。

dToF的原理看起來雖然很簡單，但是實際能達(dá)到較高的精度很困難。除了對時鐘同步有非常高的精度要求以外，還對脈沖信號的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而dToF中的核心組件SPAD由于制作工藝復(fù)雜，能勝任生產(chǎn)任務(wù)的廠家并不多，并且集成困難。所以目前研究dToF的廠家并不多，更多的是在研究和推動iToF。

iToF的概念和dToF相對應(yīng)，全稱是indirect Time-of-Flight，直譯就是間接光飛行時間。所謂間接，就是指iToF是通過測量相位偏移來間接測量光的飛行時間，而不是直接測量光飛行時間。

iToF向場景中發(fā)射調(diào)制后的紅外光信號，再由傳感器接收場景中待測物體反射回來的光信號，根據(jù)曝光（積分）時間內(nèi)的累計電荷計算發(fā)射信號和接收信號之間的相位差，從而獲取目標(biāo)物體的深度。如圖2所示。

圖2. iToF成像原理示意圖[1]

iToF模組的核心組件包含VCSEL和圖像傳感器。VCSEL發(fā)射特定頻率的調(diào)制紅外光。圖像傳感器在曝光（積分）時間內(nèi)接收反射光并進(jìn)行光電轉(zhuǎn)換。曝光（積分）結(jié)束后將數(shù)據(jù)讀出，經(jīng)過一個模擬數(shù)字轉(zhuǎn)換器再傳給計算單元，最終由計算單元計算每個像素的相位偏移。iToF計算深度的方式通常是采用4-sampling-bucket算法，利用4個相位延遲為0°，90°，180°和270°的采樣信號計算深度。如圖3所示

圖3. 連續(xù)波調(diào)制方式測相位偏移原理示意圖[2]

三．性能對比

dToF和iToF雖然都是利用光飛行時間技術(shù)，但是兩者在測距原理和硬件實現(xiàn)上都有差異。軟硬件的差異會導(dǎo)致這兩類ToF在各方面的性能表現(xiàn)上各有千秋。

衡量ToF的性能指標(biāo)，需要考慮幾個方面。因為ToF是一個可以測距的相機(jī)，作為一個測距設(shè)備，基本的評價指標(biāo)有測距精度和有效探測距離。其次，作為相機(jī)而言，圖像分辨率也是一個重要的評價指標(biāo)。此外，由于ToF本身只能提供3D信息，它將來更多的發(fā)展是集成到3D相關(guān)的應(yīng)用，比如3D建模、AR以及移動平臺。在集成到其他3D相關(guān)的應(yīng)用時，尤其是移動端和機(jī)器人平臺，必須要考慮它的能耗和成本，以及在各種復(fù)雜場景下的抗干擾能力。以上的這些特性，決定了dToF和iToF有著各自適用的應(yīng)用場景。

接下來，本文會從精度、有效探測距離、圖像分辨率、能耗、成本、抗干擾等7個方面，對比iToF和dToF的優(yōu)劣。

精度

總的來說，目前的iToF深度精度在 cm 級，并且隨著測量距離的增大，反射光的強(qiáng)度減小，相位測量的信噪比減小，絕對誤差也會隨之增大。

有效探測距離

有效探測距離指相機(jī)能夠輸出可靠深度的距離范圍，可靠深度意味著該深度值和真實值的誤差小于一定閾值。舉個簡單的例子，假設(shè)測量誤差在2cm以內(nèi)時，我們視作該深度值是可靠的。如果一個ToF模組測量5米的物體時，測量值是5.02米，誤差剛好達(dá)到了預(yù)先定義的極限。當(dāng)物體位于5.01米時，測量值是5.22米，誤差超出了2cm。我們就可以說該ToF模組的有效探測距離是5米。

當(dāng)然，限制ToF的有效探測距離的主要因素之一是相位模糊現(xiàn)象。

對于dToF而言，當(dāng)測量距離較遠(yuǎn)時，光飛行一個來回的時間超過了兩次連續(xù)發(fā)射脈沖的間隔，傳感器在發(fā)射第二個測量信號后，才接收到第一個測量信號的反射波，就會把該反射波錯認(rèn)為是第二個測量信號的近距離反射波，這時就會出現(xiàn)相位模糊現(xiàn)象。如圖4所示。圖4中case1表示的是近距離場景下dToF的測距原理圖，case2表示的是遠(yuǎn)距離場景下，發(fā)生相位模糊現(xiàn)象的測距原理圖。

§ dToF會受到測量頻率（相鄰兩次測量的間隔時間）限制，iToF的有效探測距離會受到調(diào)制光的頻率限制。dToF在測量遠(yuǎn)距離物體時，可以適當(dāng)增加兩次測量之間的間隔，減少測量次數(shù)。但是，減少測量次數(shù)會同時降低測量精度，相當(dāng)于是用精度換取有效探測距離。而iToF也可以通過降低調(diào)制光的頻率，從而犧牲一定的測量精度以獲得更遠(yuǎn)的有效探測距離。
對于iToF而言，可以利用雙頻解決相位模糊現(xiàn)象。利用兩個不同頻率的測量數(shù)據(jù)去求解相位模糊度，從而恢復(fù)正確深度值。借助雙頻測量可以同時實現(xiàn)高精度測量和高有效探測距離。

能耗

從發(fā)射信號來看， dToF則采用 級的脈沖激光，iToF目前大多采用連續(xù)波調(diào)制。相比較而言，脈沖波能夠達(dá)到超低占空比，所以功耗也較低。

從光照模式來看，由于dToF的測量精度不會隨著測量距離的增大而降低，所以功耗也會相對較低。反之，iToF目前采用的大多是面光發(fā)射方式。并且，隨著測量距離的增大，iToF需要提高光照功率或者延長曝光時間來獲取更高的精度，所需的功耗也會大幅增加。

成本

dToF采用的是數(shù)字電路架構(gòu)，不需要模數(shù)轉(zhuǎn)換。iToF采用的是模擬電路結(jié)構(gòu)，需要模數(shù)轉(zhuǎn)換芯片。

對于整體的硬件架構(gòu)而言，dToF的核心組件SPAD的制作工藝復(fù)雜，現(xiàn)有的資源少。iToF沒有這方面的顧慮。

在系統(tǒng)集成方面， dToF還需要額外的時間處理電路，系統(tǒng)集成難度較高。iToF的系統(tǒng)集成容易，不需要額外的測量電路。

抗環(huán)境干擾

環(huán)境干擾包括場景中環(huán)境光干擾、多路徑反射光干擾以及不同表面灰度等影響。這一類環(huán)境干擾發(fā)生在外界，和ToF本身的關(guān)系不大，環(huán)境干擾的差異主要是由不同ToF的測距原理引起的。

dToF單幀深度圖獲取時，會經(jīng)歷多次重復(fù)測量，并且采用時間直方圖統(tǒng)計的方式計算飛行時間，比較容易區(qū)分信號中的干擾成分?？弓h(huán)境干擾能力更強(qiáng)。

iToF在曝光階段，部分環(huán)境光混雜在調(diào)制光中被傳感器接收，然后計算相位偏移。無法從單次測量的結(jié)果中區(qū)分出環(huán)境光引起的干擾。環(huán)境光越強(qiáng)，相應(yīng)的，引起的深度誤差也越大。

應(yīng)用場景

dToF功耗低，并且體積小巧，更加適合工業(yè)機(jī)器人等需快速進(jìn)行測距避障檢測的應(yīng)用，以及其他在空間受限的緊湊型設(shè)計中。

dToF抗環(huán)境干擾表現(xiàn)比較好，目前在戶外場景下的測距精度比iToF更加高，在戶外應(yīng)用場景中也比較占優(yōu)。

dToF的時間分辨率高，測量距離增大時精度不會大幅衰減，能耗也不會大幅提升，在AR應(yīng)用中的優(yōu)勢也比較顯著。

iToF的圖像分辨率較高，在物體識別，3D重建以及行為分析等應(yīng)用場景中能夠重現(xiàn)場景中更多的細(xì)節(jié)信息，在機(jī)器人、新零售等應(yīng)用領(lǐng)域占優(yōu)。

dToF和iToF兩者的目標(biāo)都是輸出一幅高質(zhì)量的深度圖像，所以兩者都需要深度數(shù)據(jù)層面的濾波和噪聲修正，比如空域濾波、點云域的噪聲濾波以及非一致性像素校準(zhǔn)等。此外，兩者都擁有透鏡成像系統(tǒng)，所以無論是dToF還是iToF，都需要透鏡失真補(bǔ)償。硬件的溫度變化帶來的噪聲也同時存在于兩種ToF中，所以溫度補(bǔ)償也是兩者所必需的。

dToF是發(fā)射脈沖波，而不是特定頻率的調(diào)制波，所以dToF不需要做和調(diào)制光的頻率相關(guān)的處理，包括頻率校準(zhǔn)、自動頻率選擇、高動態(tài)范圍（HDR）。但是dToF的發(fā)射脈沖也有一定的頻率，即相鄰兩個發(fā)射脈沖之間的時間間隔，dToF的頻率校準(zhǔn)和發(fā)射脈沖的頻率相關(guān)。dToF僅僅輸出深度圖，而iToF同時輸出深度圖和幅值圖，所以dToF不需要做幅值校準(zhǔn)。

此外，由場景干擾引起的多徑、相位模糊、運動模糊、內(nèi)反射等都是兩者所共有的問題，雖然dToF因為成像原理的特性具有更好的抗環(huán)境干擾能力，但是還是會受到這一類場景干擾的影響。不過不同的是，因為dToF和iToF的成像原理不同，兩者所需要的深度修正方式也會有所差異。

dToF和iToF兩者因為測距原理和硬件架構(gòu)的不同，各方面的性能互有優(yōu)劣，適用場景也不盡相同。兩者均面臨場景的適應(yīng)性，如何在任意場景下獲取可靠和準(zhǔn)確的深度數(shù)據(jù)是非常大的技術(shù)挑戰(zhàn)，是ToF技術(shù)普及的關(guān)鍵。ToF應(yīng)用技術(shù)的普及有賴于3D ISP增強(qiáng)引擎來消除干擾，降低功耗，提高實時性能；需要面向3D行業(yè)的ISP IP及中間件，有力支撐上層應(yīng)用。所以說3D ISP是3D成像市場爆發(fā)的必要條件。數(shù)跡智能團(tuán)隊正在研發(fā)3D ToF ISP Smart3D-ISP，以ISP技術(shù)為核心系統(tǒng)性地提升無論是dToF還是iToF的性能并降低功耗和成本是多年來的研發(fā)目標(biāo)，將我們的3D ToF技術(shù)植入每部手機(jī)、每輛汽車、每個機(jī)器人、每臺家電，從而改變機(jī)器對世界的“看法”，實現(xiàn)深度的智能。

審核編輯 ：李倩