ADI和Microsoft為3D成像啟用飛行時(shí)間技術(shù)

Analog Devices （ADI） 和 Microsoft 聯(lián)手生產(chǎn)飛行時(shí)間 （ToF） 3D 成像解決方案，目標(biāo)是在任何場(chǎng)景條件下都提供更高的精度。ADI 將利用 Microsoft 的 Azure Kinect 3D ToF 技術(shù)并添加其技術(shù) IC 和系統(tǒng)專業(yè)知識(shí)，以創(chuàng)建更易于采用的解決方案。目標(biāo)是在工業(yè) 4.0、汽車、游戲、增強(qiáng)現(xiàn)實(shí)以及計(jì)算攝影和攝像等領(lǐng)域覆蓋廣泛的受眾 。

行業(yè)市場(chǎng)分析師估計(jì)，在具有挑戰(zhàn)性的環(huán)境中使用的 3D 成像系統(tǒng)將出現(xiàn)強(qiáng)勁增長，并且需要人類協(xié)作機(jī)器人、房間映射和庫存管理系統(tǒng)等尖端應(yīng)用來實(shí)現(xiàn)工業(yè) 4.0。 還需要ToF 應(yīng)用 來創(chuàng)建具有占用檢測(cè)和駕駛員監(jiān)控功能的更安全的汽車駕駛環(huán)境。

在接受 EE Times 采訪時(shí)，增強(qiáng)成像和解釋高級(jí)總監(jiān) Tony Zarola 和 ADI 公司戰(zhàn)略營銷經(jīng)理 Carlos Calvo 強(qiáng)調(diào)了此次合作的基礎(chǔ)。 Zarola 表示：“微軟已成為圖像傳感器制造商 3D ToF 性能的基準(zhǔn)，并為 ADI 提供核心像素技術(shù)，這是 ADI 正在構(gòu)建的傳感器和解決方案的基礎(chǔ)。幾十年來，他們開發(fā)了在智能邊緣或智能云上運(yùn)行的最佳數(shù)據(jù)捕獲和革命性算法所需的專業(yè)知識(shí)。我們期待結(jié)合微軟和 ADI 在芯片、系統(tǒng)、軟件和光學(xué)方面的最佳能力?！?/p>

3D ToF 設(shè)計(jì)

手勢(shì)識(shí)別是設(shè)備識(shí)別人體一系列動(dòng)作的能力。電子技術(shù)基于相機(jī)和 IC 的幫助，用于識(shí)別和掃描 2D 或 3D 輪廓中的場(chǎng)景。ToF 技術(shù)包括向目標(biāo)發(fā)送激光束并分析信號(hào)的反射。

3D ToF是一種沒有掃描儀的光探測(cè)和測(cè)距 （LiDAR），它使用納秒級(jí)的高功率光脈沖從場(chǎng)景中捕獲深度信息（通常是短距離）。各種 IC 解決方案在手勢(shì)識(shí)別軟件算法的幫助下，創(chuàng)建接收到的圖像的深度圖，實(shí)時(shí)響應(yīng)身體運(yùn)動(dòng)。手勢(shì)識(shí)別技術(shù)的主要優(yōu)點(diǎn)是個(gè)人和控制系統(tǒng)之間不需要物理接觸。

ToF 相機(jī)通過調(diào)制激光照射物體和激光波長敏感傳感器來捕獲反射光，從而測(cè)量距離。傳感器測(cè)量從光發(fā)射到相機(jī)接收到反射光之間的時(shí)間延遲。有幾種測(cè)量時(shí)間延遲的方法，其中兩種已經(jīng)很常見：連續(xù)波 （CW） 方法和脈沖方法。絕大多數(shù) ToF 傳感器是 CW 并使用 CMOS 傳感器。

有許多混雜因素使 ToF 測(cè)量變得困難：干擾環(huán)境光、由場(chǎng)景中物體反射的光導(dǎo)致的多路徑效應(yīng)破壞真實(shí)距離、溫度效應(yīng)和范圍模糊?！疤魬?zhàn)的范圍從硅片開發(fā)到創(chuàng)建一個(gè)完整的系統(tǒng)，該系統(tǒng)的性能與部件的理論總和一致，”Calvo 說?！肮铝⒌乜创總€(gè)組件是不可能的。例如，具有最佳傳感器但配備未優(yōu)化鏡頭的 ToF 相機(jī)的整體系統(tǒng)性能會(huì)很差。

“從表面上看，ToF 相機(jī)與 RGB 相機(jī)有相似之處，”他補(bǔ)充道?！耙粋€(gè)關(guān)鍵的區(qū)別是，根據(jù)應(yīng)用程序，RGB 相機(jī)的圖像質(zhì)量是以一定程度的主觀性來判斷的；其他應(yīng)用程序只能通過高級(jí)后處理啟用。ToF 相機(jī)測(cè)量一個(gè)客觀的物理量（距離），根據(jù)應(yīng)用，用戶可能會(huì)嚴(yán)重依賴圖像的準(zhǔn)確性。RGB 相機(jī)中的一些光學(xué)缺陷（例如鏡頭眩光）會(huì)產(chǎn)生有時(shí)被認(rèn)為是藝術(shù)性的偽影（例如，陽光眩光）。在 ToF 系統(tǒng)中，鏡頭光暈即使沒有大幅減少，也會(huì)在物體強(qiáng)烈反射的情況下削弱整個(gè)系統(tǒng)的性能?！?/p>

用于 ToF 的 CMOS 傳感器由發(fā)射器和接收器組成；它能夠以接近 160 fps 的性能以單像素級(jí)別計(jì)算對(duì)象的距離。

“在芯片級(jí)別，必須考慮信號(hào)鏈的關(guān)鍵元素：激光驅(qū)動(dòng)器、集成讀出的 ToF 圖像傳感器，最后是深度計(jì)算引擎，”Calvo 說?！疤魬?zhàn)始于在圖像傳感器本身中設(shè)計(jì)具有高響應(yīng)度和高調(diào)制對(duì)比度的像素，并以形成可由下一個(gè)應(yīng)用層解釋的 3D 點(diǎn)云結(jié)束。

“除了組件之外，深度相機(jī)的設(shè)計(jì)和生產(chǎn)還面臨著關(guān)鍵挑戰(zhàn)，因?yàn)楣鈾C(jī)設(shè)計(jì)、校準(zhǔn)、電氣設(shè)計(jì)和軟件實(shí)施都非常耗時(shí)且具有挑戰(zhàn)性，”他補(bǔ)充道?！癆nalog Devices 為我們的客戶應(yīng)對(duì)這些挑戰(zhàn)，以簡化他們的設(shè)計(jì)流程?！?/p>

圖 1：ToF 框圖。

像素從場(chǎng)景的不同部分收集光，它們的重組將構(gòu)成重建圖像。所有傳感器像素都由解調(diào)和調(diào)制塊之間的相關(guān)性控制。每個(gè)像素都可以用圖 2所示的模型來近似。

通過激活相關(guān)控制信號(hào)，電流在積分時(shí)間內(nèi)被引導(dǎo)至節(jié)點(diǎn) A （Da） 或節(jié)點(diǎn) B （Db）。在解調(diào)停止的情況下進(jìn)行讀取，以便系統(tǒng)可以讀取整個(gè)位序列。ClkA 和 ClkB 在時(shí)間 tInt1 以選定的調(diào)制頻率進(jìn)行 180° 異相調(diào)制。接收到的關(guān)于 ClkA 和 CLkB 時(shí)鐘的光的相位決定了 DA 和 DB 信號(hào)。在積分結(jié)束時(shí)，ClkA 和 ClkB 關(guān)閉，讀取階段通過對(duì)積分信號(hào) （BitlineAInt1-BitlineBInt1） 進(jìn)行采樣來進(jìn)行。

光子到電流的轉(zhuǎn)換受泊松分布的量子過程控制。讓我們了解系統(tǒng)優(yōu)劣的參數(shù)是量子效率。也就是說，產(chǎn)生的電子數(shù)量與激活相應(yīng)像素的光子數(shù)量之間的比率。電子的數(shù)量取決于實(shí)際調(diào)制的光和對(duì)應(yīng)于噪聲效應(yīng)的環(huán)境光。設(shè)計(jì) ToF 系統(tǒng)時(shí)要選擇的參數(shù)是視野 （FoV）。必須根據(jù)場(chǎng)景的覆蓋范圍適當(dāng)?shù)剡x擇FOV。

圖 2：像素的電路和時(shí)序。

為了在高頻下實(shí)現(xiàn)高效率，可以使用 0.13-μm 混合信號(hào)低功耗 CMOS 工藝制造芯片，并稍作修改，以支持高效的 ToF 操作。

ADI 和微軟

微軟與 ADI 的合作旨在增強(qiáng) ToF 技術(shù)：ADI 正在設(shè)計(jì)一系列新的 ToF 3D 圖像傳感器，該傳感器將提供小于 1 毫米的精度，并將與微軟的深度、智能的雷德蒙德巨頭生態(tài)系統(tǒng)兼容。云和智能邊緣平臺(tái)。

“我們堅(jiān)信這種合作將影響所有主要行業(yè)——消費(fèi)、工業(yè)、醫(yī)療保健和汽車，”Zarola 說。“到目前為止，微軟開發(fā)的技術(shù)還沒有廣泛用于規(guī)?；纳虡I(yè)應(yīng)用程序。我們相信，由微軟成像技術(shù)提供支持的 ADI 解決方案將全面改變游戲規(guī)則?！?/p>

安全系統(tǒng)在增強(qiáng)面部識(shí)別方面有著明顯的應(yīng)用，同時(shí)為更高效的工廠自動(dòng)化采取了先進(jìn)的安全措施。工業(yè) 4.0 將通過協(xié)作機(jī)器人與人類一起安全地工作，而不會(huì)在“無人”區(qū)域被隔離，并且通過 ToF 精度來確定箱子和托盤尺寸的進(jìn)一步優(yōu)化物流。

Zarola 補(bǔ)充說：“更復(fù)雜的占用檢測(cè)將提高能源效率、安全系統(tǒng)和人機(jī)交互。從家庭到汽車，我們與微軟的 ToF 合作將為新的游戲體驗(yàn)提供在現(xiàn)實(shí)世界中放置虛擬對(duì)象并與之交互的能力，改變我們與汽車的交互方式，并通過監(jiān)控駕駛員和乘客來提高安全性。ToF 技術(shù)的潛在用例廣泛且不斷發(fā)展，因此今天的主要應(yīng)用預(yù)計(jì)將在明天被新想法所取代?！?/p>

Zarola 和 Calvo 已經(jīng)表明他們的客戶希望在很寬的溫度范圍內(nèi)實(shí)現(xiàn)毫米級(jí)深度分辨率和精細(xì)的空間分辨率。實(shí)現(xiàn)這種性能需要在硬件和軟件層面實(shí)現(xiàn)極端水平的時(shí)間同步?！翱刂萍す馄鞯男盘?hào)和傳感器中的像素之間 10 ps 的時(shí)序錯(cuò)位會(huì)導(dǎo)致最終距離估計(jì)出現(xiàn) 1.5 毫米的誤差，”Calvo 說。“如果這還不夠困難，還需要在很寬的溫度范圍內(nèi)保持 ToF 系統(tǒng)準(zhǔn)確，這需要聯(lián)合設(shè)計(jì)的高級(jí)處理和校準(zhǔn)算法。”

對(duì) ToF 系統(tǒng)的一個(gè)具體批評(píng)是它們可以運(yùn)行的調(diào)制頻率以及 ADI 最集中的位置。大多數(shù)深度估計(jì)誤差的來源往往被調(diào)制頻率“劃分”?！拔覀兊哪繕?biāo)是提高 ToF 系統(tǒng)的平均調(diào)制頻率，這將允許以更低的深度噪聲進(jìn)行測(cè)量，并減少多路徑或環(huán)境光散粒噪聲的不利影響，”Zarola 說?！癆DI 還在尋求解決使深度相機(jī)的設(shè)計(jì)和生產(chǎn)既耗時(shí)又困難的關(guān)鍵挑戰(zhàn)。我們正在處理機(jī)械對(duì)準(zhǔn)、光學(xué)設(shè)計(jì)、校準(zhǔn)、電氣設(shè)計(jì)和軟件實(shí)施以及圖像捕獲中的傳統(tǒng)障礙?！?/p>

微軟在 HoloLens 混合現(xiàn)實(shí)設(shè)備中使用的 ToF 3D 技術(shù)和 Azure Kinect 開發(fā)套件與 ADI 的定制解決方案相結(jié)合，將使新一代高性能應(yīng)用程序得以實(shí)施和擴(kuò)展，同時(shí)優(yōu)化上市時(shí)間。

審核編輯：郭婷