成像對(duì)于許多機(jī)器人應(yīng)用至關(guān)重要,能讓機(jī)器人執(zhí)行基本任務(wù),躲避障礙物,進(jìn)行導(dǎo)航以及確保基本安全。 顯然,提供成像的方式是采用低成本視頻攝像頭,或者再好點(diǎn),使用兩個(gè)攝像頭實(shí)現(xiàn)立體視野和深度感知。 但后者存在一些缺點(diǎn)。
使用雙攝像頭實(shí)現(xiàn)三維成像會(huì)增加功耗和空間需求,同時(shí)也會(huì)使外形尺寸和制造工藝變得復(fù)雜,并且增加成本。 由于三維成像是從基本“協(xié)助”單元到自主駕駛車輛應(yīng)用的主流,因此設(shè)計(jì)人員需要比簡(jiǎn)單添加更多攝像頭更好的替代方案。
為此,設(shè)計(jì)人員正在越來越多地使用替代方案,這些方案在封裝、成本、功耗、數(shù)據(jù)縮減和整體性能方面存在優(yōu)勢(shì)。 這些替代方案中就有飛行時(shí)間 (ToF) 成像系統(tǒng)(通常又稱為光探測(cè)和測(cè)距,或稱作 LIDAR)。 這些成像系統(tǒng)可采用紅外 (IR) 成像(通常稱為熱成像)作為輔助手段。
從 IR 談起
紅外電磁波的波長(zhǎng)比可見光譜紅端的電磁波更長(zhǎng);IR 波段的波長(zhǎng)通常被認(rèn)為在 700 nm (0.7 μm) 到 1 mm (1000 μm) 之間。 簡(jiǎn)單的說,這些波長(zhǎng)表示物體的熱輻射。 通過恰當(dāng)?shù)?IR 成像系統(tǒng),此 IR“熱圖”被轉(zhuǎn)換為可見光圖像,通常含有添加的偽色,以突出相對(duì)溫度(圖 1)。
圖 1:水從水龍頭進(jìn)入浴缸時(shí)的紅外圖像;注意,為更好地顯示溫差而使用了“偽色”。 (感謝 FLIR Systems, Inc. 提供圖片)
注意,該 IR 成像不同于 IR 傳感。 感測(cè)是一種用于檢測(cè),或者甚至是測(cè)量熱源的非接觸方法,例如人員經(jīng)過作為報(bào)警系統(tǒng)一部分的被動(dòng)紅外 (PIR) 傳感器,或者監(jiān)測(cè)到管道過熱;沒有類似圖像的細(xì)節(jié)或者圖像分辨率。
為何使用 IR 來替代,或者用于補(bǔ)充傳統(tǒng)的可見光成像? 有多個(gè)理由:
-
當(dāng)感興趣的物體融入到背景中,無論是故意隱藏或只是巧合,這時(shí) IR 就能發(fā)揮其價(jià)值
-
IR 能幫助定位視野中的人員或溫血?jiǎng)游?/p>
-
在尋找造成局部發(fā)熱的常見故障時(shí),如過熱的管道、蒸汽管路、陰燃火災(zāi)或電器故障等,IR 也可非常有用
現(xiàn)在,由于高集成度、高性能元件的出現(xiàn),并且這些元件具有易于使用的接口,使得實(shí)施 IR 成像子系統(tǒng)大為簡(jiǎn)化。 例如,F(xiàn)LIR Systems, Inc. 的 Lepton IR 攝像頭(圖 2)。 該器件的尺寸約為 10 × 12 × 6 mm,集成了定焦鏡頭組、適用于 8 - 14 μm IR 的 80 × 60 像素長(zhǎng)波紅外 (LWIR) 微測(cè)傳感器陣列、以及信號(hào)處理電子元件。
圖 2:FLIR Lepton 成像儀(圖示不含插座)高度集成,包括信號(hào)處理和用戶可編程功能。 (感謝 FLIR Systems, Inc. 提供圖片)
通過使用行業(yè)標(biāo)準(zhǔn) MIPI 和 SPI 視頻接口,以及類似雙線 I2 C 的串行控制接口,使得互連大大簡(jiǎn)化(圖 3)。 除了尺寸小巧、易于使用,Lepton 單元還具有高性能,成像快(不超過 0.5 秒),且熱靈敏度低于 50 mK。 工作功率也較低,為 150 mW(典型)。
圖 3:這張 Lepton 裝置的簡(jiǎn)化框圖顯示了其一體式圖像處理單元、基本傳感器陣列,以及簡(jiǎn)單的用戶系統(tǒng)接口。 (感謝 FLIR Systems, Inc. 提供圖片)
這樣的產(chǎn)品得益于用戶的實(shí)踐經(jīng)驗(yàn),因此 FLIR 為攝像頭模塊提供分線板,它兼容基于 ARM 的評(píng)估板和 Raspberry Pi(圖 4)。 這款 25 mm × 24 mm 的電路板需要 3 V 到 5.5 V 單電源供電,帶有 25 MHz 系統(tǒng)時(shí)鐘、用于其他低噪電源軌的內(nèi)部 LDO、標(biāo)準(zhǔn)互連接頭,以及用于 Lepton 模塊自身的 32 引腳 Molex 排針。
(a)
(b)
圖 4:Lepton 分線板 (a)(不含 Lepton 單元)得益于其標(biāo)準(zhǔn)接頭和接口 (b),允許設(shè)計(jì)人員使用各種評(píng)估板對(duì)該單元進(jìn)行評(píng)估和編程。 (感謝 FLIR Systems, Inc. 提供圖片)
ToF 的興起
熱圖像對(duì)于許多應(yīng)用都很有用,但卻不能滿足這些應(yīng)用的全部要求,此時(shí)就需要通常采用 3D 技術(shù)的可見光成像系統(tǒng)。 顯而易見,這就需要采用標(biāo)準(zhǔn)的視頻攝像頭?,F(xiàn)在許多廠商都提供這樣的攝像頭,并且提供許多不同的分辨率、光靈敏度、尺寸和接口選擇。 若需要立體成像,則使用一對(duì)攝像頭。
盡管熱成像已問世數(shù)十年,但相比如今的成像裝置,其性能欠佳、成本和功率消耗較高,而 ToF 技術(shù)則相對(duì)較新。 20 世紀(jì) 90 年代,此項(xiàng)技術(shù)首先作為學(xué)術(shù)概念被提出,然而能讓它切實(shí)可行的基本元件和處理能力直到過去十年才出現(xiàn)。
ToF 通常是許多應(yīng)用的首選成像方法,包括自主駕駛車輛(自動(dòng)駕駛汽車),并且已經(jīng)進(jìn)行數(shù)百英里的實(shí)際道路測(cè)試。 (在架構(gòu)方面,智能或自主車輛屬于輪式機(jī)器人系統(tǒng),帶有傳感器、算法和定義的動(dòng)作,只是角度不同。) 相比傳統(tǒng)成像攝像頭,ToF 方法實(shí)際上具有一些明顯優(yōu)勢(shì)(討論如下)。
工作方式:傳統(tǒng)攝像頭成像的工作原理通常被工程設(shè)計(jì)人員所理解,比較直觀,而 ToF 則了解的人不多,并且更多依賴于通過方程和感測(cè)到的光子實(shí)現(xiàn)。 此項(xiàng)技術(shù)包括兩個(gè)關(guān)鍵元件:一個(gè)精確控制和調(diào)制式光源(固態(tài)激光或 LED,通常在 850 μm 近 IR 范圍下工作,因此肉眼不可見)、一個(gè)用于“查看”由來自成像場(chǎng)景的發(fā)射光線反射的像素陣列。
圖 5:ToF 的原理很簡(jiǎn)單:在場(chǎng)景中投射脈沖光,捕捉反射光線脈沖及其時(shí)間;不過實(shí)現(xiàn)起來較為復(fù)雜,但現(xiàn)在已經(jīng)可行。 (感謝 Texas Instruments 提供圖片)
要完全了解 ToF 原理,需要明白定義其工作原理的方程式,且要考慮一些不可避免的錯(cuò)誤來源,然后對(duì)其進(jìn)行補(bǔ)償。 整體 ToF 過程可通過兩種方式完成:光源以低占空比脈沖重復(fù),或者由連續(xù)正弦波或方波源進(jìn)行調(diào)制。 若使用脈沖模式,反射的光能通過兩個(gè)異相窗采樣,這些采樣值用于計(jì)算到目標(biāo)的距離。 若使用連續(xù)模式,傳感器每次測(cè)量時(shí)取四個(gè)采樣值,每個(gè)采樣值偏置 90?,這樣便可計(jì)算照射和反射之間的相位角以及距離。
ToF 序列和計(jì)算的輸出是表示成像區(qū)域的點(diǎn)數(shù)據(jù)集合,術(shù)語“點(diǎn)云”由此而來。[1]
相對(duì)利弊:使用一個(gè)或兩個(gè)攝像頭的傳統(tǒng)成像,還是使用 ToF 方法,需要根據(jù)應(yīng)用的具體情況進(jìn)行判斷。 對(duì)于基本的檢測(cè)和缺陷識(shí)別,假設(shè)物體已知并且目標(biāo)在照明受控的環(huán)境中經(jīng)過特征提取/對(duì)比,那么提供二維圖像的單攝像頭通常是最佳選擇。 但是,若照明發(fā)生變化,ToF 可能會(huì)更好,因?yàn)樗艿江h(huán)境光線變化的影響較小。
對(duì)于使用兩個(gè)傳統(tǒng)攝像頭的三維成像,需要以機(jī)械和安裝問題為起點(diǎn)從多方面考慮并做出決定。 即使這些都不是問題,處理圖像的系統(tǒng)也必須采用功能強(qiáng)大的算法,以解決“對(duì)應(yīng)”問題,即將一個(gè)攝像頭中場(chǎng)景中的點(diǎn)和另一個(gè)攝像頭中場(chǎng)景中的相同點(diǎn)匹配。 這樣做需要大量顏色或灰階變化,深度準(zhǔn)確性通常由于成像場(chǎng)景的不均勻表面而受到限制。 相比之下,ToF 系統(tǒng)受到機(jī)械問題、照明與對(duì)比度問題的影響較小,不需要三維結(jié)果的圖像對(duì)應(yīng)匹配。
鑒于具有響應(yīng)快、處理大范圍客觀特征的能力,以及生成的點(diǎn)云的本質(zhì),ToF 系統(tǒng)非常適合于在自主駕駛車輛中將手勢(shì)、面部或身體姿勢(shì)轉(zhuǎn)換為命令,以及捕捉周圍環(huán)境。 然而,由于許多基礎(chǔ)成像攝像頭已成為市面上的常見設(shè)備,因此使用傳統(tǒng)的單個(gè)或兩個(gè)攝像頭配置的解決方案成本更低。
實(shí)現(xiàn):ToF 系統(tǒng)有五個(gè)主要的功能塊:
-
光源:生成精確定時(shí)的光源脈沖的元件
-
光學(xué)器件:對(duì)焦傳感器上的光線對(duì)焦鏡頭;可能還帶有光學(xué)帶通濾波器,以降低環(huán)境光線的“噪聲"
-
圖像傳感器:用于捕捉從被照射場(chǎng)景反射回的光線
-
管理電子元件:控制發(fā)光單元和圖像傳感器,并使其同步
-
計(jì)算單元和接口:根據(jù)發(fā)出光線與返回光線的時(shí)間差以及感測(cè)到的光子計(jì)算距離
選擇光發(fā)射器和成像傳感器是配置 ToF 系統(tǒng)的第一步。 發(fā)射器選擇包括二極管,如 Vishay VSMY1850X01,這是一種專用于高速運(yùn)行的 850 μm IR 器件。 該器件支持由 100 mA 驅(qū)動(dòng)的 10 納秒上升和下降時(shí)間,使其適合脈沖模式。
傳感器或像素陣列是 ToF 系統(tǒng)的核心,現(xiàn)在已能作為更大、集成度更高的設(shè)備的一部分提供,如 Texas Instruments OPT8241 飛行時(shí)間傳感器/控制器 IC(圖 6)。 如簡(jiǎn)化型框圖(圖 7)所示,該器件包括傳感器源(上述項(xiàng)目 3)、控制電子元件(項(xiàng)目 4),并且可向諸如 OPT9221 飛行時(shí)間控制器等協(xié)同處理器提供數(shù)字化反射數(shù)據(jù),處理器可利用數(shù)字化傳感器的數(shù)據(jù)計(jì)算深度數(shù)據(jù)。 OPT9221 還具備各種校正功能,包括抗鋸齒、非線性補(bǔ)償和溫度補(bǔ)償。
圖 6:使用 TI OPT8241 搭配 OPT9221 計(jì)算引擎,設(shè)計(jì)人員可以通過適度的硬件工作和相對(duì)較新的元件搭建 ToF 系統(tǒng)。
圖 7:OPT8241 的簡(jiǎn)化型內(nèi)部框圖表明其用于實(shí)現(xiàn) ToF 前端時(shí)具有一定復(fù)雜性;包括調(diào)制控制和照明 LED 驅(qū)動(dòng)器。 (感謝 Texas Instruments 提供圖片)
正如設(shè)計(jì)用于不僅能夠捕捉場(chǎng)景,還能以一致、有用的方式進(jìn)行的任何視頻系統(tǒng)一樣,ToF 軟件的設(shè)計(jì)并不繁瑣。 TI 提供詳細(xì)的用戶指南[2]、估算工具,以便設(shè)計(jì)人員評(píng)估性能和參數(shù)的相互作用,如深度分辨率、二維分辨率(像素量)、距離范圍、幀率、視場(chǎng) (FoV)、環(huán)境光和物體的反射率。
結(jié)論
機(jī)器人系統(tǒng)的設(shè)計(jì)人員始終面臨如何提供細(xì)節(jié)清晰的“周圍環(huán)境感測(cè)”的挑戰(zhàn)。 幸運(yùn)的是,如今的設(shè)計(jì)人員可以采用高性能、功能強(qiáng)大、相對(duì)低成本的技術(shù),包括紅外成像、傳統(tǒng)視頻攝像頭、甚至基于飛行時(shí)間原理的 LIDAR。 因此,由于它們的整體功耗較低,許多全套設(shè)計(jì)采用這些方法的組合,以克服任何單一技術(shù)的缺陷,從而提供更全面的多維度圖片。
-
機(jī)器人
+關(guān)注
關(guān)注
211文章
28552瀏覽量
207649 -
攝像頭
+關(guān)注
關(guān)注
60文章
4852瀏覽量
95962 -
FLIR
+關(guān)注
關(guān)注
2文章
234瀏覽量
55535
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論