全對(duì)稱多面鏡單視點(diǎn)折反射周視系統(tǒng)概述

紅外周視系統(tǒng)能夠提供周圍360°場(chǎng)景紅外圖像，消除車輛駕駛視覺盲區(qū)，能借助算法實(shí)現(xiàn)定位、建圖、避障、路徑規(guī)劃、導(dǎo)航等功能，滿足智能駕駛和自主駕駛的迫切需求。按照技術(shù)路線，可將紅外周視系統(tǒng)分為三類：1）分時(shí)多視點(diǎn)紅外周視系統(tǒng)；2）分孔徑多視點(diǎn)紅外周視系統(tǒng)；3）單視點(diǎn)折反射紅外周視系統(tǒng)。

據(jù)麥姆斯咨詢報(bào)道，近期，北京理工大學(xué)光電學(xué)院和云南北方光學(xué)科技有限公司的科研團(tuán)隊(duì)在《紅外與激光工程》期刊上發(fā)表了以“非全對(duì)稱五面鏡單視點(diǎn)折反射紅外周視系統(tǒng)”為主題的文章。該文章第一作者為周云揚(yáng)，通訊作者為王嶺雪副教授，主要從事紅外成像、圖像處理、紅外光譜等方面的研究工作。

文中面向車載周視紅外成像應(yīng)用，綜合分孔徑多視點(diǎn)周視和單視點(diǎn)折反射周視的優(yōu)勢(shì)，根據(jù)車載應(yīng)用中對(duì)前方探測(cè)距離要求高、對(duì)后方探測(cè)距離要求較低的實(shí)際情況，提出一種分孔徑、單視點(diǎn)非全對(duì)稱五面鏡折反射紅外周視系統(tǒng)設(shè)計(jì)方案，前方、左右側(cè)視場(chǎng)均為64°，后方則是兩個(gè)84°視場(chǎng)，共同組成水平360°、俯仰±29°的周視視場(chǎng)。針對(duì)不同焦距的非制冷紅外成像組件，完成非全對(duì)稱五面鏡的結(jié)構(gòu)設(shè)計(jì)，建立了滿足單視點(diǎn)約束的非全對(duì)稱折反射周視結(jié)構(gòu)理論模型；設(shè)計(jì)出可調(diào)整、對(duì)準(zhǔn)視點(diǎn)的系統(tǒng)機(jī)械結(jié)構(gòu)，分析了系統(tǒng)投影轉(zhuǎn)換、圖像處理要素，提高其全面性、真實(shí)性和可信度。

全對(duì)稱多面鏡單視點(diǎn)折反射周視系統(tǒng)概述

目前國外研究者已開發(fā)出工作在可見光波段的四面鏡、五面鏡、十面鏡單視點(diǎn)約束折反射周視系統(tǒng)，如圖1所示，其共同特點(diǎn)為：多面鏡構(gòu)成對(duì)稱結(jié)構(gòu)的、底角（α）為45°的正多面體；每個(gè)鏡面對(duì)應(yīng)的攝像機(jī)鏡頭焦距（f）相同（即視場(chǎng)角ω相等）；每個(gè)攝像機(jī)視點(diǎn)與底面之間的垂直距離（h）、到中心軸線的水平距離（l）相同，攝像機(jī)視點(diǎn)是透鏡中心（鏡頭為薄透鏡時(shí)）或透鏡物方主點(diǎn)（鏡頭為透鏡組時(shí)）。對(duì)稱多面鏡單視點(diǎn)約束折反射結(jié)構(gòu)的本質(zhì)是利用正多面體反射鏡將多個(gè)焦距相同攝像機(jī)視點(diǎn)所成的虛像重合于同一點(diǎn)。

圖1 全對(duì)稱多面鏡單視點(diǎn)約束折反射周視樣機(jī)及其結(jié)構(gòu)示意圖

以全對(duì)稱五面鏡為例，如圖2（a）所示，P1、P2、P3、P4、P5是采用針孔成像模型簡(jiǎn)化后的攝像機(jī)視點(diǎn)，視點(diǎn)方向垂直向下。視點(diǎn)所對(duì)應(yīng)的每一個(gè)棱面都是一塊鏡面朝外的平面反射鏡，與水平面成45°夾角。所有視點(diǎn)位于棱錐頂點(diǎn)所在的水平面與相應(yīng)棱面角平分線所在垂直平面的交線上，不同方向上的視點(diǎn)經(jīng)平面反射鏡成像后得到的虛視點(diǎn)重合為同一點(diǎn)，P′點(diǎn)成為系統(tǒng)的唯一視點(diǎn)。假設(shè)觀察者位于P′點(diǎn)，就能從該點(diǎn)通過不同成像方向的多個(gè)攝像機(jī)觀察到周圍無縫的周視圖像。圖2（b）是圖2（a）中相鄰兩塊平面鏡的正面投影圖，P1和P2兩個(gè)視點(diǎn)關(guān)于鏡面軸對(duì)稱的虛像點(diǎn)位于頂點(diǎn)O′與底面的垂直線OO′上，并在點(diǎn)P′重合，通過構(gòu)建平面鏡與攝像機(jī)之間的約束關(guān)系即可實(shí)現(xiàn)單視點(diǎn)約束。

圖2 全對(duì)稱五面鏡單視點(diǎn)約束。（a）全對(duì)稱五面鏡；（b）相鄰平面鏡的正面投影圖

圖3是美國Tonbo Imaging公司分別使用九套低照度CMOS組件和非制冷紅外成像組件研制的雙波段分孔徑多視點(diǎn)周視系統(tǒng)WolfPack。與圖3中的分孔徑、多視點(diǎn)周視系統(tǒng)相比，引入反射面構(gòu)建的分孔徑、單視點(diǎn)周視系統(tǒng)具有的優(yōu)勢(shì)有：

圖3 分孔徑多視點(diǎn)周視系統(tǒng)

1）能有效消除不同攝像機(jī)之間的視差；

2）能不經(jīng)過圖像拼接，直接獲得水平360°視場(chǎng)的周視圖像；

3）能保證水平360°視場(chǎng)內(nèi)的物像一一對(duì)應(yīng)，同一物體成像唯一，不存在“跨鏡追蹤”問題，提高周視圖像中目標(biāo)的可信度，既有利于對(duì)感興趣目標(biāo)進(jìn)行識(shí)別和追蹤，又有利于定量測(cè)量目標(biāo)的方向和運(yùn)動(dòng)狀態(tài)。

非全對(duì)稱五面鏡單視點(diǎn)折反射紅外周視系統(tǒng)設(shè)計(jì)

系統(tǒng)總體設(shè)計(jì)

駕駛員多數(shù)時(shí)候通過觀察道路前方和左、右側(cè)來保證安全駕駛，故要求周視系統(tǒng)中的前視和左、右側(cè)攝像機(jī)具有較遠(yuǎn)的作用距離，以便能盡早感知路面信息，從而快速進(jìn)行避障操作，對(duì)后視攝像機(jī)的作用距離要求相對(duì)較低。因此，文中提出一種非全對(duì)稱五面鏡單視點(diǎn)折反射紅外周視系統(tǒng)方案。首先，根據(jù)車輛駕駛時(shí)對(duì)行人探測(cè)距離選擇合適的紅外鏡頭。假設(shè)行人尺寸0.5×1.7m2、溫度309 K，背景溫度298 K，紅外探測(cè)器像元規(guī)模640×512、像元尺寸12 μm、噪聲等效溫差（NETD）40 mK，使用最小可分辨溫差（MRTD）公式計(jì)算，得到探測(cè)概率50%時(shí)，行人和背景的等效黑體溫差ΔT′與距離R的曲線ΔT′（R）與MRTD（R）如圖4（a）所示，此時(shí)4.1、5.8、9.1 mm焦距紅外鏡頭的探測(cè)距離分別為145、200、320 m，相應(yīng)的水平視場(chǎng)角分別為86°、67°、46°，如圖4（b）所示。

圖4 計(jì)算結(jié)果。（a）50%探測(cè)概率時(shí)焦距4.1、5.8、9.1 mm紅外鏡頭的探測(cè)距離；（b）焦距4.1、5.8、9.1 mm紅外鏡頭對(duì)應(yīng)的水平視場(chǎng)角

根據(jù)計(jì)算結(jié)果（圖4），為使用五塊非全對(duì)稱的反射鏡獲得360°周視視場(chǎng)，前視、左右側(cè)均為64°視場(chǎng)（焦距5.8 mm），后視為兩個(gè)84°視場(chǎng)（焦距4.1 mm），視場(chǎng)構(gòu)成如圖5所示。傳統(tǒng)車載視覺存在盲區(qū)檢測(cè)區(qū)域，主要為擋風(fēng)玻璃兩側(cè)傾斜A柱遮擋造成的A柱盲區(qū)（見圖5中Blind Spot Ⅰ）以及后視鏡盲區(qū)（見圖5中Blind spot Ⅱ），所設(shè)計(jì)的系統(tǒng)能夠有效消除這些盲區(qū)。系統(tǒng)選用的紅外探測(cè)器組件參數(shù)見表1。

圖5 系統(tǒng)視場(chǎng)構(gòu)成示意圖

表1 系統(tǒng)所用紅外成像組件的性能參數(shù)

非全對(duì)稱五面鏡結(jié)構(gòu)設(shè)計(jì)

基于2.1節(jié)選用的紅外成像組件，根據(jù)單視點(diǎn)約束要求進(jìn)行非全對(duì)稱五面鏡結(jié)構(gòu)設(shè)計(jì)。三套焦距f?=5.8 mm的等效視點(diǎn)為P1、P2、P3，對(duì)應(yīng)棱面均與水平面成α的夾角?鏡面傾角；兩套焦距f?=4.1 mm的等效視點(diǎn)為P4和P5，對(duì)應(yīng)棱面與水平面成β的鏡面傾角。不同焦距鏡頭組合使得五面鏡結(jié)構(gòu)底部表現(xiàn)為頂點(diǎn)到中心距離相等、邊長(zhǎng)與內(nèi)角不完全相等的非全對(duì)稱五邊形，且紅外成像組件在垂直方向上處于不同高度，如圖6所示。單視點(diǎn)約束非全對(duì)稱五面鏡結(jié)構(gòu)設(shè)計(jì)要點(diǎn)是調(diào)整不同鏡面傾角組合（α、β）與紅外成像組件的空間位置，使得視點(diǎn)P1、P2、P3、P4、P5所成的虛像重合于P′點(diǎn)。

圖6 非全對(duì)稱五面鏡的幾何結(jié)構(gòu)示意圖

為方便計(jì)算單視點(diǎn)約束下非全對(duì)稱五面鏡結(jié)構(gòu)參數(shù)，選取圖6中一個(gè)方向的紅外成像組件進(jìn)行分析。為不失一般性，令該成像組件的等效視點(diǎn)為P，對(duì)應(yīng)的鏡面傾角為θ，其他結(jié)構(gòu)參數(shù)定義如圖7所示，并在表2中列出，包括：虛視點(diǎn)P′高度m、底面中心點(diǎn)到邊長(zhǎng)距離d、可裁剪鏡面高度s（圖7（b）中紅色虛線上方高度）、成像組件等效視點(diǎn)P的高度h以及與結(jié)構(gòu)頂點(diǎn)O′的水平距離l、成像組件的垂直視場(chǎng)角2ε、鏡頭直徑k。

圖7 非全對(duì)稱五面鏡結(jié)構(gòu)的參數(shù)定義示意圖。（a）三維圖；（b）側(cè)面投影二維圖

表2 非全對(duì)稱五面鏡的結(jié)構(gòu)參數(shù)

五面鏡結(jié)構(gòu)的整體尺寸由鏡面傾角θ、底部中心點(diǎn)到邊長(zhǎng)的距離d、虛視點(diǎn)高度m決定。假設(shè)垂直視場(chǎng)角2ε左側(cè)邊界光線剛好位于結(jié)構(gòu)底部C處，視點(diǎn)P對(duì)應(yīng)的反射鏡棱面為圖7（a）中的平面ABO′，該反射面?zhèn)让嫱队盀閳D7（b）中的CO′。

根據(jù)幾何光學(xué)中光線的反射分析紅外成像組件剛好不對(duì)自身成像時(shí)的視場(chǎng)臨界角，如圖8所示，將等效視點(diǎn)P對(duì)應(yīng)的紅外成像組件鏡頭直徑k令為線段MN，臨界入射光線Ⅰ（圖8中Ray Ⅰ）剛好經(jīng)過鏡頭邊界點(diǎn)M，在Q點(diǎn)以入射角?1發(fā)生反射，反射光線經(jīng)過鏡頭邊界點(diǎn)N后進(jìn)入紅外成像組件；臨界入射光線Ⅱ（圖8中Ray Ⅱ）在C點(diǎn)以入射角?2發(fā)生反射，反射光線經(jīng)過鏡頭邊界點(diǎn)M后進(jìn)入紅外成像組件。在此條件下，令角度∠MPN=2ε′。

圖8 無遮擋成像分析

綜上所述，根據(jù)單視點(diǎn)約束設(shè)計(jì)非全對(duì)稱五面鏡結(jié)構(gòu)的主要步驟如圖9所示，包括：

1）針對(duì)特定任務(wù)中目標(biāo)與背景之間的溫度差，根據(jù)空間分辨力和作用距離要求選取合適的紅外成像組件及其鏡頭參數(shù)，如表1所示；

2）根據(jù)垂直視場(chǎng)角2ε、鏡頭直徑k等選取合適的視點(diǎn)高度m與鏡面傾角θ的組合，通過求解紅外成像組件等效視點(diǎn)P的高度h以及與結(jié)構(gòu)頂點(diǎn)O′的水平距離l，確定紅外成像組件的精確位置，再根據(jù)反射視場(chǎng)確定結(jié)構(gòu)底部中心點(diǎn)到邊長(zhǎng)的距離d、可裁剪鏡面高度s，從而確定非全對(duì)稱五棱臺(tái)反射鏡的具體尺寸；

3）根據(jù)上一步獲得的系統(tǒng)結(jié)構(gòu)參數(shù)進(jìn)行視場(chǎng)有無遮擋的分析；

4）根據(jù)視場(chǎng)無遮擋分析結(jié)果優(yōu)化系統(tǒng)結(jié)構(gòu)，直至獲得無遮擋、結(jié)構(gòu)尺寸小、易加工的非對(duì)稱五棱臺(tái)反射鏡。

圖9 非全對(duì)稱五面鏡結(jié)構(gòu)的設(shè)計(jì)流程圖

五方向平面?柱面投影獲得周視圖像的模型

滿足單視點(diǎn)約束的非全對(duì)稱五面鏡和不同焦距紅外鏡頭將五個(gè)方向的場(chǎng)景輻射反射并匯聚到五套垂直放置的紅外焦平面探測(cè)器，如圖10所示，由于虛視點(diǎn)P′所在軸線可當(dāng)作旋轉(zhuǎn)軸，采用柱面投影將圖10（a）五個(gè)方向上的平面圖像轉(zhuǎn)換為無縫周視圖像，如圖10（b）所示。圖10中紅色線、藍(lán)色線分別代表焦距f? =5.8 mm、f?=4.1 mm的紅外成像組件。另外，為盡可能保留前方和左、右側(cè)視場(chǎng)信息，將焦距f? =5.8 mm作為柱面投影半徑進(jìn)行周視圖像投影。同時(shí)，三幅焦距f? =5.8 mm和兩幅f?=4.1 mm的圖像也可以作為大視場(chǎng)圖像進(jìn)行保存和供使用者調(diào)用。

圖10 平面投影到周視圖像的轉(zhuǎn)換示意圖。（a）五個(gè)方向上的平面圖像；（b）柱面投影后的周視圖像

系統(tǒng)機(jī)械結(jié)構(gòu)設(shè)計(jì)

利用ProE軟件對(duì)該系統(tǒng)進(jìn)行仿真設(shè)計(jì)，提出可調(diào)整、對(duì)準(zhǔn)視點(diǎn)的機(jī)械結(jié)構(gòu)方案，保證不同焦距紅外成像組件視點(diǎn)能精確重合為同一點(diǎn)，如圖11所示。該周視系統(tǒng)主要可分為鏡面反射區(qū)域、紅外成像組件、中心柱軸以及相關(guān)支架。紅外成像組件通過固定在圓盤平臺(tái)上與中心柱軸保持一定的水平和垂直距離，鏡面反射區(qū)域主要由反射鏡支架與反射鏡面組成，水平與垂直方向上增加平面支架保證傾角的穩(wěn)定性和準(zhǔn)確性，支架表面刻制凹槽保證兩者的貼合。反射鏡面由具有一定厚度、內(nèi)部均勻、擁有光滑平整前表面的浮法玻璃組成，有利于紅外輻射的鏡面反射。每個(gè)紅外成像組件采集對(duì)應(yīng)反射鏡面反射的紅外輻射，共同構(gòu)成360°紅外周視圖像。

圖11 系統(tǒng)機(jī)械結(jié)構(gòu)設(shè)計(jì)圖

為使多個(gè)視點(diǎn)對(duì)準(zhǔn)于單個(gè)虛視點(diǎn)以保證單視點(diǎn)約束，設(shè)計(jì)了紅外成像組件空間位置可調(diào)整的機(jī)械結(jié)構(gòu)。一方面，在中心柱軸上放置不同數(shù)量的調(diào)節(jié)圈調(diào)整高度，并通過鎖緊圈固定；另一方面，紅外成像組件采用固定座組件確定在圓盤上的位置，該組件可在一定范圍內(nèi)移動(dòng)，用于調(diào)節(jié)紅外成像組件的水平距離，下方放置不同數(shù)量的調(diào)節(jié)圈調(diào)整垂直高度。中心柱軸調(diào)整機(jī)制和固定座調(diào)整機(jī)制確?？墒謩?dòng)調(diào)節(jié)紅外成像組件的空間位置，避免結(jié)構(gòu)加工、人工裝調(diào)誤差造成的視點(diǎn)位置偏移。該系統(tǒng)經(jīng)過機(jī)械設(shè)計(jì)后的最終結(jié)構(gòu)參數(shù)如表3所示。

表3 系統(tǒng)結(jié)構(gòu)參數(shù)的理論設(shè)計(jì)值與實(shí)際值

原型系統(tǒng)實(shí)物與周視圖像處理

加工、組裝和調(diào)試后的原型系統(tǒng)實(shí)物照片如圖12所示。當(dāng)系統(tǒng)工作時(shí)，五個(gè)紅外成像組件根據(jù)外同步信號(hào)同時(shí)采集視頻圖像，一幀圖像的大小為640 pixel×480 pixel。

圖12 文中原型系統(tǒng)的實(shí)物照片

由于使用兩種焦距的紅外鏡頭（f?=5.8 mm和f?=4.1 mm），首先需要對(duì)其中一種焦距的圖像進(jìn)行縮放。

綜上所述，該系統(tǒng)紅外周視圖像的獲取需要進(jìn)行的圖像處理步驟主要包括：柱面投影、縮放、中心對(duì)齊、冗余部分切割、灰度平衡，最終獲得完整且無縫的紅外周視圖像，如圖13所示，前方和左、右側(cè)紅外成像組件作用距離較遠(yuǎn)，擴(kuò)大駕駛員視野，滿足全天時(shí)、無盲區(qū)的觀察需要。

圖13 系統(tǒng)成像結(jié)果

結(jié)論

文中針對(duì)車輛駕駛應(yīng)用中前方和左、右側(cè)、后方對(duì)行人探測(cè)距離要求的不同（分別為200 m和145 m），提出并實(shí)現(xiàn)了前方和左、右側(cè)均為64°視場(chǎng)、后視為兩個(gè)84°視場(chǎng)的非全對(duì)稱五面鏡單視點(diǎn)折反射紅外周視系統(tǒng)，利用非全對(duì)稱五面鏡將三套焦距f?=5.8 mm和兩套f?=4.1 mm的紅外成像組件的虛視點(diǎn)重合為同一點(diǎn)，建立了單視點(diǎn)約束非全對(duì)稱五面鏡結(jié)構(gòu)的設(shè)計(jì)流程，即根據(jù)空間分辨力和作用距離要求選取合適的紅外成像組件及其鏡頭參數(shù)后，再根據(jù)單視點(diǎn)結(jié)構(gòu)約束條件確定非全對(duì)稱五棱臺(tái)反射鏡的具體尺寸，并根據(jù)系統(tǒng)結(jié)構(gòu)參數(shù)進(jìn)行視場(chǎng)遮擋分析后進(jìn)一步優(yōu)化系統(tǒng)結(jié)構(gòu)，直至獲得無遮擋、結(jié)構(gòu)尺寸小、易加工的非對(duì)稱五棱臺(tái)反射鏡。完成加工、裝調(diào)非全對(duì)稱五面鏡折反射紅外周視原型系統(tǒng)后，提出了包含柱面投影、縮放、中心對(duì)齊、冗余部分切割、灰度平衡等步驟的周視紅外圖像處理流程，最終實(shí)現(xiàn)對(duì)水平360°、俯仰±29°視場(chǎng)的無遮擋、無縫、無盲區(qū)紅外成像。該系統(tǒng)獲取場(chǎng)景的紅外圖像全面、真實(shí)和可信，有助于消除車輛駕駛觀察盲區(qū)，提升智能駕駛能力，在民用和軍用領(lǐng)域都有廣闊的應(yīng)用前景。未來將開展系統(tǒng)小型化方面的工作。

審核編輯：彭菁