先進(jìn)的圖像處理使無(wú)人機(jī)能夠發(fā)揮其潛力

實(shí)時(shí)圖像處理硬件具有巨大的潛力，可以有效和實(shí)際地解決自治系統(tǒng)當(dāng)前面臨的許多問題。最近一項(xiàng)關(guān)于自主機(jī)載加油的試驗(yàn)表明，將圖像處理應(yīng)用于一個(gè)極具挑戰(zhàn)性的問題具有潛力，并取得了巨大的成功。

無(wú)人機(jī)（UAV）吸引世界各地軍事組織如此多的興趣和投資的原因有很多。通過不危及飛行員的生命，他們可以飛行那些被認(rèn)為太危險(xiǎn)的任務(wù)。真正的自主性 - 許多無(wú)人機(jī)研究的目標(biāo) - 可以全面減少人員。任務(wù)長(zhǎng)度可能不是飛行員疲勞的函數(shù)，這一事實(shí)非常有吸引力。

然而，在太陽(yáng)能成為可行的替代方案之前，任務(wù)長(zhǎng)度不僅受到飛行員相關(guān)因素的影響，而且還受到加油需求的影響。理想的無(wú)人機(jī)將永遠(yuǎn)不需要返回基地加油，這一要求一直是對(duì)機(jī)上加油進(jìn)行大量研究的核心。

GPS技術(shù)的潛力已經(jīng)花費(fèi)了大量的開發(fā)工作，使加油機(jī)和接收器無(wú)人機(jī)能夠在彼此足夠近的距離內(nèi)移動(dòng)，以便將燃料探頭對(duì)接到無(wú)人機(jī)上。然而，所需的精度程度 - 特別是因?yàn)槿魏我凰绎w行器都容易受到湍流等干擾因素的影響 - 處于GPS精度的外部極限。需要開發(fā)一種替代技術(shù) - 使用先進(jìn)的圖像跟蹤和圖像處理系統(tǒng) - 以補(bǔ)充GPS系統(tǒng)，以實(shí)現(xiàn)復(fù)雜，高度復(fù)雜的機(jī)動(dòng)（圖1）。

圖 1

評(píng)估該替代方案是由國(guó)防高級(jí)研究計(jì)劃局（DARPA）和內(nèi)華達(dá)山脈公司（SNC）開發(fā)的聯(lián)合項(xiàng)目先進(jìn)機(jī)載加油示范（AARD）的目標(biāo)。這項(xiàng)共同努力產(chǎn)生了自主探測(cè)和無(wú)人機(jī)空中加油的首次成功演示，并在NASA德萊頓飛行研究中心進(jìn)行。

DARPA和SNC決定在演示中使用探頭和干燥（或軟管和機(jī)器人）加油方法，因?yàn)樗粡V泛認(rèn)為是最難自動(dòng)化的 - 這是軟管的靈活性及其對(duì)空氣動(dòng)力學(xué)干擾的敏感性的函數(shù)。Octec（現(xiàn)在是GE發(fā)那科智能平臺(tái)的一部分）和內(nèi)華達(dá)山脈公司合作開發(fā)和提供圖像捕獲和處理功能，這些功能是演示成功的核心。

挑戰(zhàn)

在項(xiàng)目開始時(shí)，必須執(zhí)行許多關(guān)鍵研究，例如確定圖像跟蹤設(shè)備的最佳視點(diǎn)位置和確定理想視場(chǎng)等，這些研究是相互關(guān)聯(lián)的。

這些研究包括對(duì)替代圖像捕獲方法的評(píng)估。眾所周知，無(wú)論選擇哪種技術(shù)，都要求在100英尺的范圍內(nèi)提供約36英寸的范圍測(cè)量精度，以確定探頭和光暈的相對(duì)位置，在12英尺的范圍內(nèi)接近4英寸的精度，以允許探頭插入。

在選擇圖像捕獲設(shè)備和用于傳輸捕獲的圖像數(shù)據(jù)以進(jìn)行處理的介質(zhì)時(shí)，關(guān)鍵考慮因素包括：

捕獲圖像的分辨率

設(shè)備的堅(jiān)固性

尺寸和重量

傳輸介質(zhì)對(duì)電磁干擾 （EMI） 的敏感性，預(yù)計(jì)在射頻豐富的環(huán)境中會(huì)出現(xiàn)電磁干擾 （EMI）

確定高分辨率數(shù)字傳感器將是理想的解決方案;然而，由于定制跟蹤器硬件以滿足傳感器的數(shù)字接口標(biāo)準(zhǔn)所需的任何開發(fā)時(shí)間，因此無(wú)法采用它。雖然高密度光纖傳輸線被認(rèn)為可以提供最佳的EMI抗干擾能力，但測(cè)試表明，它的圖像分辨率非常差，以至于跟蹤器無(wú)法在擴(kuò)展的30米范圍內(nèi)檢測(cè)到幾像素的物體。光纖電纜也遭受了相對(duì)大量的壞點(diǎn)/光纖。

最后，發(fā)現(xiàn)標(biāo)準(zhǔn)NTSC攝像機(jī)可以提供足夠的圖像分辨率，以在30米的范圍內(nèi)分辨流浪漢和籃筐。選擇了相機(jī)的“遙控頭”版本，以最大限度地減少所選安裝點(diǎn)的尺寸和重量影響。顯示，相關(guān)的傳輸電纜具有可接受的EMI電阻，并且視頻質(zhì)量沒有顯示出任何明顯的圖像干擾偽像。

評(píng)估其他傳感器安裝位置

盡管該應(yīng)用程序最終適用于完全無(wú)人平臺(tái) - 加油加油機(jī)和無(wú)人機(jī) - 但演示是使用載人NASA F-18飛行研究飛機(jī)進(jìn)行的（如圖所示，文章的第一頁(yè)）。F-18上遠(yuǎn)程傳感器的四個(gè)最佳位置由NASA機(jī)組人員確定，但所需飛行剖面和視點(diǎn)的建模和模擬將選擇限制在兩個(gè)。平視顯示器（HUD）視圖為流浪漢提供了接近操作范圍，并提供了流氓在視野內(nèi)的最大可能性。從舷內(nèi)右塔架的視野在終端階段提供了良好的軌跡可見性，并且具有作為現(xiàn)有相機(jī)位置的優(yōu)勢(shì)。然而，這兩個(gè)安裝點(diǎn)也有缺點(diǎn)，需要考慮。

這些缺點(diǎn)在很大程度上是由于跟蹤算法在drog目標(biāo)上至少需要幾個(gè)像素才能識(shí)別和跟蹤;這與NTSC傳感器的分辨率相結(jié)合，決定了最大視場(chǎng)（FOV）為55?∞。太狹隘的視角會(huì)使獲取機(jī)器人變得更加困難，并且還會(huì)在機(jī)器人靠近時(shí)引起問題，從而填滿整個(gè)視野。在事件中，最佳視場(chǎng)被確定為55?∞。

出于演示的目的，主要使用兩個(gè)攝像頭位置來評(píng)估其有效性。然而，在無(wú)人機(jī)環(huán)境中部署圖像處理硬件只需要一個(gè)攝像頭，從而最大限度地減少了重量和功耗，并避免了在機(jī)身上的多個(gè)位置安裝兩個(gè)或多個(gè)攝像頭傳感器所帶來的進(jìn)一步復(fù)雜性。這是可能的，因?yàn)樵趧?chuàng)建能夠準(zhǔn)確估計(jì)單個(gè)相機(jī)范圍的算法方面進(jìn)行了大量的開發(fā)工作。

在開發(fā)算法方面也做出了規(guī)定，以消除可能在捕獲的圖像中被錯(cuò)誤識(shí)別的背景混亂。例如，在某些照明條件下，一些飛機(jī)結(jié)構(gòu)，如發(fā)動(dòng)機(jī)排氣噴嘴和燃油軟管出口孔，在很遠(yuǎn)的距離上看起來非常像droge。油輪后面應(yīng)避開的區(qū)域-稱為“回避量”-是通過模擬確定的。

準(zhǔn)確識(shí)別滾輪相對(duì)于軟管的位置和距離的另一個(gè)挑戰(zhàn)來自試驗(yàn)視頻分析。這表明，行車外緣的不穩(wěn)定性使其成為一個(gè)不合適的參考點(diǎn)。然而，發(fā)現(xiàn)droge的實(shí)心內(nèi)輪轂表現(xiàn)出穩(wěn)定的高對(duì)比度，使傳感器相對(duì)容易識(shí)別并提供實(shí)用的校準(zhǔn)參考點(diǎn)。

從單個(gè)相機(jī)開始測(cè)量范圍

為開發(fā)適當(dāng)?shù)姆秶烙?jì)算法付出了巨大的努力，并提出了兩個(gè)。一種是基于經(jīng)典的質(zhì)心方法;另一種是基于模型的方法。這些算法在 MATLAB 中實(shí)現(xiàn)，并針對(duì)模擬模型進(jìn)行了測(cè)試。

確定每種算法都有互補(bǔ)的優(yōu)點(diǎn)和缺點(diǎn)?；谫|(zhì)心的方法由于測(cè)量圖像像素中的區(qū)域而提供了出色的分辨率，而基于模型的方法通過將觀察到的視頻模式與已知參考進(jìn)行比較，更穩(wěn)定，更準(zhǔn)確。

圖3a和3b顯示了每種算法根據(jù)視頻序列中每個(gè)圖像場(chǎng)的已知真實(shí)范圍報(bào)告的估計(jì)值。正如預(yù)期的那樣，基于模型的方法在更遠(yuǎn)的范圍內(nèi)比基于質(zhì)心的方法更嘈雜;然而，基于質(zhì)心的算法在精確測(cè)量的能力上受到增益和失調(diào)偏差的影響。

圖 3

決定實(shí)現(xiàn)并行運(yùn)行的兩種算法。這導(dǎo)致測(cè)量精度在大約3米的范圍內(nèi)優(yōu)于10厘米。期望的精度最初被指定為1西格瑪（即68%的時(shí)間）標(biāo)準(zhǔn)差;獲得的精度主要更好（也就是說，它在大約90%的時(shí)間內(nèi)在給定范圍內(nèi) - 幾乎是2西格瑪標(biāo)準(zhǔn)偏差）。

自動(dòng)機(jī)載加油演示的核心是Octec的基于ADEPT-60傳感器的視頻跟蹤和圖像處理模塊。它本身配備了多種圖像處理算法，并進(jìn)行了擴(kuò)展，以便能夠?qū)⑿麻_發(fā)的算法的測(cè)量結(jié)果組合在一起。這提供了靈活性，可以選擇性地估計(jì)范圍，而無(wú)需基礎(chǔ)算法之間的直接交互。

當(dāng)droge靠近加油機(jī)時(shí)，它所占據(jù)的視野比例越來越大 - 從距離30米的幾個(gè)像素到對(duì)接階段視野的一半以上 - 導(dǎo)致需要修改跟蹤算法以在內(nèi)存中包含目標(biāo)的可調(diào)整大小的圖像模板， 這是使用估計(jì)的機(jī)器人大小動(dòng)態(tài)更新的。模板圖像還用作在間歇性軌跡丟失時(shí)重新獲取 drogue 的第一階段機(jī)制。

如前所述，為圖像傳感器選擇的安裝點(diǎn)并非沒有缺點(diǎn)。其中最重要的是擔(dān)心HUD駕駛艙窗口會(huì)引起明顯的圖像失真。這個(gè)問題通過使用飛機(jī)和機(jī)庫(kù)周圍各種3D點(diǎn)的“真實(shí)世界”測(cè)量來校準(zhǔn)系統(tǒng)，并通過圖像捕獲傳感器跟蹤這些相同的點(diǎn)來解決。在MATLAB中編寫了一個(gè)優(yōu)化例程來對(duì)相機(jī)和鏡頭參數(shù)進(jìn)行建模，并且通過模型重新投影已知的3D點(diǎn)，并與視覺系統(tǒng)測(cè)量的點(diǎn)進(jìn)行比較。這允許修改處理算法以補(bǔ)償相機(jī)視野中的異常。

下一階段

該演示證明，可以實(shí)現(xiàn)應(yīng)用先進(jìn)的基于視覺的傳感器進(jìn)行圖像捕獲和最先進(jìn)的圖像處理技術(shù)，以增強(qiáng)復(fù)雜的基于GPS的定位系統(tǒng)的現(xiàn)有功能。但是，最大限度地提高該技術(shù)的可行性和可部署性的工作仍在繼續(xù)?？梢蕴岣攉@取目標(biāo)圖像的整體性能。操作范圍 - 可以捕獲機(jī)器人的初始距離 - 也可以擴(kuò)展，從而減少對(duì)基于GPS的非常精確的測(cè)量的依賴。最后，將開展工作以實(shí)現(xiàn)機(jī)器人類型識(shí)別，識(shí)別異常的機(jī)器人行為以及照明和天氣條件的影響。

審核編輯：郭婷