基于多種圖像壓縮算法和網(wǎng)絡(luò)傳輸技術(shù)實(shí)現(xiàn)機(jī)器人自動(dòng)控制平臺(tái)的設(shè)計(jì)

作者：付昊桓，戴梅萼，周健，常劍

1 自動(dòng)控制平臺(tái)概述

在網(wǎng)絡(luò)和多媒體技術(shù)飛速發(fā)展的今天,通過(guò)網(wǎng)絡(luò)傳輸?shù)倪h(yuǎn)程機(jī)器人圖像對(duì)機(jī)器人進(jìn)行控制已經(jīng)成了一種可行的技術(shù)。利用這種技術(shù),可以對(duì)遠(yuǎn)程機(jī)器人的活動(dòng)進(jìn)行檢測(cè),從而獲得實(shí)時(shí)的信息,再據(jù)此向遠(yuǎn)端的機(jī)器人發(fā)出某種命令。但如果由人直接在遠(yuǎn)端進(jìn)行控制,就需要其長(zhǎng)時(shí)間地通過(guò)傳輸過(guò)來(lái)的圖像監(jiān)測(cè)機(jī)器人的行為,同時(shí)還要不斷向遠(yuǎn)端機(jī)器人發(fā)送相同的命令。顯然由電腦進(jìn)行智能化的自動(dòng)控制更合適。

遠(yuǎn)程機(jī)器人的自動(dòng)控制平臺(tái)正是基于這種考慮而研制的。本課題組研制的原有的遠(yuǎn)程機(jī)器人實(shí)時(shí)圖像傳輸和實(shí)時(shí)控制系統(tǒng)分為兩個(gè)部分:一是遠(yuǎn)程機(jī)器人站點(diǎn),二是控制站點(diǎn)。其中遠(yuǎn)程機(jī)器人站點(diǎn)負(fù)責(zé)圖像信息的采集、壓縮、傳輸,同時(shí)接收控制端發(fā)送的命令并執(zhí)行;控制站點(diǎn)對(duì)圖像進(jìn)行解壓、顯示,同時(shí)向遠(yuǎn)程機(jī)器人站點(diǎn)發(fā)送命令。自動(dòng)控制平臺(tái)就是在原有系統(tǒng)的基礎(chǔ)上,在控制站點(diǎn)的應(yīng)用程序中加上了對(duì)遠(yuǎn)端傳送過(guò)來(lái)的圖像進(jìn)行判斷、并依據(jù)判斷自動(dòng)發(fā)送命令的部分。

2 相關(guān)技術(shù)

2.1 圖像的采集與顯示

在遠(yuǎn)程機(jī)器人站點(diǎn),需要對(duì)機(jī)器人現(xiàn)場(chǎng)進(jìn)行圖像采集;而在控制端,則需要對(duì)機(jī)器人的圖像進(jìn)行顯示。

在本系統(tǒng)的應(yīng)用程序中,采集和顯示是通過(guò)對(duì)VFW的調(diào)用來(lái)實(shí)現(xiàn)的。VFW(Video for Windows SDK)是Microsoft公司于1992年推出的被稱(chēng)為AVICap窗口類(lèi)函數(shù)的系統(tǒng)調(diào)用接口。通過(guò)VFW的調(diào)用,可以通過(guò)發(fā)送信息或是設(shè)置屬性來(lái)采集或播放視頻剪輯。如在程序中,調(diào)用capCreateCaptureWindow就可以創(chuàng)建一個(gè)視頻采集窗口,調(diào)用capSetCallbackonFrame就可以設(shè)定采集到一幀圖像時(shí)的回調(diào)函數(shù),在回調(diào)函數(shù)中可以進(jìn)一步作顯示或?qū)D像作其它處理。

VFW只有VC和VB版本,而本系統(tǒng)采用Delphi進(jìn)行開(kāi)發(fā),以便獲得Delphi優(yōu)良的界面功能和多線(xiàn)程機(jī)制。為此需要先用Pascal對(duì)vfw.h進(jìn)行改寫(xiě),得到在Delphi中可以直接調(diào)用的vfw.pas文件。

盡管在編程時(shí)使用的是VFW,但是由于程序運(yùn)行在Windows2000下,實(shí)際上驅(qū)動(dòng)程序仍是使用WDM(Windows Driver Model)。WDM也是由Microsoft公司推出的,相對(duì)于VFW,在視頻會(huì)議、PC/TV等方面有較大優(yōu)勢(shì)。

2.2 圖像壓縮

本系統(tǒng)中采用了多種圖像壓縮算法,以適應(yīng)多種網(wǎng)絡(luò)傳輸環(huán)境和實(shí)時(shí)性要求,其中包括顯示質(zhì)量好但開(kāi)銷(xiāo)大的MPEG4,以及開(kāi)銷(xiāo)小適用于遠(yuǎn)程傳輸?shù)W(wǎng)絡(luò)傳輸率低的H.26x。此外還有本課題組自行開(kāi)發(fā)的一個(gè)Tsinghua H.263壓縮算法,在系統(tǒng)使用時(shí)可以根據(jù)網(wǎng)絡(luò)的情況來(lái)進(jìn)行選擇。如果網(wǎng)絡(luò)情況好,則使用顯示質(zhì)量好的MPEG4,如果網(wǎng)絡(luò)不好,則使用開(kāi)銷(xiāo)小的H.263。

2.3 網(wǎng)絡(luò)傳輸?shù)淖赃m應(yīng)

除了壓縮算法可靈活選擇之外,本課題組還設(shè)計(jì)了兩種自適應(yīng)的方法來(lái)對(duì)傳輸進(jìn)行調(diào)節(jié),以便更好地適應(yīng)網(wǎng)絡(luò)條件。一種是幀頻的自適應(yīng),通過(guò)調(diào)節(jié)機(jī)器人端視頻發(fā)送速率來(lái)實(shí)現(xiàn)對(duì)圖像質(zhì)量的自適應(yīng);另一種是通信帶寬的自適應(yīng),通過(guò)調(diào)節(jié)關(guān)鍵幀和非關(guān)鍵幀的質(zhì)量來(lái)調(diào)節(jié)單位時(shí)間發(fā)送的數(shù)據(jù)量,從而與網(wǎng)絡(luò)情況相適應(yīng)。

2.4 多進(jìn)程、多線(xiàn)程的使用

本系統(tǒng)可同時(shí)控制多個(gè)機(jī)器人站點(diǎn)。每當(dāng)連接一個(gè)新的遠(yuǎn)程機(jī)器人站點(diǎn)時(shí),控制站點(diǎn)會(huì)自動(dòng)產(chǎn)生一個(gè)新的進(jìn)程對(duì)該機(jī)器人站點(diǎn)進(jìn)行控制。在對(duì)一個(gè)機(jī)器人站點(diǎn)進(jìn)行控制的進(jìn)程中,同時(shí)會(huì)有幾個(gè)線(xiàn)程來(lái)分別實(shí)現(xiàn)幾方面的功能。ChatThread線(xiàn)程負(fù)責(zé)機(jī)器人站點(diǎn)和控制站點(diǎn)之間的文字通信,SyncThread線(xiàn)程則負(fù)責(zé)兩站點(diǎn)傳送和接收的同步性,最大的也是最主要的DrawThread線(xiàn)程負(fù)責(zé)圖像的接收、解壓縮以及顯示,同時(shí)實(shí)現(xiàn)自動(dòng)控制功能。

2.5 自動(dòng)控制

如前所述,自動(dòng)控制包括兩方面:一是對(duì)傳送過(guò)來(lái)的圖像信息進(jìn)行分析,獲得機(jī)器人的實(shí)時(shí)狀態(tài)。二是依據(jù)機(jī)器人目前所處的狀態(tài)發(fā)出相應(yīng)的命令。

對(duì)圖像信息進(jìn)行分析是通過(guò)與標(biāo)準(zhǔn)圖像進(jìn)行比較來(lái)實(shí)現(xiàn)的,以此來(lái)確定機(jī)器人是否已經(jīng)進(jìn)入了某種狀態(tài)。如果發(fā)現(xiàn)機(jī)器人當(dāng)前處于某種標(biāo)準(zhǔn)圖像對(duì)應(yīng)的狀態(tài),則控制站點(diǎn)會(huì)發(fā)出與該狀態(tài)相對(duì)應(yīng)的命令。

由于目前機(jī)器人不可能有很靈活的細(xì)膩的動(dòng)作方式,所以只需要對(duì)幾個(gè)關(guān)鍵部位(例如頭部、手臂等)的圖像進(jìn)行比較,即可確定機(jī)器人當(dāng)前的狀態(tài)。由此,為標(biāo)準(zhǔn)圖像的存儲(chǔ)和識(shí)別提供了有利條件,也為自動(dòng)控制平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)提供了前提。

3 自動(dòng)控制平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 設(shè)計(jì)思想

機(jī)器人的某一個(gè)運(yùn)動(dòng)過(guò)程一般可以分解為若干個(gè)關(guān)鍵狀態(tài)。當(dāng)其處于某一狀態(tài)時(shí),需要通過(guò)向它下達(dá)某一種指令才能使之向下一個(gè)狀態(tài)轉(zhuǎn)換。因此,可以在某一個(gè)文件中存儲(chǔ)完成該運(yùn)動(dòng)過(guò)程所需要的各個(gè)關(guān)鍵狀態(tài)的圖像信息,并存儲(chǔ)與該狀態(tài)相對(duì)應(yīng)的指令。要執(zhí)行該運(yùn)動(dòng)過(guò)程時(shí),通過(guò)應(yīng)用程序讀入該文件,獲得各狀態(tài)的信息,然后即可開(kāi)始將實(shí)時(shí)的圖像信息與關(guān)鍵狀態(tài)的圖像信息相比較,如果相符,則發(fā)出相應(yīng)命令。實(shí)際上,這個(gè)文件就相當(dāng)于一個(gè)運(yùn)行腳本?？梢栽谑謩?dòng)控制的過(guò)程中,制作好這樣的運(yùn)行腳本。下次要執(zhí)行同樣的操作時(shí),只需要把這個(gè)腳本讀入,就可以實(shí)現(xiàn)自動(dòng)控制功能。

3.2 數(shù)據(jù)結(jié)構(gòu)

在程序中,建立了一個(gè)名為scformat的數(shù)據(jù)結(jié)構(gòu),來(lái)描述和存放運(yùn)行腳本。scformat的基本結(jié)構(gòu)如圖1所示。

一個(gè)scformat即對(duì)應(yīng)于一個(gè)完整的腳本文件。由于對(duì)數(shù)據(jù)文件采用鏈表方式來(lái)組織,所以其中可以含有任意多個(gè)標(biāo)準(zhǔn)圖像及其對(duì)應(yīng)的命令。scformat中包含諸如色深/colordepth(1表示8位色,依此類(lèi)推)、圖像個(gè)數(shù)/framenum、圖像寬度/framewidth、圖像高度/frameheight等數(shù)據(jù)塊,datahead、datatail則是數(shù)據(jù)鏈表的頭尾指針。

一個(gè)data則對(duì)應(yīng)于一幅圖像,除了fwidth、fheight、depth這些基本的信息之外,order是一個(gè)字符數(shù)組,用來(lái)存放對(duì)應(yīng)的命令,segnum表示這幅圖像中所截取的幾個(gè)最重要的反映機(jī)器人基本運(yùn)動(dòng)情況的關(guān)鍵部分,pnext則指向數(shù)據(jù)鏈表中的下一個(gè)data。對(duì)于一個(gè)data圖像中截取的各個(gè)部分,同樣采用鏈表結(jié)構(gòu)來(lái)組織,seghead、segtail則分別指向鏈表的頭尾。

一個(gè)seg對(duì)應(yīng)于從圖像中截取的一個(gè)關(guān)鍵部分,其中,width、height表示該部分的寬度、高度,topx、topy則是該部分左下角在該圖像中的坐標(biāo),以適應(yīng)圖像的數(shù)據(jù)從左下角開(kāi)始存儲(chǔ)的規(guī)則。segdata指向該部分具體的圖像數(shù)據(jù)。

圖2是各個(gè)結(jié)構(gòu)在圖像上的具體關(guān)系。

上述數(shù)據(jù)結(jié)構(gòu)的優(yōu)點(diǎn)是其具有充分的多方面的靈活性。因?yàn)閷?duì)應(yīng)于不同的運(yùn)動(dòng)過(guò)程的腳本文件可能需要不同數(shù)目的標(biāo)準(zhǔn)圖像,而對(duì)應(yīng)于機(jī)器人處于不同狀態(tài)的圖像,為了反映機(jī)器人的運(yùn)動(dòng)狀態(tài),也可能需要截取不同數(shù)目的關(guān)鍵部分。由于上述數(shù)據(jù)結(jié)構(gòu)的靈活性,對(duì)于標(biāo)準(zhǔn)圖像的數(shù)據(jù)data和圖像中的關(guān)鍵部分seg,都采用鏈表結(jié)構(gòu)來(lái)組織,所以可以適應(yīng)各種不同情況。

同時(shí),對(duì)于scformat、data、seg這些數(shù)據(jù)結(jié)構(gòu),分別提供了各種函數(shù)以及過(guò)程,使得在進(jìn)行圖像的截取、腳本文件的存儲(chǔ)、腳本文件的讀取和顯示時(shí)都相當(dāng)方便。

3.3 流程要點(diǎn)

具體的流程分為以下兩個(gè)方面:

其一是控制腳本的獲得,由人工進(jìn)行手動(dòng)控制實(shí)現(xiàn)?；谏厦娴倪@種數(shù)據(jù)結(jié)構(gòu),此過(guò)程可以準(zhǔn)確完成。在此過(guò)程中,首先創(chuàng)建一個(gè)scformat結(jié)構(gòu)。由于其中的數(shù)據(jù)是按照鏈表結(jié)構(gòu)組織,所以可以隨時(shí)加入標(biāo)準(zhǔn)圖像及相應(yīng)的命令。同時(shí)對(duì)于某一幅特定圖像,可以選取圖像中的若干關(guān)鍵部分。此過(guò)程結(jié)束后,可以調(diào)用scformat的writescfile,將得到的腳本文件存放到硬盤(pán)文件中。

其二是自動(dòng)控制過(guò)程。在進(jìn)行自動(dòng)控制時(shí),首先從硬盤(pán)上讀入文件,調(diào)用readscfile將文件中的數(shù)據(jù)加入到一個(gè)scformat結(jié)構(gòu)中。然后按照這個(gè)scformat腳本文件中的數(shù)據(jù)進(jìn)行自動(dòng)控制。由于系統(tǒng)中采用壓縮技術(shù),所以在控制站點(diǎn)取得壓縮包之后,進(jìn)行解壓,得到實(shí)時(shí)圖像,然后將實(shí)時(shí)圖像與運(yùn)行腳本中的圖像逐個(gè)進(jìn)行比較。如果比較相符,則停止比較,同時(shí)將相應(yīng)的命令傳送給遠(yuǎn)端機(jī)器人;如果獲得相符的結(jié)果,則說(shuō)明機(jī)器人當(dāng)前不處于任何特定的狀態(tài),所以繼續(xù)循環(huán)檢測(cè)和比較。

4 平臺(tái)運(yùn)行環(huán)境

本系統(tǒng)在實(shí)驗(yàn)室中進(jìn)行了充分的測(cè)試和修改,硬件和軟件的環(huán)境如下。

硬件環(huán)境:

Intel Pentium 4 處理器

nVidia TNT2 M64 圖像顯示卡

Intel ProShare Personal Conferencing 攝像頭,Leadtek WinFast TV2000視頻采集卡

10M/100M自適應(yīng)網(wǎng)卡,100M以太網(wǎng)

軟件環(huán)境:

Microsoft Windows 2000 Advanced Server

Borland Delphi 6.0 (With Update pack 2)

Microsoft Visual C++ 6.0 (Service Pack 5)

5 實(shí)際測(cè)試

本系統(tǒng)在實(shí)驗(yàn)室中進(jìn)行了充分的測(cè)試。在通常的情況下,對(duì)于反映某一運(yùn)動(dòng)狀態(tài)的圖像,系統(tǒng)默認(rèn)可以抽取0～5個(gè)關(guān)鍵部分來(lái)反映該狀態(tài)的特征。而對(duì)于一個(gè)運(yùn)行腳本而言,如果是有序化的簡(jiǎn)單腳本(也就是說(shuō)腳本中的圖像按照要進(jìn)行的操作順序排列,系統(tǒng)只需將得到的實(shí)時(shí)圖像與目前應(yīng)該處于的那一幅圖像進(jìn)行比較即可),腳本中可以包含任意多幅(在存儲(chǔ)大小滿(mǎn)足的條件下)反映關(guān)鍵狀態(tài)的圖像;如果是無(wú)序的腳本,也就是說(shuō)系統(tǒng)需將所獲取的圖像與腳本中的所有圖像進(jìn)行比較以得到當(dāng)前需要執(zhí)行的指令。在測(cè)試中,腳本包含十幅圖像時(shí),仍能很快得出比較的結(jié)果。從測(cè)試來(lái)看,本系統(tǒng)的關(guān)鍵設(shè)計(jì)思想均是可用的。

責(zé)任編輯：gt