基于深度相機的機器人視覺系統(tǒng)設計

葛紹強，楊永輝，周自維

（遼寧科技大學 電子信息與工程學院，遼寧 鞍山 114051）

摘??要：針對工業(yè)機器人視覺領域中現有手眼標定方法復雜的問題，提出一種基于3D視覺的簡便手眼標定方法即將3D深度相機和礦山爆破機器人相結合，利用3D深度相機能夠獲取空間點坐標的原理以及3個參考點的幾何關系，獲取標定板上參考點到相機的坐標轉換關系。同時機器人末端法蘭盤中心到機器人基坐標系的轉換關系已知，可利用 TSAI 兩步法求取相機到機器人末端法蘭盤中心的轉換關系，繼而求得參考點在機器人基坐標系中的位姿。把此手眼標定方法應用到礦山爆破機器人系統(tǒng)中，實驗結果表明，最大坐標誤差為 5.7 mm，最小誤差為 0 mm，精度滿足現場礦山孔洞的定位要求。該文的創(chuàng)新點是利用深度相機的原理和 3個點的幾何關系求取參考點到相機的轉換關系。

中圖分類號：TN876?34；TP242；TP391.41 ??文獻標識碼：A

文章編號：1004?373X（2022）02?0172?05

0 引 言

目前，視覺工業(yè)機器人在工業(yè)生產中有很多應用，比如機器人抓取、焊接、噴涂、搬運等各個方面[1]。在工業(yè)機器人視覺領域中，手眼標定的主要目的是獲取相機到機器人末端法蘭盤的轉換關系[2?3]，根據這種轉換關系將空間中點的坐標轉換到機器人基坐標系下，這樣才能更好地控制機器人的手臂去完成相應的任務，因此手眼標定的研究對于工業(yè)機器人視覺有著重大的意義。對于手眼標定的研究，文獻[4]中敘述了手眼標定的定義；文獻[5]提出一種相機標定和四點位姿估計的手眼標定方法，但該方法需要進行相機標定獲取相機的外參，即需要獲取標定板到相機的轉換關系；文獻[6]提出一種高精度的手眼標定方法，對標定過程中采集的圖像進行校正，提高相機外參的精度，進而進行手眼標定。文獻[7]提出一種基于ROS的機器人自動手眼標定方法，其中利用PnP的方法求解標定板到相機的轉換關系。對于手眼標定復雜的問題，本文根據深度相機的原理和棋盤格上的參考點的幾何關系，求取參考點到相機的轉換關系，再結合機器人末端法蘭盤到機器人基坐標系的轉換關系，求解相機到機器人末端法蘭盤的轉換關系。

1 礦山爆破機器人視覺系統(tǒng)設計

礦山爆破機器人視覺系統(tǒng),由六自由度工業(yè)機器人(KUKA R16?2F)、深度相機 RealsenseD435、機器人抓取工具組成，采用眼在手上的方式，將深度相機固定在機器人末端處，深度相機隨著機器人的位姿變換而變化，這種類型的手眼標定，相機的視野更大。礦山爆破機器人視覺系統(tǒng)結構圖如圖1所示。

首先，相機利用深度學習算法YOLOV3識別出礦山中的孔洞，得出孔洞中心點的像素坐標；然后，結合深度相機原理計算出孔洞中心在相機坐標系下的空間坐標，隨后結合手眼標定關系，將孔洞中心的空間坐標轉換到機器人基坐標系下。 ?

2 手眼標定

2.1 手眼標定原理介紹

手眼標定分為兩種類型：一種是眼在手上的手眼標定(Eye?in?Hand)；一種是眼在手外的手眼標定(Eye?to?Hand)[8]。本文主要敘述眼在手上的手眼標定類型，首先對照下手眼標定的示意圖，如圖2所示。Base表示機器人的基坐標系，在機器人末端法蘭盤上安裝一個相機（圖中Center表示法蘭盤的中心，Camera表示的是相機),在機器人視野前面固定一個標定板（棋盤格,圖中用Checkerboard表示),棋盤格上的某個參考點與機器人基坐標的關系是固定不變的，利用這個不變的關系進行機器人的手眼標定。

用示教器控制機器人移動，讓相機拍攝棋盤格標定板，把此時的機器人位姿定義為1，用Tgi 表示機器人末端法蘭中心到機器人基坐標系下的轉換關系，Tcg表示相機坐標系到機器人末端法蘭中心的轉換關系（待求，這個關系是固定不變的),Tci表示參考點到相機的轉換關系。同樣控制機器人移動到另外一個位姿下，把此時的機器人位姿定義為 2，用 Tgj表示機器人末端法蘭中心到機器人基坐標下的轉換關系,Tcg仍然是相機坐標系到機器人法蘭中心的轉換關系，Tcj 表示此時參考點到相機的轉換關系。Tgij表示位姿1 和位姿2機器人末端法蘭中心坐標系之間的相對位置的齊次變換矩陣。Tcij表示位姿 1和位姿2下特征點到相機的轉換關系的齊次變換矩陣[9]。根據標定板上棋盤格中的某參考點到機器人基坐標系下的轉換關系不變的原則有如下關系：

首先，對式（1）兩邊同時右乘T-1ci ，得：

再對式（2）兩邊同時乘T-1gj ，得：

式中：T-1gj Tgi就是表示位姿1和位姿2之間的法蘭中心坐標系的齊次變換矩陣Tgij；TcjT-1ci就是表示位姿1和位姿2下參考點到相機轉換關系的齊次變換矩陣Tcij。得到：

可以令Tgij=A, Tcij=B, Tcg=X,得：

式中，A,B 已知，那么手眼標定的問題轉換成求解AX=XB的問題[10?14]，求解X利用 TSAI兩步法求解。

2.2 參考點姿態(tài)確定方法 根據參考點的像素值、深度值和深度相RealsenseD435的SDK函數rs2_deproject_pixel_to_point（），獲取棋盤格上參考點的空間坐標，這里參考點選擇3個，且這3個點構成一個直角三角形，利用直角三角形有兩個邊相互垂直的原理，可確定角度為90°的參考點姿態(tài)。具體原理如圖3所示。

根據圖3所示，A，B，C 三點構成一個直角三角形，AB和BC兩邊相互垂直，且A，B，C 三點在相機坐標系下的空間由3D相機原理獲得，根據A，B兩點的空間坐標和A，C 兩點的空間坐標，可以計算出向量AB 和向量AC，讓兩個向量作叉積，即可得向量AD，向量AD與平面ABC垂直；接著讓向量AD與向量AC作叉積運算，確保向量AB和平面ACD 垂直；然后分別對向量AB，向量AC，向量AB作單位化處理，該結果即是A點的姿態(tài)。棋盤格上的參考點A，B，C三點的示意圖如圖4所示。

已知A點處的姿態(tài)的空間坐標（位置）和姿態(tài)，就可確定A點的位姿，或者說是參考點到相機的轉換關系矩陣。 ?

3 手眼標定實驗與分析

根據第2節(jié)手眼標定的敘述，畫出了整個手眼標定的流程圖，如圖5所示。根據圖5所示，首先操作機器人到位姿1處，拍攝棋盤格圖片，根據特征點的幾何關系確定點的姿態(tài)，姿態(tài)和位置已知，計算參考點到相機的轉換關系矩陣，同時計算機器人末端到機器人基坐標系的轉換關系矩陣。反復操作機器人到9個不同的位姿處，可以獲得 9張棋盤格圖片、9組參考點到相機的轉換關系和9組機器人末端到機器人基坐標系下的變換矩陣，8組Tgij和8組Tcij。9張圖片如圖6所示。

取8組Tgij和8組Tcij中的3組數據如表1所示。

根據8組Tgij和8組Tcij數據，再結合TSAI兩步法，即可求得相機到機器人末端的轉換關系矩陣Tcg ，用Matlab程序進行仿真，求Tcg 矩陣和在機器人基坐標系下，參考點與相機的相對位置的關系圖，Tcg如下：

相對位置關系如圖7所示。

圖7中，分散的點表示相機的姿態(tài)，密集的點表示參考點的姿態(tài)。

利用該標定關系，將棋盤格中參考點的像素坐標轉換到機器人基坐標系下，參考點坐標在機器人基坐標系下的，理論值和實際值如表2所示。

其中，理論值是根據Tgi*Tcg*Tci關系求得的，因為機器人共移動9個位姿，因此理論值有9個，實際值是根據控制機器人末端的法蘭盤移動到參考點，根據示教器讀出的該參考點在機器人基坐標系下的坐標且都為（1704.8，-252.5，1030.1）。從表中可以看出，其理論值中3個坐標值和實際值中3個坐標值的誤差最大為5.7mm，最小誤差為0mm。隨后，搭建一個模擬礦井隧道，孔洞的半徑大約控制在50 mm 左右，控制機器人工具抓取注藥工具運動到炮孔中心測試，每次都能精準地抓取注藥管運送到孔洞中心處，其精度滿足礦山爆破的需求。測試過程中的實驗圖如圖8所示。

4 結 語

本文提出一種基于深度相機的手眼標定方法，該標定平臺利用棋盤格上的特征點幾何關系，獲取棋盤格上參考點到相機的轉換關系矩陣，同時利用示教器讀取的機器人末端的位姿計算機器人末端到機器人基坐標系下的轉換矩陣，把這兩個關系矩陣與TSAI兩步法結合，即可求得相機到機器人末端法蘭盤的轉換關系。此過程充分利用深度相機的原理，不需要對其求取相機的外參，過程簡便且精度滿足礦山爆破任務的要求。該標定平臺在其他應用工業(yè)機器人視覺領域中也有一定的借鑒意義。

注：本文通訊作者為楊永輝。

參 考 文 獻

[1] 田鵬飛，楊樹明，吳孜越，等 .結合精度補償的機器人優(yōu)化手眼標定方法[J].西安交通大學學報，2020（8）：99?106.

[2] 王昌云，李立君 . 基于四元數的機器人手眼標定算法[J]. 傳感器與微系統(tǒng)，2019，38（12）：133?135.

[3] SHARIFZADEH S，BIRO I，KINNELL P. Robust hand ? eyecalibration of 2D laser sensors using a single ? plane calibrationartefact [J]. Robotics and computer ? integrated manufacturing，2020，61：101823.

[4] WU L，WANG J L，QI L，et al. Simultaneous hand?eye，tool?flange，and robot ? robot calibration for comanipulation bysolving the AXB=YCZ problem [J]. IEEE transactions onrobotics，2016，32（2）：413?428.

[5] 吳安成，何衛(wèi)鋒，歐陽祥波.基于OpenCV 的碼垛機器人手眼標定方法[J].制造技術與機床，2018（6）：45?49.

[6] 任杰軒，張旭，劉少麗，等 . 一種高精度機器人手眼標定方法[J].現代制造工程，2020（4）：44?51.

[7] 陳寶存，吳巍，郭毓，等 .基于 ROS的機器人自動手眼標定系統(tǒng)設計[J].計算機仿真，2020，37（2）：343?348.

[8] 張妍 .工業(yè)機器人手眼標定精度分析研究[D].揚州：揚州大學，2019.

[9] 何佳唯，平雪良，劉潔，等 .一種機器人手眼關系混合標定方法[J].應用光學，2016，37（2）：250?255.

[10] LI H Y，MA Q L，WANG T M，et al. Simultaneous hand?eyeand robot ?world calibration by solving the AX = YB problemwithout correspondence [J]. IEEE robotics and automationletters，2015，1（1）：1.

[11] TABB A，YOUSEF K M A. Solving the robot?world hand?eye（s） calibration problem with iterative methods [J]. Machinevision and applications，2017，28（5/6）：569?590.

[12] MA Q， LI H， CHIRIKJIAN G S. New probabilisticapproaches to the AX=XB hand ? eye calibration withoutcorrespondence [C]// 2016 IEEE International Conference onRobotics and Automation. Stockholm：IEEE，2016：4365 ?4371.

[13] GROSSMANN B，KRüGER V. Continuous hand?eye calibrationusing 3D points [C]// 2017 IEEE 15th InternationalConference on Industrial Informatics. Germany：IEEE，2017：311?318.

[14] ZENG J，CAO G Z，LI W B，et al. An algorithm of hand?eyecalibration for arc welding robot [C]// 2019 16th InternationalConference on Ubiquitous Robots. Seoul：IEEE，2019：1?6.

作者簡介：

葛紹強（1994—），男，安徽亳州人，碩士，主要研究方向為計算機視覺與機器人控制。

楊永輝（1971—），男，遼寧鞍山人，教授，主要研究方向為計算機視覺與智能控制。

周自維（1974—），男，遼寧鞍山人，副教授，主要研究方向為智能機器人與計算機視覺。

編輯：黃飛

?