如何使用深度強化學習進行機械臂視覺抓取控制的優(yōu)化方法概述

　　針對提高視覺圖像特征與優(yōu)化控制之間契合度的問題，本文提出一種基于深度強化學習的機械臂視覺抓取控制優(yōu)化方法，可以自主地從與環(huán)境交互產生的視覺圖像中不斷學習特征提取，直接地將提取的特征應用于機械臂抓取控制。通過不斷的抓取實驗，優(yōu)化機械臂抓取策略，最終獲得優(yōu)秀的抓取策略。并且可以針對不同的抓取任務和抓取環(huán)境，學習相應的機械臂抓取控制策略。

　　神經網絡是人工智能研究領域的核心之一，其本質是模擬人腦的學習系統(tǒng)，通過增加網絡的層數(shù)讓機器從數(shù)據中學習高層特征。近年來，由于神經網絡優(yōu)異的算法性能，已經廣泛應用于圖像分析、目標檢測等領域。

　　視覺圖像提供了豐富的特征信息，可以提供某個時刻對于研究問題所需要的環(huán)境的有效狀態(tài)信息。正因為其具有的豐富的特征信息量，視覺圖像被廣泛應用于如機器人導航、機械臂控制等許多應用上。純粹基于視覺圖像的抓取控制，其質量極大地依賴于圖像的特征提取的準確性和機械臂抓取控制的動力學模型的準確性。但是，傳統(tǒng)的視覺特征提取算法受環(huán)境動態(tài)變化的影響，手工提取的特征往往費時費力，很難滿足機械臂抓取控制的需求。同時，機械臂運動軌跡的求解與規(guī)劃，正逆動力學模型的建立往往也十分困難。

　　目前國內外許多文章提出了不同的機械臂控制方法，近年來由于圖像識別技術的發(fā)展以及人工智能得到廣泛的運用，出現(xiàn)了將兩者結合起來用于機械臂的控制，并且取得了良好的效果。將機械臂避障路徑規(guī)劃問題置于強化學習的框架當中，采用深度Q 學習的方法訓練策略以規(guī)劃路徑，使得機械臂能夠在空間中存在障礙物的情況下實現(xiàn)避障抓捕。對圖像進行了預處理并提取了目標邊緣，結合目標特點對提取的邊緣進行了橢圓擬合，并對橢圓擬合偏差進行了分析。針對常規(guī)方法設計視覺控制器的不足，基于BP 神經網絡對視覺控制器進行了設計，考慮了不同網絡參數(shù)和訓練算法對網絡訓練效果的影響。深入分析了機械臂特性和目標特性，在建立機械臂、相機和目標的運動關系的基礎上，基于立體視覺實現(xiàn)了對空間目標的位姿測量，控制機械臂進行抓取預定位。考慮立體相機的測量誤差和機械臂的控制精度因素，在抓取末階段采用單目相機，基于圖像的視覺伺服策略控制機械臂進行精確位姿調整對目標進行抓取。以二自由度機械臂為基礎，用攝像機獲取機械臂運動區(qū)域的圖像，通過圖像分析，求解機械臂末端執(zhí)行器在直角坐標空間的坐標值，將該值作為系統(tǒng)的實際位置，并通過反饋與期望坐標值相減，將所獲得的誤差作為機械臂控制系統(tǒng)的補償量，實現(xiàn)整個系統(tǒng)的全閉環(huán)控制，進一步解決了原半閉環(huán)控制帶來的控制精度不高的問題。針對多自由度機械臂的神經網絡控制問題，將控制系統(tǒng)根據自由度分為兩個子系統(tǒng)，提出全局神經網絡與局部神經網絡組合對機械臂系統(tǒng)進行控制。

　　指出機械臂視覺抓取系統(tǒng)中基于深度學習的視覺識別可通過對深度卷積神經網絡的訓練實現(xiàn)多目標快速識別而不必更改識別算法。這需要搜集被檢測目標的大量圖像制作標準的訓練集，利用前述基于深度神經網絡的目標識別算法對數(shù)據集進行離線訓練，將得到的模型用于在線識別。R-CNN 系列算法是目前主流的用于機械臂抓取的深度學習目標檢測算法，但是速度上并不能滿足實時的要求。

　　機械臂視覺抓取在常規(guī)的機器人學、控制理論的基礎上，融合了計算機視覺理論、深度學習和人工智能等學科，具有重要的科研和應用價值。

　　如何提高視覺圖像特征與優(yōu)化控制之間的契合度是現(xiàn)有技術需要解決的問題。針對現(xiàn)有技術的缺點，本文提出了一種結合深度強化學習［15］的機械臂視覺抓取控制優(yōu)化方法。在建立在人工智能算法深度強化學習的基礎上，能自主地學習視覺圖像的特征提取，并有效地規(guī)劃機械臂的抓取控制軌跡。同時，根據不同的應用環(huán)境和抓取目標，自主地學習相應的機械臂抓取控制策略，提高了算法的泛化能力。深度強化學習的應用，避免了人為的特征提取和運動軌跡計算，提高了準確度，簡化了復雜度，從而提升實際機械臂抓取控制的效率。