NVIDIA Jetson 月度項目：能瞄準、射門和得分的自主足球機器人

足球被認為是全世界最受歡迎的運動之一，這主要是因為足球比賽往往十分激烈，能夠展現(xiàn)球員們出色的體能與技術，讓觀眾看得驚心動魄。因此，自然會有人致力于向機器人傳授足球比賽的精髓，包括如何搶球、瞄準球門、傳球和進球得分等。

事實上，的確有一項專為這個想法而開展的賽事。RoboCup 小型機器人聯(lián)賽 （Small Size League, SSL）之視覺封鎖技術挑戰(zhàn)賽，就在鼓勵參賽團隊“探索本地傳感和處理方法，而非采用常見的板外計算機和全局攝像頭感知環(huán)境的方法”。來自巴西累西腓伯南布哥聯(lián)邦大學的學生 Jo?o Guilherme、其指導老師 Edna Barros 和其他 SSL 隊友共同制造了一個由 NVIDIA Jetson Nano 開發(fā)者套件驅動的全向移動機器人，該機器人可以自主執(zhí)行足球任務。

該團隊所制造的全向移動機器人配有單目攝像頭，可自主執(zhí)行以下任務：

• 定位

• 找球和搶球

• 坐標計算

• 將球傳給其他機器人隊友

• 射空門得分

團隊制造這臺機器人時，使用了平均處理速度為 30 FPS 的 AI 軟件工作流，硬件功耗僅為 10.8 W 左右。

機器人前部有一個踢球裝置，是一個四輪全向移動機器人。圖 1 為機器人的幾何形狀。

圖 1. 由 NVIDIA Jetson Nano 開發(fā)者套件驅動的

全向移動機器人的運動能力可以自主執(zhí)行足球任務

該團隊在《制造 RoboCup 小型機器人聯(lián)賽自主機器人》一文中解釋道：“我們在搶球、進球和傳球這三個足球任務上評估了系統(tǒng)，成功率分別達到 80%、80% 和 46.7%?！?/p>

比賽期間，各隊將使用場外計算機執(zhí)行大部分計算，去接收球的位置并采集場地幾何信息和裁判指令。比賽隊伍分成 6 個機器人組 （B 組） 和 11 個機器人組（A 組），機器人通過帶寬最小的射頻通信接收導航指令。機器人的直徑和高度限制分別為 180 毫米（B 組）和 150 毫米（A 組），因此被稱為“小型機器人聯(lián)賽”。

RoboCup 小型機器人聯(lián)賽分為四個階段：

1. 在賽場某處抓到一個靜止的球

2. 將球射入空門得分

3. 將機器人移動到特定坐標

4. 間接射門得分（需要兩個機器人）

另外，該挑戰(zhàn)賽還要求機器人能夠檢測場地中的物體、估算物體的位置、計算導航路徑并記錄經過的軌跡。

Guilherme 和他的隊友在《制造 RoboCup 小型機器人聯(lián)賽自主機器人》一文中表示：“SSL 比賽是一種機器人資源極其有限的高度動態(tài)化環(huán)境，這就要求解決方案必須考慮尺寸、功耗、精度和處理速度之間的權衡。我們在研究中提出了一種使這些機器人能夠自主執(zhí)行基本足球任務的架構，也就是說這些機器人不用接收任何的外部信息?！?/p>

項目硬件

該團隊在項目中使用了以下硬件：

• 一套 Jetson Nano 開發(fā)者套件，用于執(zhí)行嵌入式視覺和制定決策

• 一個全向移動機器人

• 一個羅技 C922 攝像頭，用于提供單目視覺

• 慣性傳感器，用于估算里程

• 一個 STM32F767ZI 微控制器單元 （MCU），用于接收來自 Nano 的目標相對位置和導航標志，并使用慣性里程計執(zhí)行底層控制和軌跡估計

圖 2. 足球機器人的 AI 檢測流程和運動規(guī)劃

有關所使用硬件的更多信息，請參見 Rob?CIn 2020 團隊說明文件：https://ssl.robocup.org/wp-content/uploads/2020/03/2020_TDP_RoboCIn.pdf

技術挑戰(zhàn)

在該賽事的視覺封鎖挑戰(zhàn)賽中，獲勝機器人必須能夠完成各種足球技能，包括抓住靜止的球、射空門得分、移動到特定坐標以及間接進球得分（傳球給另一個機器人）等。

機器人必須能夠僅使用嵌入式傳感和處理技術來完成這些技能。這項挑戰(zhàn)沒有高度限制，因此團隊在普通機器人的頂部添加了一個板載攝像頭、Jetson Nano 和一塊電源板。

圖 3. 團隊為視覺封鎖挑戰(zhàn)賽改裝的足球機器人（左）

和他們原來的機器人（右）

此外，這項挑戰(zhàn)還要求機器人能夠探測場地中的物體、估算其位置、計算導航路徑并記錄經過的軌跡。SSL 足球比賽利用外部攝像頭和板外計算機感知環(huán)境，并向機器人發(fā)送指令。

研究人員表示，該 SSL 視覺架構“存在一定的局限性，比如攝像頭的視野、色彩分割、軟件延遲和通信中斷等，這迫使團隊開發(fā)出能夠應對復雜條件的解決方案。例如，球遮擋是比賽中的一個常見問題，即機器人在攝像頭圖像上的投影與球重疊。還有就是球和機器人的位置會發(fā)生偏移，偶爾會出現(xiàn)檢測不到或檢測錯誤的情況?！?/p>

在 SSL 比賽中，機器人和球的速度分別高達 3.7 m/s 和 6.5 m/s，這使得比賽的移動速度非?？?，因此需要高吞吐量的解決方案。此外，受尺寸限制，再加上使用電池作為電源，解決方案的功耗必須較低。在比賽過程中，機器人還要做出精準的遠射和長傳，因此需要能夠精確估算位置。

團隊還注意到精確的電機控制的重要性，這樣機器人就可以在足球場上移動，并保持其測量位置的準確性。他們需要一種方法，來降低機器人對位置的內部理解與實際物理位置之間偏離的比率。

圖 4. 足球機器人的攝像頭可幫助檢測物體并提供視野，

以便機器人作出決策和規(guī)劃路徑

項目軟件和 AI

研究團隊使用 OpenCV2 以及校準和姿勢計算技術提取單目攝像頭（固定在機器人上）的 “內在和外在參數(shù)”。他們使用 SSD MobileNet v2 檢測攝像頭幀畫面上的物體 2D 邊界框，還使用一個程序對 SSD MobileNet 創(chuàng)建的邊界框坐標執(zhí)行線性回歸，用于估算出預校準攝像頭參數(shù)。這將在場地上分配對應物體底部中心的點（代表物體與攝像頭的相對位置），包括對應該機器人的點。

結果

團隊對他們的機器人在今年挑戰(zhàn)賽中的表現(xiàn)非常滿意，主要包括：

• 抓取靜止的球：在 15 次嘗試中，機器人有 12 次能夠在球接觸到運球器時將球停住，成功率高達 80%。

• 進球：在 15 次跑動中，有 12 次進球。

• 傳球：在 15 次嘗試中，成功傳球 7 次，成功率為 46.7%。

團隊自 2019 年起參加 RoboCup 小型機器人聯(lián)賽，并于 2022 年贏得首個世界冠軍（B 組）。他們目前還是三屆拉丁美洲冠軍。“RoboCup 2023 之 Rob?CIn 小型機器人聯(lián)賽團隊介紹文件擴增版”（https://arxiv.org/abs/2307.10018）介紹了該團隊為獲得 7 月底在法國波爾多舉行的 RoboCup 2023 小型機器人聯(lián)賽 （SSL） B 組冠軍而對其項目作出的改進。最終，他們如愿奪冠。

圖 5. 機器人抓取靜止的球（上）并射門得分（下）

未來的計劃

Guilherme 深入介紹了團隊在比賽中遇到的挑戰(zhàn)，以及可以在未來的賽事中作出的改進。他指出，大多數(shù)失敗都是由于錯誤檢測到場外物體造成的，“我們正在研究一種檢測賽場邊界，并使用掩碼來屏蔽這些物體的解決方案。”

該團隊需要更加快速的物體檢測解決方案。Guilherme 表示：“盡管我們目前能夠執(zhí)行基本的技能，但 30 FPS 的處理速度對于 SSL 環(huán)境來說仍然很低。在主要比賽中，攝像頭的運行速度通常為 70 FPS?！?/p>

該機器人完全是根據檢測到的物體的相對位置來執(zhí)行技能，也就是說，它并不知道自己在賽場上的位置。Guilherme 表示：“我們認為這些信息可以幫助優(yōu)化在足球任務中的表現(xiàn)，同時還能讓我們避免處罰，例如避免機器人進入守門員區(qū)域等。我們正在研究一種基于蒙特卡洛定位 （MCL） 的自定位算法，并將在未來幾個月內發(fā)布相關信息。”

該團隊計劃在未來為該機器人的系統(tǒng)添加更多功能（如賽場線檢測、定位算法和路徑規(guī)劃等），他們將努力優(yōu)化系統(tǒng)的每個部分來滿足這些需求。

此外，該團隊還在繼續(xù)研究檢測賽場邊界和賽場線，以及估算機器人自我位置的解決方案。他們還計劃用 Jetson Orin Nano 替換 Jetson Nano ，從而提高機器人的處理速度。這一升級將幫助提高團隊在聯(lián)賽中的競爭力。

請訪問開發(fā)者論壇和 GitHub，進一步了解該團隊的原始項目。

開發(fā)者論壇：https://forums.developer.nvidia.com/t/ssl-detector-objects-detection-and-position-estimation-at-the-robocup-small-size-league-ssl/221385

GitHub：https://github.com/jgocm/ssl-detector

您還可以探索 Jetson 社區(qū)項目，從其他機器人開發(fā)者那里獲得更多想法和靈感：https://developer.nvidia.com/embedded/community/jetson-projects

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

SIGGRAPH 2023 | NVIDIA 主題演講重磅發(fā)布精彩回顧，探索 AI 無限未來！

敬請持續(xù)關注...

SIGGRAPH 2023 NVIDIA 主題演講中文字幕版已上線 ！掃描下方海報二維碼，或點擊“閱讀原文”即可觀看，與 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛一起探索 AI 的未來！