仙工智能解決AI結合機器人應用的關鍵點

隨著智能制造的不斷升級和落地，工廠內的智能搬運和智慧物流也越來越被關注?，F(xiàn)階段如何將視覺技術更方便、實用、安全、穩(wěn)定地部署到應用中，將成為 AI 結合機器人應用的關鍵點。仙工智能（SEER）全感知 AI 物流系統(tǒng) RoboView 正在解決這些關鍵點。

全感知 AI 物流系統(tǒng) RoboView 的視覺應用

由于工業(yè)場景的復雜性，將前沿的視覺技術引入作業(yè)場景中并非易事，最關鍵的一點是如何將前沿的視覺技術方便地落實到實際應用中，并讓客戶快速掌握使用技能。尤其是在 3D 視覺應用中，要求精準定位并評估 3D 場景下的物體，但現(xiàn)階段因較高的研發(fā)和部署難度，它的應用往往不如 2D 技術普遍，可隨著科技技術的發(fā)展，3D 技術終將成為未來的趨勢，得到更多的應用。如下圖 RoboView 在一個典型的3D應用中的流程。

3D視覺在3D抓取任務中，需要識別目標的位姿

比如說，在AGV物流倉儲中，為了對貨物進行有效的管理，需要借助3D視覺技術來完成搬運、堆疊任務，但由于實際工廠環(huán)境差異大（光照條件差異），場景變化多，貨物本身的尺寸差異大（從幾百到幾千毫米）以及對搬運、堆疊任務的精度要求差異大（毫米級到厘米級）等原因，便需針對具體的客戶場景制定相對應的方案，這給研發(fā)和部署都帶來較大難度。

為使這類應用的部署更簡單、高效，仙工智能（SEER）將自己開發(fā)的視覺算法庫、相機庫和機器人庫融合到一整個視覺應用平臺中，這樣在部署時即可靈活地選擇與應用相對應的相機和方案。比如，從十幾家廠家中的上百種甚至更多種類中選擇真正符合應用的相機，并直接選擇對應的算法和機器人，真正做到“量體裁衣”。

這個視覺應用平臺就是仙工智能（SEER）全感知 AI 物流系統(tǒng)RoboView，在其強大的算法能力支撐下，通過一鍵部署，不僅可降低成本，還極大提高了部署效率。

RoboView 應用庫

就目前的車間或工廠而言，遇到最大的問題是庫位管理效率低，而 RoboView 能夠將庫位管理更“智慧”地融合到系統(tǒng)中，比如 AGV 的調度系統(tǒng)等，不僅使自動化物流系統(tǒng)更流程化，還降低了管理成本，提高了管理效率。

實際上，RoboView 實現(xiàn)的庫位管理系統(tǒng)，只需要在需要進行庫位管理的倉庫里部署幾臺相機和一臺視覺服務器并運行 RoboView，即可完成庫位管理。此時 RoboView 將負責庫位管理的全部任務，并和調度系統(tǒng)對接，在“悄無聲息”間完成庫位管理任務，如庫滿/空、出/入庫、錯誤入庫及其他豐富的管理能力。

RoboView 實現(xiàn)的庫位管理系統(tǒng)示意圖

另外，在一些密集倉儲的區(qū)域，即使在自動叉車上安裝再多的傳感器也無法避免一些危險情形，比如下圖的情形：

密集倉儲的區(qū)域，可能遇到的一些危險情形

由上圖可以看到，在人員和自動叉車、AMR混用的場景中，在一些現(xiàn)場的設備、人員、貨物統(tǒng)一管理的難題，RoboView 便可為客戶解決這些難題。更多詳情邀您親臨 2021 ITES 深圳工業(yè)展 21-H41 展位。

全感知 AI 物流系統(tǒng) RoboView 的誕生

RoboView 的靈感來源于 RoboCup 小型組足球機器人比賽，作為RoboCup 中最強調團隊協(xié)作和對抗的組別，小型組采用了外部的視覺服務作為了機器人位置的主要感知方式，其典型場景如下：

RoboCup 小型組足球機器人位置的主要感知方式示意圖

通過外部視覺感知和統(tǒng)一的大腦對場景內的機器人進行統(tǒng)一管理，從而實現(xiàn)各種復雜的協(xié)作與對抗。

世界小型機器人足球比賽 Robocup 比賽現(xiàn)場

由此出發(fā)，仙工智能（SEER）在基于 SLAM 導航的體系外，創(chuàng)新性地提出全感知 AI 物流系統(tǒng) RoboView。

1、RoboView 架構

RoboView 由感知平臺和感知節(jié)點共同構成，其中感知平臺作為系統(tǒng)的核心是提供所有的視覺服務、為智能工廠及物流系統(tǒng)提供必要信息（包括庫位管理信息、車隊跟蹤信息、設備運行狀態(tài)等）、小車作業(yè)視覺服務請求響應、系統(tǒng)安全監(jiān)控信息等四大部分；感知節(jié)點包括固定或移動式的圖像（2D）/點云（3D）采集設備及編組。

感知平臺為獨立運行的視覺服務器，其主要提供視覺 AI 感知能力，通過 2D/3D 視覺的技術實現(xiàn)對感知區(qū)域內的目標進行識別、定位和檢測。感知平臺只需要一份輸入，以及一個輸出定義（DOO， Definition Of Output），即可完成一次感知服務，因此它是多任務的，相互獨立的信息感知平臺。

感知節(jié)點是分布式部署的，分為固定節(jié)點和移動節(jié)點。固定節(jié)點是指固定安裝的圖像（2D）/點云（3D）采集設備，如普通的監(jiān)控攝像頭、ToF 相機、3D 激光雷達等都可以作為感知節(jié)點接入；移動節(jié)點指這些安裝在移動機器人上的各類視覺圖像（2D）/點云（3D）采集設備，通過仙工智能（SEER）的 SRC 核心控制器可以實現(xiàn)與 RoboView 的無縫對接。

感知節(jié)點可以通過 Roboshop 一站式布署軟件加入 SLAM 地圖中，并配置相應的工作流，從而實現(xiàn)節(jié)點的快速設置布署。同時，全感知 AI 物流系統(tǒng) RoboView 與仙工智能企業(yè)數(shù)字化中臺 SEED 配合，可以實現(xiàn)對場所內的各個系統(tǒng)的部署、規(guī)劃和監(jiān)控，并實現(xiàn)對 AMR 及無人叉車的安全監(jiān)控及作業(yè)規(guī)劃。

仙工智能（SEER）全感知物流系統(tǒng)解決方案

2、AI 全感知技術

AI 全感知平臺融合了多項關鍵技術，為物流管理系統(tǒng)提供了豐富的信息。

【增強顯示】通過數(shù)個固定感知節(jié)點全方位“觀察”，結合多點視覺的配準、拼接、融合技術，將整個倉庫的實時狀態(tài)盡收眼底，在原有監(jiān)控視頻的基礎上加入了 AR 增強信息，讓現(xiàn)場人員對設備狀態(tài)更加直觀清晰。

【車輛監(jiān)控】結合車輛自身信息，對場景內的每一輛 AMR 及自動叉車進行實時定位和追蹤，捕獲并預測車輛的運行軌跡，結合仙工智能企業(yè)數(shù)字化中臺 SEED，對偏離作業(yè)任務的車輛及時發(fā)出調整指令并向平臺發(fā)出警告。

【目標識別定位】RoboView 不僅僅包含常規(guī)的視覺感知算法，還包含了先進的深度學習算法，大大地提高了系統(tǒng)的抗干擾性。目標檢測技術，能夠實時從視頻流中檢測出目標物體，如小車或人；3D 點云的分割技術，能夠直接從點云中提取目標物體，并給出尺寸、位置等重要信息，使算法更加穩(wěn)定、可靠。另外，通過圖像語義分割技術，還可以為倉庫的管制標記、道路標識和作業(yè)車等進行一次性分割、提取，為控制平臺提供了另一項重要信息。

【庫位管理】通過部署在場景中的多臺固定感知節(jié)點，感知平臺能夠實時獲取場景里的所有庫位信息，并通過 2D 識別技術，識別&定位出庫位的有效信息，包括但不限于有無貨物、有無小車、有無異物侵入等信息，并將這些信息發(fā)布出去（根據(jù)物流系統(tǒng)的配置，可能發(fā)送給物流系統(tǒng)和小車），物流系統(tǒng)或小車能夠根據(jù)這些信息做有效的決策，大大提升了倉庫管理效率。

【安全監(jiān)控】主要涉及場景內的所有狀態(tài)實時監(jiān)控，其內容包括：外來異物（非作業(yè)人員、作業(yè)人員進入非安全區(qū)域、小車脫離預設任務軌跡、非作業(yè)小車等）侵入監(jiān)控、貨物狀態(tài)監(jiān)控、小車路線障礙物檢測、其他聯(lián)動設備的監(jiān)控（如大型貨架，升降電梯等）。

機器人在場景內的所有狀態(tài)實時監(jiān)控

新的智能化時代已經(jīng)到來，如何打造高度智能化、數(shù)字化的制造平臺，以標準化產(chǎn)品支撐非標應用，敬請關注仙工智能（SEER），2021 年 03 月 30 日至 04 月 02 日，在 2021 ITES 深圳工業(yè)展 12-H41 展位。

原文標題：【本潤諧波 | 聚焦】如何利用視覺技術解鎖車廠協(xié)同新模式

文章出處：【微信公眾號：高工機器人】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq