0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

解鎖機(jī)器人視覺與人工智能的潛力,從“盲人機(jī)器”改造成有視覺能力的機(jī)器人(上)

東勝物聯(lián) ? 2024-10-12 09:56 ? 次閱讀

→點(diǎn)擊右側(cè)欄頭像,進(jìn)入我的電子發(fā)燒友主頁咨詢

正如人類依賴眼睛和大腦來解讀世界,機(jī)器人也需要自己的視覺系統(tǒng)來有效運(yùn)作。沒有視覺,機(jī)器人就如同蒙上雙眼的人類,僅能執(zhí)行預(yù)編程的命令,容易碰撞障礙物,并犯下代價(jià)高昂的錯誤。這正是機(jī)器人視覺發(fā)揮作用的地方,它賦予機(jī)器“看”并解釋周圍環(huán)境的能力。通過使用相機(jī)作為“眼睛”和高級AI作為“大腦”,機(jī)器人視覺為機(jī)器人提供了感知環(huán)境、智能移動、實(shí)時(shí)反應(yīng)和執(zhí)行復(fù)雜任務(wù)所需的能力。在本文中,我們將深入探討構(gòu)成機(jī)器人視覺的組件,探討它與計(jì)算機(jī)視覺的區(qū)別,并揭示AI如何將這項(xiàng)技術(shù)轉(zhuǎn)變?yōu)檎嬲锩缘拇嬖凇?/span>

什么是機(jī)器人視覺?

盡管機(jī)器人和視覺技術(shù)已存在多年,但將兩者結(jié)合卻創(chuàng)造了一個(gè)動態(tài)的組合,極大地增強(qiáng)了機(jī)器人的能力。根據(jù)美國制造工程師學(xué)會機(jī)器視覺分會的定義,機(jī)器人視覺是指通過光學(xué)設(shè)備和非接觸式傳感器自動接收和處理真實(shí)物體圖像的設(shè)備。這個(gè)定義不僅限于相機(jī)——例如,激光雷達(dá)(LiDAR)傳感器也屬于這一范疇。本質(zhì)上,機(jī)器視覺使機(jī)器人能夠復(fù)制人類的視覺能力,使它們能夠承擔(dān)制造業(yè)及其他領(lǐng)域中的復(fù)雜、乏味和關(guān)鍵任務(wù)。

機(jī)器人視覺的核心在于通過視覺數(shù)據(jù)感知和解釋周圍環(huán)境,這些數(shù)據(jù)通常通過相機(jī)或圖像傳感器收集。這個(gè)領(lǐng)域融合了計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和機(jī)器人學(xué)的元素,以實(shí)現(xiàn)動態(tài)環(huán)境中的對象識別、導(dǎo)航和操控等基本功能。機(jī)器人視覺通常涉及圖像采集(使用二維、三維或深度相機(jī)捕捉信息)、通過高級算法(包括深度學(xué)習(xí))進(jìn)行處理和分析,以識別物體或動作。此外,機(jī)器人還經(jīng)常將視覺系統(tǒng)與其他傳感器(如LiDAR)結(jié)合使用,以創(chuàng)建詳細(xì)的地圖并利用同時(shí)定位與地圖構(gòu)建(SLAM)技術(shù)確定自身位置。機(jī)器人視覺的應(yīng)用橫跨各個(gè)行業(yè),從自動駕駛汽車和無人機(jī)工業(yè)機(jī)器人和服務(wù)機(jī)器人,推動了質(zhì)量控制、自主導(dǎo)航和物體處理等領(lǐng)域的創(chuàng)新。

agv-products.jpgAGV機(jī)器人產(chǎn)品示意圖

機(jī)器人視覺的組成部分

機(jī)器人視覺需要硬件進(jìn)行數(shù)據(jù)采集和軟件進(jìn)行處理。

硬件

硬件組件包括以下幾個(gè)部分:

鏡頭:捕捉圖像并控制呈現(xiàn)給傳感器的光量。

圖像傳感器:擁有數(shù)百萬個(gè)光敏像素,用于將捕捉到的光轉(zhuǎn)換為電信號,然后傳輸?shù)叫酒M(jìn)行處理(傳感器中的像素越多,圖像越清晰)。

圖像采集卡:包含將傳感器產(chǎn)生的電信號轉(zhuǎn)換為數(shù)字圖像所需的硬件,包括芯片。

I/O單元:這些硬件組件(傳感器和采集卡)必須通過串行通信等方式相互傳輸信號數(shù)據(jù)。

控制設(shè)備:就像人類眼睛移動以觀察不同位置一樣,這些視覺系統(tǒng)也需要控制設(shè)備來調(diào)整相機(jī)以獲得更好的視野(如果是人形機(jī)器人,頭部也應(yīng)可控以改變視野)。

照明:相機(jī)在光照不足的情況下表現(xiàn)不佳,因此這一組件對于在低光條件下提高可見性至關(guān)重要。

圖像傳感器和鏡頭構(gòu)成了視覺系統(tǒng)中的相機(jī),其質(zhì)量取決于像素?cái)?shù)量。硬件的整體質(zhì)量、通信和協(xié)調(diào)也是使系統(tǒng)無縫運(yùn)行的關(guān)鍵。先進(jìn)的機(jī)器人視覺系統(tǒng)采用傳感器融合以獲得對周圍環(huán)境的更好理解,因此有些系統(tǒng)可能配備了激光雷達(dá)、雷達(dá)和超聲波傳感器以改善視覺效果。另一種可以增強(qiáng)視覺的硬件組件是3D視覺傳感器(立體視覺),因?yàn)樗芴峁┣胺轿矬w的高精度距離測量。

軟件

圖像采集卡中的軟件負(fù)責(zé)將傳感器產(chǎn)生的電信號解碼為數(shù)字圖像,并確定前方情況。除了圖像和信號處理外,其他計(jì)算機(jī)算法由AI驅(qū)動。

如前所述,機(jī)器視覺試圖模仿人類,因此從捕獲的圖像中獲取有意義信息的最佳方式是通過智能,盡管在這里是人工智能。這些AI算法包括:

語義分割:這種深度學(xué)習(xí)算法將RGB圖像分割,并將每個(gè)像素與圖像中的一個(gè)類別或標(biāo)簽相關(guān)聯(lián),以實(shí)現(xiàn)精細(xì)感知。

語義識別:智能地識別圖像像素中的對象類別和人物,以理解前方環(huán)境。

語義SLAM:SLAM是同時(shí)定位與地圖構(gòu)建的縮寫,是一種利用語義信息構(gòu)建環(huán)境地圖以實(shí)現(xiàn)自我定位的深度學(xué)習(xí)算法。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    212

    文章

    29161

    瀏覽量

    210596
  • 機(jī)器視覺
    +關(guān)注

    關(guān)注

    163

    文章

    4473

    瀏覽量

    121653
  • 嵌入式主板
    +關(guān)注

    關(guān)注

    7

    文章

    6094

    瀏覽量

    36053
  • AGV
    AGV
    +關(guān)注

    關(guān)注

    27

    文章

    1405

    瀏覽量

    41719
收藏 0人收藏

    評論

    相關(guān)推薦

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】2.具身智能機(jī)器人的基礎(chǔ)模塊

    具身智能機(jī)器人的基礎(chǔ)模塊,這個(gè)是本書的第二部分內(nèi)容,主要分為四個(gè)部分:機(jī)器人計(jì)算系統(tǒng),自主機(jī)器人的感知系統(tǒng),自主機(jī)器人的定位系統(tǒng),自主
    發(fā)表于 01-04 19:22

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+兩本互為支持的書

    之極。 《計(jì)算機(jī)視覺之PyTorch數(shù)字圖像處理》為《具身智能機(jī)器人系統(tǒng)》提供了感知和識別能力,而《具身智能
    發(fā)表于 01-01 15:50

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】2.具身智能機(jī)器人大模型

    近年來,人工智能領(lǐng)域的大模型技術(shù)在多個(gè)方向上取得了突破性的進(jìn)展,特別是在機(jī)器人控制領(lǐng)域展現(xiàn)出了巨大的潛力。在“具身智能機(jī)器人大模型”部分,作
    發(fā)表于 12-29 23:04

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】1.初步理解具身智能

    與未來,涵蓋如基于行為的人工智能、生物啟發(fā)的進(jìn)化人工智能及認(rèn)知機(jī)器人技術(shù)的發(fā)展。這一歷史背景為隨后的大模型驅(qū)動的具身智能討論奠定了基礎(chǔ),隨著人工智能
    發(fā)表于 12-28 21:12

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】1.全書概覽與第一章學(xué)習(xí)

    非常感謝電子發(fā)燒友提供的這次書籍測評活動!最近,我一直在學(xué)習(xí)大模型和人工智能的相關(guān)知識,深刻體會到機(jī)器人技術(shù)是一個(gè)極具潛力的未來方向,甚至可以說是推動時(shí)代變革的重要力量。能參與這次活動并有機(jī)會深入
    發(fā)表于 12-27 14:50

    《具身智能機(jī)器人系統(tǒng)》第7-9章閱讀心得之具身智能機(jī)器人與大模型

    將自然語言理解與運(yùn)動規(guī)劃融為一體。這種端到端的方法使機(jī)器人能夠直接人類指令生成動作序列,大幅簡化了控制流程。該項(xiàng)目的工作流程包含設(shè)計(jì)并封裝一個(gè)人機(jī)器人函數(shù)庫、編寫清晰地描述提示詞、在仿真環(huán)境中執(zhí)行
    發(fā)表于 12-24 15:03

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+數(shù)據(jù)在具身人工智能中的價(jià)值

    嵌入式人工智能(EAI)將人工智能集成到機(jī)器人等物理實(shí)體中,使它們能夠感知、學(xué)習(xí)環(huán)境并與之動態(tài)交互。這種能力使此類機(jī)器人能夠在人類社會中有效
    發(fā)表于 12-24 00:33

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+初品的體驗(yàn)

    動態(tài)互動的。 該理論強(qiáng)調(diào)智能行為源于智能體的物理存在和行為能力,智能體必須具備感知環(huán)境并在其中執(zhí)行任務(wù)的能力。具身
    發(fā)表于 12-20 19:17

    《具身智能機(jī)器人系統(tǒng)》第1-6章閱讀心得之具身智能機(jī)器人系統(tǒng)背景知識與基礎(chǔ)模塊

    ,互聯(lián)網(wǎng)行業(yè)占成熟經(jīng)濟(jì)體的GDP增長的21%,世界經(jīng)濟(jì)正面向數(shù)字經(jīng)濟(jì)轉(zhuǎn)型的大趨勢。具身智能機(jī)器人集成人工智能、高端制造、新材料等技術(shù),其核心在于通過智能體與環(huán)境的動態(tài)互動實(shí)現(xiàn)
    發(fā)表于 12-19 22:26

    名單公布!【書籍評測活動NO.51】具身智能機(jī)器人系統(tǒng) | 了解AI的下一個(gè)浪潮!

    進(jìn)行動態(tài)互動實(shí)現(xiàn)的。 這種理論強(qiáng)調(diào),智能行為源于智能體的物理存在和行為能力,智能體必須具備感知環(huán)境并在其中執(zhí)行任務(wù)的能力。 具身
    發(fā)表于 11-11 10:20

    機(jī)器人視覺與計(jì)算機(jī)視覺的區(qū)別與聯(lián)系

    ,而計(jì)算機(jī)視覺則更側(cè)重于圖像和視頻中提取信息。盡管它們在某些方面有所重疊,但它們在目標(biāo)、方法和應(yīng)用上存在明顯差異。 2. 機(jī)器人視覺概述 機(jī)器人
    的頭像 發(fā)表于 07-09 09:27 ?949次閱讀

    機(jī)器人視覺的應(yīng)用范圍

    機(jī)器人視覺是一種將計(jì)算機(jī)視覺技術(shù)應(yīng)用于機(jī)器人領(lǐng)域的技術(shù),它使得機(jī)器人能夠感知和理解周圍環(huán)境,實(shí)現(xiàn)自主決策和執(zhí)行任務(wù)。隨著
    的頭像 發(fā)表于 07-04 11:33 ?932次閱讀

    機(jī)器人視覺的作用是什么

    一、引言 機(jī)器人視覺機(jī)器人技術(shù)的重要組成部分,它利用計(jì)算機(jī)視覺技術(shù)對機(jī)器人周圍環(huán)境進(jìn)行感知、識別和理解,為
    的頭像 發(fā)表于 07-04 11:24 ?1060次閱讀

    基于FPGA EtherCAT的六自由度機(jī)器人視覺伺服控制設(shè)計(jì)

    、Zynq和攝像頭為硬件基礎(chǔ),搭建了六自由度機(jī)器人視覺平臺。 (2)設(shè)計(jì)了基于 FPGA的視覺檢測方案。利用 西林提供的 HLS和CV庫對攝像頭采集到的像素流進(jìn)行實(shí)時(shí)處理,并設(shè)計(jì)了
    發(fā)表于 05-29 16:17

    其利天下技術(shù)·搭載無刷電機(jī)的掃地機(jī)器人的前景如何?

    于部分消費(fèi)者來說,掃地機(jī)器人仍然是一筆不小的開支。 4.掃地機(jī)器人的未來發(fā)展前景 展望未來,搭載無刷電機(jī)的掃地機(jī)器人有望在多個(gè)方面實(shí)現(xiàn)突破。隨著傳感器技術(shù)和人工智能算法的進(jìn)步,掃地
    發(fā)表于 05-05 15:03

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品