0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何通過深度學(xué)習(xí)完成計(jì)算機(jī)視覺中的所有工作?

Dbwd_Imgtec ? 來源:AI科技大本營 ? 作者:George Seif ? 2021-02-05 11:29 ? 次閱讀

你想做計(jì)算機(jī)視覺嗎?

如今,深度學(xué)習(xí)是必經(jīng)之路。大規(guī)模數(shù)據(jù)集以及深層卷積神經(jīng)網(wǎng)絡(luò)(CNN)的表征能力可提供超準(zhǔn)確和強(qiáng)大的模型。但目前仍然只有一個(gè)挑戰(zhàn):如何設(shè)計(jì)模型?像計(jì)算機(jī)視覺這樣廣泛而復(fù)雜的領(lǐng)域,解決方案并不總是清晰明了的。計(jì)算機(jī)視覺中的許多標(biāo)準(zhǔn)任務(wù)都需要特別考慮:分類、檢測(cè)、分割、姿態(tài)估計(jì)、增強(qiáng)和恢復(fù)以及動(dòng)作識(shí)別。盡管最先進(jìn)的網(wǎng)絡(luò)呈現(xiàn)出共同的模式,但它們都需要自己獨(dú)特的設(shè)計(jì)。那么,我們?nèi)绾螢樗羞@些不同的任務(wù)建立模型呢?作者在這里向你展示如何通過深度學(xué)習(xí)完成計(jì)算機(jī)視覺中的所有工作!

1、分類

計(jì)算機(jī)視覺中最出名的就是分類。圖像分類網(wǎng)絡(luò)從一個(gè)固定大小的輸入開始。輸入圖像可以有任意數(shù)量的通道,但對(duì)于RGB圖像通常為3。在設(shè)計(jì)網(wǎng)絡(luò)時(shí),分辨率在技術(shù)上可以是任意大小,只要足夠大到能夠支持在整個(gè)網(wǎng)絡(luò)中將要進(jìn)行的向下采樣量即可。例如,如果你對(duì)網(wǎng)絡(luò)內(nèi)的4個(gè)像素進(jìn)行向下采樣,則你的輸入大小至少應(yīng)為42= 16 x 16像素。隨著深入網(wǎng)絡(luò),當(dāng)我們嘗試壓縮所有信息并降至一維矢量表示形式時(shí),空間分辨率將降低。為了確保網(wǎng)絡(luò)始終有能力將其提取的所有信息進(jìn)行處理,我們根據(jù)深度的比例增加特征圖的數(shù)量,來適應(yīng)空間分辨率的降低。也就是說,我們?cè)谙蛳虏蓸舆^程中損失了空間信息,為了適應(yīng)這種損失,我們擴(kuò)展了特征圖來增加我們的語義信息。在選擇了一定數(shù)量的向下采樣后,特征圖被矢量化并輸入到一系列完全連接的圖層中。最后一層的輸出與數(shù)據(jù)集中的類一樣多。

8046093a-5f45-11eb-8b86-12bb97331649.png

2、目標(biāo)檢測(cè)

目標(biāo)檢測(cè)器分為兩種:一級(jí)和二級(jí)。他們兩個(gè)都以錨框開始。這些是默認(rèn)的邊界框。我們的檢測(cè)器將預(yù)測(cè)這些框與地面真相之間的差異,而不是直接預(yù)測(cè)這些框。在二級(jí)檢測(cè)器中,我們自然有兩個(gè)網(wǎng)絡(luò):框提議網(wǎng)絡(luò)和分類網(wǎng)絡(luò)??蛱嶙h網(wǎng)絡(luò)在認(rèn)為很有可能存在物體的情況下為邊界框提供坐標(biāo)。再次,這些是相對(duì)于錨框。然后,分類網(wǎng)絡(luò)獲取每個(gè)邊界框中的潛在對(duì)象進(jìn)行分類。在一級(jí)檢測(cè)器中,提議和分類器網(wǎng)絡(luò)融合為一個(gè)單一階段。網(wǎng)絡(luò)直接預(yù)測(cè)邊界框坐標(biāo)和該框內(nèi)的類。由于兩個(gè)階段融合在一起,所以一級(jí)檢測(cè)器往往比二級(jí)檢測(cè)器更快。但是由于兩個(gè)任務(wù)的分離,二級(jí)檢測(cè)器具有更高的精度。

80b06136-5f45-11eb-8b86-12bb97331649.png

快速RCNN二級(jí)目標(biāo)檢測(cè)架構(gòu)

8111944c-5f45-11eb-8b86-12bb97331649.png

SSD一級(jí)目標(biāo)檢測(cè)架構(gòu)

3、分割

分割是計(jì)算機(jī)視覺中較獨(dú)特的任務(wù)之一,因?yàn)榫W(wǎng)絡(luò)既需要學(xué)習(xí)低級(jí)信息,也需要學(xué)習(xí)高級(jí)信息。低級(jí)信息可按像素精確分割圖像中的每個(gè)區(qū)域和對(duì)象,而高級(jí)信息可直接對(duì)這些像素進(jìn)行分類。這導(dǎo)致網(wǎng)絡(luò)被設(shè)計(jì)為將來自較早層和高分辨率(低層空間信息)的信息與較深層和低分辨率(高層語義信息)相結(jié)合。如下所示,我們首先通過標(biāo)準(zhǔn)分類網(wǎng)絡(luò)運(yùn)行圖像。然后,我們從網(wǎng)絡(luò)的每個(gè)階段提取特征,從而使用從低到高的范圍內(nèi)的信息。每個(gè)信息級(jí)別在依次組合之前都是獨(dú)立處理的。當(dāng)這些信息組合在一起時(shí),我們對(duì)特征圖進(jìn)行向上采樣,最終得到完整的圖像分辨率。

要了解更多關(guān)于如何分割與深度學(xué)習(xí)工作的細(xì)節(jié),請(qǐng)查看這篇文章:

https://towardsdatascience.com/semantic-segmentation-with-deep-learning-a-guide-and-code-e52fc8958823

816274f2-5f45-11eb-8b86-12bb97331649.png

GCN細(xì)分架構(gòu)

4、姿態(tài)估計(jì)

姿態(tài)估計(jì)模型需要完成兩個(gè)任務(wù):(1)檢測(cè)圖像中每個(gè)身體部位的關(guān)鍵點(diǎn);(2)找出如何正確連接這些關(guān)鍵點(diǎn)。這分以下三個(gè)階段完成:

使用標(biāo)準(zhǔn)分類網(wǎng)絡(luò)從圖像中提取特征。

給定這些特征,就可以訓(xùn)練一個(gè)子網(wǎng)絡(luò)來預(yù)測(cè)一組2D熱圖。每個(gè)熱圖都與一個(gè)特定的關(guān)鍵點(diǎn)相關(guān)聯(lián),并包含每個(gè)圖像像素關(guān)于是否可能存在關(guān)鍵點(diǎn)的置信值。

再次給出分類網(wǎng)絡(luò)的特征,我們訓(xùn)練一個(gè)子網(wǎng)絡(luò)來預(yù)測(cè)一組2D向量場(chǎng),其中每個(gè)向量場(chǎng)都與關(guān)鍵點(diǎn)之間的關(guān)聯(lián)度進(jìn)行編碼。然后,具有較高關(guān)聯(lián)性的關(guān)鍵點(diǎn)被稱為已連接。

用這種方法訓(xùn)練子網(wǎng)絡(luò)的模型,可以聯(lián)合優(yōu)化關(guān)鍵點(diǎn)的檢測(cè)并將它們連接在一起。

81d5d410-5f45-11eb-8b86-12bb97331649.png

OpenPose姿態(tài)估計(jì)架構(gòu)

5、增強(qiáng)和恢復(fù)

增強(qiáng)和恢復(fù)網(wǎng)絡(luò)是它們自己獨(dú)特的野獸。我們不會(huì)對(duì)此進(jìn)行任何向下采樣,因?yàn)槲覀冋嬲P(guān)心的是高像素/空間精度。向下采樣會(huì)真正抹殺這些信息,因?yàn)樗鼘p少我們?yōu)榭臻g精度而擁有的像素?cái)?shù)。相反,所有處理都是在全圖像分辨率下完成的。我們開始以全分辨率將想要增強(qiáng)/恢復(fù)的圖像傳遞到我們的網(wǎng)絡(luò),而無需進(jìn)行任何修改。網(wǎng)絡(luò)僅由許多卷積和激活函數(shù)組成。這些塊通常是受啟發(fā)的,并且有時(shí)直接復(fù)制那些最初為圖像分類而開發(fā)的塊,例如殘差塊、密集塊、擠壓激勵(lì)塊等。最后一層沒有激活函數(shù),即使是sigmoid或softmax也沒有,因?yàn)槲覀兿胫苯宇A(yù)測(cè)圖像像素,不需要任何概率或分?jǐn)?shù)。這就是所有這些類型的網(wǎng)絡(luò)。在圖像的全分辨率上進(jìn)行了大量的處理,來達(dá)到較高的空間精度,使用了與其他任務(wù)相同的卷積。

85206202-5f45-11eb-8b86-12bb97331649.png

EDSR超分辨率架構(gòu)

6、動(dòng)作識(shí)別

動(dòng)作識(shí)別是少數(shù)幾個(gè)需要視頻數(shù)據(jù)才能正常運(yùn)行的應(yīng)用程序之一。要對(duì)一個(gè)動(dòng)作進(jìn)行分類,我們需要了解隨著時(shí)間推移,場(chǎng)景中發(fā)生的變化, 這自然導(dǎo)致我們需要視頻。我們的網(wǎng)絡(luò)必須經(jīng)過訓(xùn)練來學(xué)習(xí)時(shí)空信息,即時(shí)空變化。最完美的網(wǎng)絡(luò)是3D-CNN。顧名思義,3D-CNN是使用3D卷積的卷積網(wǎng)絡(luò)。它們與常規(guī)CNN的不同之處在于,卷積是在3維上應(yīng)用的:寬度、高度和時(shí)間。因此,每個(gè)輸出像素都是根據(jù)其周圍像素以及相同位置的前一幀和后一幀中的像素進(jìn)行計(jì)算來預(yù)測(cè)的。

8864e3b6-5f45-11eb-8b86-12bb97331649.png

直接大量傳遞圖像視頻幀可以通過幾種方式傳遞:

直接在大批量中,例如第一個(gè)圖。由于我們正在傳遞一系列幀,因此空間和時(shí)間信息都是可用的。

891fa250-5f45-11eb-8b86-12bb97331649.png

單幀+光流(左) 視頻+光流(右)

我們還可以在一個(gè)流中傳遞單個(gè)圖像幀(數(shù)據(jù)的空間信息),并從視頻中傳遞其相應(yīng)的光流表示形式(數(shù)據(jù)的時(shí)間信息)。我們將使用常規(guī)2D CNN從這兩者中提取特征,然后再將其組合起來傳遞給我們的3D CNN,后者將兩種類型的信息進(jìn)行合并。

將幀序列傳遞給一個(gè)3D CNN,并將視頻的光流表示傳遞給另一個(gè)3D CNN。這兩個(gè)數(shù)據(jù)流都具有可用的空間和時(shí)間信息。鑒于我們正在對(duì)視頻的兩種不同表示(均包含我們的所有信息)進(jìn)行特定處理,因此這是最慢的選擇,但也可能是最準(zhǔn)確的選擇。

所有這些網(wǎng)絡(luò)都輸出視頻的動(dòng)作分類。

原文標(biāo)題:如何通過深度學(xué)習(xí),完成計(jì)算機(jī)視覺中的所有工作?

文章出處:【微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 計(jì)算機(jī)
    +關(guān)注

    關(guān)注

    19

    文章

    7527

    瀏覽量

    88398
  • 機(jī)器視覺
    +關(guān)注

    關(guān)注

    162

    文章

    4401

    瀏覽量

    120536
  • 人工智能
    +關(guān)注

    關(guān)注

    1793

    文章

    47567

    瀏覽量

    239445

原文標(biāo)題:如何通過深度學(xué)習(xí),完成計(jì)算機(jī)視覺中的所有工作?

文章出處:【微信號(hào):Imgtec,微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    【小白入門必看】一文讀懂深度學(xué)習(xí)計(jì)算機(jī)視覺技術(shù)及學(xué)習(xí)路線

    一、什么是計(jì)算機(jī)視覺?計(jì)算機(jī)視覺,其實(shí)就是教機(jī)器怎么像我們?nèi)艘粯?,用攝像頭看看周圍的世界,然后理解它。比如說,它能認(rèn)出這是個(gè)蘋果,或者那邊有輛車。除此之外,還能把拍到的照片或者視頻轉(zhuǎn)換
    的頭像 發(fā)表于 10-31 17:00 ?503次閱讀
    【小白入門必看】一文讀懂<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>計(jì)算機(jī)</b><b class='flag-5'>視覺</b>技術(shù)及<b class='flag-5'>學(xué)習(xí)</b>路線

    計(jì)算機(jī)視覺有哪些優(yōu)缺點(diǎn)

    計(jì)算機(jī)視覺作為人工智能領(lǐng)域的一個(gè)重要分支,旨在使計(jì)算機(jī)能夠像人類一樣理解和解釋圖像和視頻的信息。這一技術(shù)的發(fā)展不僅推動(dòng)了多個(gè)行業(yè)的變革,也帶來了諸多優(yōu)勢(shì),但同時(shí)也伴隨著一些挑戰(zhàn)和局限
    的頭像 發(fā)表于 08-14 09:49 ?1086次閱讀

    機(jī)器視覺計(jì)算機(jī)視覺有什么區(qū)別

    。機(jī)器視覺的研究目標(biāo)是讓機(jī)器具有類似人類的視覺能力,能夠自動(dòng)、準(zhǔn)確地完成各種視覺任務(wù)。 計(jì)算機(jī)視覺
    的頭像 發(fā)表于 07-16 10:23 ?588次閱讀

    計(jì)算機(jī)視覺的五大技術(shù)

    計(jì)算機(jī)視覺作為深度學(xué)習(xí)領(lǐng)域最熱門的研究方向之一,其技術(shù)涵蓋了多個(gè)方面,為人工智能的發(fā)展開拓了廣闊的道路。以下是對(duì)計(jì)算機(jī)
    的頭像 發(fā)表于 07-10 18:26 ?1485次閱讀

    計(jì)算機(jī)視覺工作原理和應(yīng)用

    計(jì)算機(jī)視覺(Computer Vision,簡(jiǎn)稱CV)是一門跨學(xué)科的研究領(lǐng)域,它利用計(jì)算機(jī)和數(shù)學(xué)算法來模擬人類視覺系統(tǒng)對(duì)圖像和視頻進(jìn)行識(shí)別、理解、分析和處理。其核心目標(biāo)在于使
    的頭像 發(fā)表于 07-10 18:24 ?2216次閱讀

    計(jì)算機(jī)視覺與人工智能的關(guān)系是什么

    引言 計(jì)算機(jī)視覺是一門研究如何使計(jì)算機(jī)能夠理解和解釋視覺信息的學(xué)科。它涉及到圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域的知識(shí)。人工智能則是研究如
    的頭像 發(fā)表于 07-09 09:25 ?714次閱讀

    計(jì)算機(jī)視覺與智能感知是干嘛的

    引言 計(jì)算機(jī)視覺(Computer Vision)是一門研究如何使計(jì)算機(jī)能夠理解和解釋視覺信息的學(xué)科。它涉及到圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)
    的頭像 發(fā)表于 07-09 09:23 ?1015次閱讀

    計(jì)算機(jī)視覺和機(jī)器視覺區(qū)別在哪

    計(jì)算機(jī)視覺和機(jī)器視覺是兩個(gè)密切相關(guān)但又有明顯區(qū)別的領(lǐng)域。 一、定義 計(jì)算機(jī)視覺 計(jì)算機(jī)
    的頭像 發(fā)表于 07-09 09:22 ?501次閱讀

    計(jì)算機(jī)視覺屬于人工智能嗎

    屬于,計(jì)算機(jī)視覺是人工智能領(lǐng)域的一個(gè)重要分支。 引言 計(jì)算機(jī)視覺是一門研究如何使計(jì)算機(jī)具有視覺
    的頭像 發(fā)表于 07-09 09:11 ?1374次閱讀

    計(jì)算機(jī)視覺怎么給圖像分類

    圖像分類是計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)核心任務(wù),其目標(biāo)是將輸入的圖像自動(dòng)分配到預(yù)定義的類別集合。這一過程涉及圖像的特征提取、特征表示以及分類器的設(shè)計(jì)與訓(xùn)練。隨著深度
    的頭像 發(fā)表于 07-08 17:06 ?842次閱讀

    深度學(xué)習(xí)在工業(yè)機(jī)器視覺檢測(cè)的應(yīng)用

    隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,其在工業(yè)機(jī)器視覺檢測(cè)的應(yīng)用日益廣泛,并展現(xiàn)出巨大的潛力。工業(yè)機(jī)器視覺檢測(cè)是工業(yè)自動(dòng)化領(lǐng)域的重要組成部分,
    的頭像 發(fā)表于 07-08 10:40 ?1142次閱讀

    深度學(xué)習(xí)計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為其中的核心技術(shù)之一,已經(jīng)在計(jì)算機(jī)視覺領(lǐng)域取得了顯著的成果。計(jì)算機(jī)
    的頭像 發(fā)表于 07-01 11:38 ?896次閱讀

    機(jī)器視覺計(jì)算機(jī)視覺的區(qū)別

    在人工智能和自動(dòng)化技術(shù)的快速發(fā)展,機(jī)器視覺(Machine Vision, MV)和計(jì)算機(jī)視覺(Computer Vision, CV)作為兩個(gè)重要的分支領(lǐng)域,都扮演著至關(guān)重要的角色
    的頭像 發(fā)表于 06-06 17:24 ?1389次閱讀

    計(jì)算機(jī)視覺的主要研究方向

    計(jì)算機(jī)視覺(Computer Vision, CV)作為人工智能領(lǐng)域的一個(gè)重要分支,致力于使計(jì)算機(jī)能夠像人眼一樣理解和解釋圖像和視頻的信息。隨著
    的頭像 發(fā)表于 06-06 17:17 ?1064次閱讀

    計(jì)算機(jī)視覺的十大算法

    隨著科技的不斷發(fā)展,計(jì)算機(jī)視覺領(lǐng)域也取得了長(zhǎng)足的進(jìn)步。本文將介紹計(jì)算機(jī)視覺領(lǐng)域的十大算法,包括它們的基本原理、應(yīng)用場(chǎng)景和優(yōu)缺點(diǎn)。這些算法在圖像處理、目標(biāo)檢測(cè)、人臉識(shí)別等領(lǐng)域有著廣泛的應(yīng)
    的頭像 發(fā)表于 02-19 13:26 ?1303次閱讀
    <b class='flag-5'>計(jì)算機(jī)</b><b class='flag-5'>視覺</b>的十大算法