0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一種基于去遮擋和移除的3D交互手姿態(tài)估計(jì)框架

本文主要介紹商湯智能感知終端團(tuán)隊(duì),發(fā)表在 ECCV 2022 上的工作。針對(duì)3D交互雙手姿態(tài)估計(jì)問(wèn)題,作者采用分而治之的策略,把交互的雙手姿態(tài)估計(jì)問(wèn)題,解耦成兩個(gè)單手姿態(tài)估計(jì)問(wèn)題。

作者提出了一種基于去遮擋和移除的3D交互手姿態(tài)估計(jì)框架,補(bǔ)全目標(biāo)手被遮擋的部分,并移除另一只有干擾的手。此外,作者還構(gòu)建了一個(gè)大規(guī)模數(shù)據(jù)集Amodal InterHand Dataset (AIH),用以訓(xùn)練手勢(shì)去遮擋和移除網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明,論文提出的框架在InterHand2.6M 和 Tzionas 兩個(gè)主流的公開數(shù)據(jù)集上,都獲得了顯著的性能提升。

7bb4cbfa-305d-11ed-ba43-dac502259ad0.png ? ? ?

Part 1動(dòng)機(jī)和背景

7c04d99c-305d-11ed-ba43-dac502259ad0.jpg

圖1 本文算法(右)與baseline(左)的對(duì)比

手,是人和世界交互的主要工具。3D交互手姿態(tài)估計(jì),指從單目彩色圖中,恢復(fù)出一個(gè)人兩只互相交互的手的骨架。它是人機(jī)交互、AR/VR、手語(yǔ)理解等諸多現(xiàn)實(shí)應(yīng)用的基礎(chǔ)。 與被充分研究的單手姿態(tài)估計(jì)任務(wù)不同,交互手3D姿態(tài)估計(jì)是近兩年來(lái)剛興起的學(xué)術(shù)方向。

現(xiàn)存的工作會(huì)直接同時(shí)預(yù)測(cè)交互手的左右兩手的姿態(tài),而我們則另辟蹊徑,將交互手姿態(tài)估計(jì)任務(wù),解耦成左右兩手分別的單手姿態(tài)估計(jì)任務(wù)。這樣,我們就可以充分利用當(dāng)下單手姿態(tài)估計(jì)技術(shù)的最新進(jìn)展。 然而相比通常的單手姿態(tài)估計(jì)任務(wù)來(lái)說(shuō),交互手姿態(tài)估計(jì)有以下兩個(gè)難點(diǎn):一是左右手間可能存在的嚴(yán)重的遮擋,難以估計(jì)被遮擋的手的姿態(tài);二是左右手顏色紋理相近有歧義性,預(yù)測(cè)一只手的姿態(tài)可能會(huì)因另一只手的存在而被干擾。

為了解決這兩個(gè)困難,我們提出了去遮擋和移除框架,旨在預(yù)測(cè)一只手的姿態(tài)時(shí),補(bǔ)全它被遮擋的部分,并移除有干擾的另一只手的部分。由圖1的示例可見,在用去遮擋和移除框架后,交互手的圖片會(huì)恢復(fù)右手被遮擋的部分,也會(huì)移除有干擾的左手的部分,進(jìn)而轉(zhuǎn)換成右手的單手姿態(tài)估計(jì)任務(wù)。

此外,我們還構(gòu)建了第一個(gè)大規(guī)模的合成交互手?jǐn)?shù)據(jù)集(Amodal InterHand Dataset)。該數(shù)據(jù)集具有很多應(yīng)用前景,如交互式雙手姿態(tài)估計(jì)、Amodal & modal的實(shí)例分割、以及手部去遮擋。

Part 2方法

7c365d00-305d-11ed-ba43-dac502259ad0.jpg

圖2 本文提出的框架示意圖

本文的框架包括三個(gè)部分:手部非模態(tài)分割模塊(HASM)、手部去遮擋和移除模塊(HDRM)、單手姿態(tài)估計(jì)模塊(SHPE)。

我們首先用HASM去分割圖像中左右手的模態(tài)和非模態(tài)掩碼,在得到掩碼后,我們可以分別定位左右兩手的位置并對(duì)圖片進(jìn)行裁剪。

之后,我們利用HDRM恢復(fù)手被遮擋的部分并移除另一只有干擾的手。

這樣,一個(gè)交互手的圖片會(huì)被轉(zhuǎn)換成左右兩手的單個(gè)手的圖片,通過(guò)SHPE后可以得到左右手分別的姿態(tài)。

2.1 手部非模態(tài)分割模塊(HASM)

我們基于mmsegmentation框架,從交互手的圖片中分割出四種掩碼:左手可見區(qū)域、左手完整區(qū)域、右手可見區(qū)域和右手完整區(qū)域。

2.2 手部去遮擋和移除模塊(HDRM)

7c4e1c60-305d-11ed-ba43-dac502259ad0.jpg

圖3 HDRNet示意圖 以右手為例,首先根據(jù)2.1預(yù)測(cè)的掩碼,以右手完整部分掩碼為中心,裁剪得到圖片。

而HDRNet的輸入則有以下四部分拼接而成:(1)圖片右手被遮擋區(qū)域被涂黑;(2)右手可見部分掩碼;(3)I圖片左手多余區(qū)域被涂黑;(4)除左右兩手外的背景區(qū)域的掩碼。

我們借鑒經(jīng)典的inpainting方法中的網(wǎng)絡(luò)結(jié)構(gòu)(UNet + Partial Convolutions),并在其中加入了一些Transformer結(jié)構(gòu),來(lái)增強(qiáng)圖像特征、擴(kuò)大感受野,以及讓網(wǎng)絡(luò)關(guān)注更重要的圖像區(qū)域。

網(wǎng)絡(luò)HDRNet最終預(yù)測(cè)出右手被遮擋區(qū)域的像素,以及左手多余區(qū)域背后背景的像素,這樣最終預(yù)測(cè)結(jié)果即為單個(gè)右手的圖片。

2.3 單手姿態(tài)估計(jì)模塊(SHPE)

由于SHPE不是本文的重點(diǎn),因此我們使用了一個(gè)簡(jiǎn)單有效的開源方法MinimalHand作為我們的baseline。

Part3AIH虛擬交互手?jǐn)?shù)據(jù)集

7c741712-305d-11ed-ba43-dac502259ad0.jpg

圖4 AIH數(shù)據(jù)集中的樣例 為了充分訓(xùn)練我們提出的HDRM網(wǎng)絡(luò),我們基于InterHand2.6M V1.0數(shù)據(jù)集,構(gòu)建了第一個(gè)大規(guī)模的虛擬合成的Amodal交互手?jǐn)?shù)據(jù)集(AIH)。

AIH有大約300萬(wàn)樣本組成,其中AIH_Syn 有220萬(wàn)樣本,AIH_Render有70萬(wàn)樣本。前者是將InterHand2.6M V1.0數(shù)據(jù)集的單個(gè)右手或單個(gè)左手的圖片,進(jìn)行復(fù)制粘貼,合成的交互手圖片。

后者是將InterHand2.6M V1.0數(shù)據(jù)集的雙手mesh裝飾上紋理,經(jīng)過(guò)隨機(jī)的旋轉(zhuǎn)和平移,最終渲染到隨機(jī)的數(shù)據(jù)集背景上得到的圖片。圖4展示了AIH數(shù)據(jù)集的可視化效果。

Part 4實(shí)驗(yàn)結(jié)果

我們?cè)?InterHand2.6M V1.0 和 Tzionas 兩個(gè)主流的數(shù)據(jù)集上做了實(shí)驗(yàn)。如表1和表2所示,定量實(shí)驗(yàn)表明,我們提出的算法,取得了最優(yōu)的精度。

而且在耗時(shí)方面,在Tesla P40機(jī)器上單個(gè)樣本預(yù)測(cè),HDRM(我們的主要貢獻(xiàn)點(diǎn))只需要0.6ms,占整個(gè)框架預(yù)測(cè)時(shí)間47.2ms中很小一部分。更多可視化效果見圖5。

表1InterHand2.6M V1.0 數(shù)據(jù)集的定量結(jié)果對(duì)比

7c9c08da-305d-11ed-ba43-dac502259ad0.jpg

表2Tzionas 數(shù)據(jù)集的定量結(jié)果對(duì)比

7cbac54a-305d-11ed-ba43-dac502259ad0.jpg7cd8c9dc-305d-11ed-ba43-dac502259ad0.jpg

圖5 更多可視化結(jié)果



審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    48989

    瀏覽量

    249164
  • 智能傳感器
    +關(guān)注

    關(guān)注

    16

    文章

    613

    瀏覽量

    55927
  • 計(jì)算機(jī)視覺
    +關(guān)注

    關(guān)注

    9

    文章

    1708

    瀏覽量

    46760

原文標(biāo)題:ECCV 2022 | 基于去遮擋和移除的3D交互雙手姿態(tài)估計(jì)

文章出處:【微信號(hào):3D視覺工坊,微信公眾號(hào):3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    3D AD庫(kù)文件

    3D庫(kù)文件
    發(fā)表于 05-28 13:57 ?5次下載

    基于RV1126開發(fā)板的人臉姿態(tài)估計(jì)算法開發(fā)

    人臉姿態(tài)估計(jì)是通過(guò)對(duì)張人臉圖像進(jìn)行分析,獲得臉部朝向的角度信息。姿態(tài)估計(jì)是多姿態(tài)問(wèn)題中較為關(guān)鍵
    的頭像 發(fā)表于 04-14 17:21 ?1657次閱讀
    基于RV1126開發(fā)板的人臉<b class='flag-5'>姿態(tài)</b><b class='flag-5'>估計(jì)</b>算法開發(fā)

    3D閃存的制造工藝與挑戰(zhàn)

    3D閃存有著更大容量、更低成本和更高性能的優(yōu)勢(shì),本文介紹了3D閃存的制造工藝與挑戰(zhàn)。
    的頭像 發(fā)表于 04-08 14:38 ?1021次閱讀
    <b class='flag-5'>3D</b>閃存的制造工藝與挑戰(zhàn)

    一種以圖像為中心的3D感知模型BIP3D

    在具身智能系統(tǒng)中,3D感知算法是個(gè)關(guān)鍵組件,它在端側(cè)幫助可以幫助智能體理解環(huán)境信息,在云端可以用來(lái)輔助生成3D場(chǎng)景和3D標(biāo)簽,具備重要的研究?jī)r(jià)值。現(xiàn)有主流算法主要依賴于點(diǎn)云作為輸入
    的頭像 發(fā)表于 03-17 13:44 ?459次閱讀
    <b class='flag-5'>一種</b>以圖像為中心的<b class='flag-5'>3D</b>感知模型BIP<b class='flag-5'>3D</b>

    用于黑暗中視覺自我運(yùn)動(dòng)估計(jì)的新型主動(dòng)照明框架

    本文提出一種新型主動(dòng)照明框架,通過(guò)動(dòng)態(tài)控制可移動(dòng)光源主動(dòng)照亮高紋理區(qū)域,顯著提升VO與VSLAM算法在極端光照條件下的性能。在真實(shí)機(jī)器人平臺(tái)上進(jìn)行的實(shí)驗(yàn)表明,相比傳統(tǒng)固定照明方法,本文方法可將姿態(tài)
    的頭像 發(fā)表于 02-28 14:29 ?386次閱讀
    用于黑暗中視覺自我運(yùn)動(dòng)<b class='flag-5'>估計(jì)</b>的新型主動(dòng)照明<b class='flag-5'>框架</b>

    SciChart 3D for WPF圖表庫(kù)

    SciChart 3D for WPF 是個(gè)實(shí)時(shí)、高性能的 WPF 3D 圖表庫(kù),專為金融、醫(yī)療和科學(xué)應(yīng)用程序而設(shè)計(jì)。非常適合需要極致性能和豐富的交互
    的頭像 發(fā)表于 01-23 13:49 ?605次閱讀
    SciChart <b class='flag-5'>3D</b> for WPF圖表庫(kù)

    騰訊混元3D AI創(chuàng)作引擎正式發(fā)布

    近日,騰訊公司宣布其自主研發(fā)的混元3D AI創(chuàng)作引擎已正式上線。這創(chuàng)新性的創(chuàng)作工具將為用戶帶來(lái)前所未有的3D內(nèi)容創(chuàng)作體驗(yàn),標(biāo)志著騰訊在AI技術(shù)領(lǐng)域的又重大突破。 混元
    的頭像 發(fā)表于 01-23 10:33 ?582次閱讀

    騰訊混元3D AI創(chuàng)作引擎正式上線

    近日,騰訊公司宣布其自主研發(fā)的混元3D AI創(chuàng)作引擎已正式上線。這創(chuàng)新性的創(chuàng)作工具,標(biāo)志著騰訊在3D內(nèi)容生成領(lǐng)域邁出了重要步。 混元3D
    的頭像 發(fā)表于 01-22 10:26 ?576次閱讀

    一種3D交聯(lián)導(dǎo)電粘結(jié)劑用于硅負(fù)極Angew

    硅(Si)負(fù)極在高容量鋰離子電池(LIBs)中具有巨大潛力,但其實(shí)際應(yīng)用受到嚴(yán)重體積膨脹和機(jī)械退化的阻礙。為了解決這些挑戰(zhàn),我們提出了一種創(chuàng)新的3D交聯(lián)導(dǎo)電聚噁二唑(POD)粘結(jié)劑,通過(guò)甘油(GL
    的頭像 發(fā)表于 01-20 13:56 ?591次閱讀
    <b class='flag-5'>一種</b><b class='flag-5'>3D</b>交聯(lián)導(dǎo)電粘結(jié)劑用于硅負(fù)極Angew

    Google DeepMind發(fā)布Genie 2:打造交互3D虛擬世界

    交互式體驗(yàn)。 據(jù)了解,Genie 2是個(gè)自回歸潛在擴(kuò)散模型,它基于大型視頻數(shù)據(jù)集進(jìn)行訓(xùn)練。通過(guò)自動(dòng)編碼器,視頻中的潛在幀被傳遞到大型Transformer動(dòng)力學(xué)模型中。該模型采用與大語(yǔ)言模型類似的因果掩碼進(jìn)行訓(xùn)練,從而實(shí)現(xiàn)了對(duì)3D
    的頭像 發(fā)表于 12-05 14:16 ?1035次閱讀

    文理解2.5D3D封裝技術(shù)

    隨著半導(dǎo)體行業(yè)的快速發(fā)展,先進(jìn)封裝技術(shù)成為了提升芯片性能和功能密度的關(guān)鍵。近年來(lái),作為2.5D3D封裝技術(shù)之間的一種結(jié)合方案,3.5D封裝技術(shù)逐漸走向前臺(tái)。
    的頭像 發(fā)表于 11-11 11:21 ?3518次閱讀
    <b class='flag-5'>一</b>文理解2.5<b class='flag-5'>D</b>和<b class='flag-5'>3D</b>封裝技術(shù)

    一種全新開源SfM框架MASt3R

    運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SfM)是計(jì)算機(jī)視覺領(lǐng)域個(gè)長(zhǎng)期存在的問(wèn)題,旨在根據(jù)每個(gè)相機(jī)拍攝的圖像來(lái)估計(jì)場(chǎng)景的3D幾何結(jié)構(gòu)以及觀測(cè)該場(chǎng)景的相機(jī)的參數(shù)。由于它方便地同時(shí)為相機(jī)和地圖提供信息,因此構(gòu)成了許多實(shí)用計(jì)
    的頭像 發(fā)表于 10-28 14:13 ?1890次閱讀
    <b class='flag-5'>一種</b>全新開源SfM<b class='flag-5'>框架</b>MASt<b class='flag-5'>3</b>R

    物聯(lián)網(wǎng)行業(yè)中的模具定制方案_3D打印材料選型分享

    3D打印材料介紹 3D打印技術(shù)是一種快速制造技術(shù),它可以將數(shù)字模型轉(zhuǎn)化為實(shí)體物體。3D打印材料是3D打印技術(shù)中不可或缺的
    的頭像 發(fā)表于 09-25 10:59 ?736次閱讀
    物聯(lián)網(wǎng)行業(yè)中的模具定制方案_<b class='flag-5'>3D</b>打印材料選型分享

    3d打印機(jī)器人外殼模型ABS材料3D打印噴漆服務(wù)-CASAIM

    隨著科技的不斷發(fā)展,3D打印技術(shù)作為一種創(chuàng)新性的制造方式,正在改變我們的生活和制造業(yè)。它是一種通過(guò)逐層添加材料來(lái)構(gòu)建物體的制造方法。該技術(shù)允許我們通過(guò)CAD(計(jì)算機(jī)輔助設(shè)計(jì))軟件將數(shù)字模型轉(zhuǎn)換成實(shí)體物體。
    的頭像 發(fā)表于 07-21 15:10 ?597次閱讀

    裸眼3D筆記本電腦——先進(jìn)的光場(chǎng)裸眼3D技術(shù)

    隨著科技的不斷進(jìn)步,裸眼3D技術(shù)已經(jīng)不再是科幻電影中的幻想。如今,英倫科技裸眼3D筆記本電腦將這前沿科技帶到了我們的日常生活中。無(wú)論你是專業(yè)的3D模型設(shè)計(jì)師,還是希望在視頻播放和模型
    的頭像 發(fā)表于 07-16 10:04 ?1037次閱讀

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品