0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

梯度的獨(dú)特分布給量化訓(xùn)練帶來了極大挑戰(zhàn)

lhl545545 ? 來源:商湯科技 ? 作者:商湯科技 ? 2020-06-15 14:32 ? 次閱讀

商湯科技CVPR 2020錄用論文在多個(gè)領(lǐng)域?qū)崿F(xiàn)突破,包括:對(duì)抗式生成模型、三維點(diǎn)云理解與分析、訓(xùn)練加速與模型量化、視頻理解與分析、網(wǎng)絡(luò)結(jié)構(gòu)搜索等。以下為商湯及商湯聯(lián)合實(shí)驗(yàn)室入選CVPR 2020的代表性論文。

▎研究方向:對(duì)抗式生成模型

代表性論文:《對(duì)人臉生成模型的隱空間可解釋性分析》鏈接:https://arxiv.org/abs/1907.10786

近年來,對(duì)抗生成網(wǎng)絡(luò)(GAN)的快速發(fā)展極大地增強(qiáng)了圖像生成的質(zhì)量,也因此得到了越來越廣泛的應(yīng)用。越來越多基于GAN的模型被提出來提高生成質(zhì)量以及訓(xùn)練穩(wěn)定性,但是對(duì)于生成模型的可解釋性還鮮有研究。

本文以人臉生成模型為例,對(duì)GAN的隱空間進(jìn)行了深入分析,目標(biāo)在于理解GAN是如何將一個(gè)隨機(jī)噪聲轉(zhuǎn)化為一張高質(zhì)量圖片的。本文提出了一種簡(jiǎn)單而通用的技術(shù)InterFaceGAN,用于在潛在空間中進(jìn)行語義人臉編輯,可控制姿勢(shì)以及其他面部屬性,例如性別、年齡、眼鏡等,還能夠糾正GAN造成的偽影。

代表性論文:《ACGPN:基于圖像的自適應(yīng)生成保留虛擬換裝》鏈接:https://arxiv.org/abs/2003.05863

本文關(guān)注基于圖像的虛擬換裝任務(wù)?,F(xiàn)有方法取得了很多突破但仍然存在很大問題:(1)人物的肢體仍然是模糊的;(2)對(duì)于下裝很難做到清楚的保留;(3)衣服的紋理容易產(chǎn)生過度形變。

為此本文利用一種語義敏感的方法,自適應(yīng)的判斷哪部分圖像是應(yīng)該保留的,解決了現(xiàn)有方法中無法對(duì)人物肢體與衣服有遮擋的情況的建模,極大程度地降低了生成結(jié)果中的偽影以及模糊細(xì)節(jié);并通過引入仿射變換的共線性等性質(zhì),對(duì)變形衣服中的薄板樣條插值變換起到約束,使得Logo和花紋不易扭曲變形。 ▎研究方向:三維點(diǎn)云理解與分析 代表性論文:《PV-RCNN: 基于Point-Voxel點(diǎn)云特征深度融合的3D物體檢測(cè)算法》鏈接:https://arxiv.org/abs/1912.13192

本文關(guān)注基于點(diǎn)云數(shù)據(jù)的三維物體檢測(cè)任務(wù)。文章提出了一個(gè)高性能的3D物體檢測(cè)框架PV-RCNN,其通過構(gòu)造Set Abstraction特征抽象操作將基于Point與Voxel的點(diǎn)云特征提取算法分別在Voxel-to-Keypoint階段和Keypoint-to-RoIGrid 階段深度融合,使其同時(shí)擁有可變感受野、精確的點(diǎn)云位置信息以及高召回率,從而有效提升3D物體檢測(cè)的性能。

梯度的獨(dú)特分布給量化訓(xùn)練帶來了極大挑戰(zhàn)

實(shí)驗(yàn)部分,PV-RCNN分別在競(jìng)爭(zhēng)激烈的自動(dòng)駕駛數(shù)據(jù)集KITTI以及更大規(guī)模的Waymo數(shù)據(jù)集上得到了驗(yàn)證。在KITTI數(shù)據(jù)集的3D物體檢測(cè)榜Car類別上,PV-RCNN大幅領(lǐng)先其他所有算法,在三個(gè)難度上均取得了第一名。在更大規(guī)模的Waymo數(shù)據(jù)集上,PV-RCNN同樣在所有難度以及不同距離上超越了現(xiàn)有算法,最高mAP增幅達(dá)近7個(gè)點(diǎn)。

▎研究方向:訓(xùn)練加速與模型量化

代表性論文:《用于加速卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程INT8訓(xùn)練技術(shù)》鏈接//arxiv.org/abs/1912.12607

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程需要耗費(fèi)大量的計(jì)算資源和時(shí)間,而各種深度學(xué)習(xí)硬件都提供非常高效的INT8計(jì)算支持。當(dāng)把INT8計(jì)算應(yīng)用到訓(xùn)練中同時(shí)加速網(wǎng)絡(luò)的前傳和反傳過程時(shí),梯度的獨(dú)特分布給量化訓(xùn)練帶來了極大挑戰(zhàn)。

為了解決梯度量化帶來的精度損失,論文進(jìn)行了量化訓(xùn)練收斂穩(wěn)定性的理論分析并基于此提出了“誤差敏感的學(xué)習(xí)率調(diào)節(jié)”和“基于方向自適應(yīng)的梯度截?cái)唷狈椒?,將兩個(gè)方法在圖像分類數(shù)據(jù)集ImageNet、CIFAR和目標(biāo)檢測(cè)數(shù)據(jù)集PASCAL VOC、COCO上進(jìn)行實(shí)驗(yàn),均取得了極少的精度損失。

梯度的獨(dú)特分布給量化訓(xùn)練帶來了極大挑戰(zhàn)

實(shí)驗(yàn)中也驗(yàn)證了該方法對(duì)Inception、MobileNet等不同網(wǎng)絡(luò)結(jié)構(gòu)的通用性。為了保證更高的加速比,論文還提出使用周期更新、量化卷積融合等技術(shù)來減少量化操作帶來的時(shí)間開銷。通過在GTX1080TI上實(shí)測(cè),可以提升22%的訓(xùn)練過程。

研究方向:視頻理解與分析 代表性論文:《TAPOS: 基于時(shí)序動(dòng)作解析理解動(dòng)作內(nèi)部和不同動(dòng)作間的語義》

動(dòng)作理解是計(jì)算機(jī)視覺領(lǐng)域的核心問題之一,也是許多其他任務(wù)的基石,如智能視頻檢索,基于視覺的機(jī)器人學(xué)等。本文發(fā)現(xiàn),人本身對(duì)于動(dòng)作序列中子動(dòng)作模式的轉(zhuǎn)換是比較敏感的。

在這篇工作中,本文提出了一種時(shí)域解析器,可以挖掘人體動(dòng)作中的子動(dòng)作模式,并根據(jù)挖掘出的子動(dòng)作模式對(duì)較復(fù)雜的動(dòng)作序列進(jìn)行時(shí)域上的解析。這種時(shí)域解析器不但能對(duì)一個(gè)給定的動(dòng)作序列進(jìn)行子動(dòng)作邊界劃分,還可以找尋大量不同動(dòng)作序列中相同的子動(dòng)作模式。本文發(fā)現(xiàn),對(duì)較復(fù)雜動(dòng)作序列良好的時(shí)域解析可以幫助提升一些較為高層的任務(wù)的準(zhǔn)確率,如動(dòng)作識(shí)別等。

梯度的獨(dú)特分布給量化訓(xùn)練帶來了極大挑戰(zhàn)

▎研究方向:網(wǎng)絡(luò)結(jié)構(gòu)搜索 代表性論文:《最高加速400倍,探索更好的網(wǎng)絡(luò)評(píng)價(jià)方法EcoNas》鏈接:https://arxiv.org/abs/2001.01233 許多網(wǎng)絡(luò)搜索算法需要耗費(fèi)大量的算力,而這些算力絕大多數(shù)集中在候選網(wǎng)絡(luò)(Candidate)的評(píng)估上。同樣地,由于算力的限制,候選網(wǎng)絡(luò)的評(píng)估往往需要在代理環(huán)境(Proxy)下進(jìn)行,如較短的訓(xùn)練周期數(shù)。雖然每個(gè)NAS算法都要用到代理環(huán)境,但是代理環(huán)境對(duì)子網(wǎng)絡(luò)評(píng)估的影響仍然是未知的。 本文的工作首次系統(tǒng)研究了不同代理參數(shù)對(duì)網(wǎng)絡(luò)評(píng)估的影響。作者發(fā)現(xiàn),使用更可靠的代理環(huán)境不僅可以極大壓縮計(jì)算量,也有助于搜到更好的模型。基于對(duì)代理環(huán)境的研究,作者提出了一個(gè)層次化的搜索方法,EcoNAS在將進(jìn)化算法加速400倍的同時(shí),得到了更好的網(wǎng)絡(luò)結(jié)構(gòu)。

梯度的獨(dú)特分布給量化訓(xùn)練帶來了極大挑戰(zhàn)

同樣地,作者發(fā)現(xiàn)可靠的代理環(huán)境也可以被用于其他搜索算法中,例如權(quán)重共享算法,在不影響精度的同時(shí),使得搜索效率進(jìn)一步提升。
責(zé)任編輯:pj

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2894

    瀏覽量

    107654
  • GaN
    GaN
    +關(guān)注

    關(guān)注

    19

    文章

    1947

    瀏覽量

    73685
  • 商湯科技
    +關(guān)注

    關(guān)注

    8

    文章

    513

    瀏覽量

    36109
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    AI模型部署邊緣設(shè)備的奇妙之旅:如何實(shí)現(xiàn)手寫數(shù)字識(shí)別

    。 這種方法通常能保留更多的模型精度,因?yàn)槟P鸵呀?jīng)在訓(xùn)練中學(xué)會(huì)了應(yīng)對(duì)量化帶來的變化。 優(yōu)點(diǎn): 顯著降低模型的存儲(chǔ)需求和計(jì)算復(fù)雜度。 在特定硬件(如GPU、NPU)上運(yùn)行時(shí),可以大幅提升推理速度。
    發(fā)表于 12-06 17:20

    協(xié)調(diào)控制器在分布式光伏領(lǐng)域如何發(fā)揮最優(yōu)控制策略進(jìn)行調(diào)節(jié)控制?

    ,電力系統(tǒng)的穩(wěn)定運(yùn)行帶來了挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn),協(xié)調(diào)控制器在分布式光伏領(lǐng)域的應(yīng)用顯得尤為重要。本文將深入探討協(xié)調(diào)控制器在
    的頭像 發(fā)表于 11-22 14:33 ?291次閱讀
    協(xié)調(diào)控制器在<b class='flag-5'>分布</b>式光伏領(lǐng)域如何發(fā)揮最優(yōu)控制策略進(jìn)行調(diào)節(jié)控制?

    AI客戶服務(wù)帶來了哪些好處

    如今,各行各業(yè)的客戶服務(wù)部門都面臨著呼叫量增加、客服人員流失率高、人才短缺以及客戶期望不斷變化等挑戰(zhàn)。
    的頭像 發(fā)表于 11-20 09:22 ?360次閱讀

    訓(xùn)練RNN時(shí)如何避免梯度消失

    有效的訓(xùn)練。為了解決這個(gè)問題,可以采取以下幾種方法: 梯度裁剪(Gradient Clipping) 梯度裁剪是限制梯度大小的技術(shù),通過設(shè)置梯度
    的頭像 發(fā)表于 11-15 10:01 ?370次閱讀

    激光打靶射擊訓(xùn)練系統(tǒng) DW-S602提供軍事訓(xùn)練效率

    分析和反饋,幫助訓(xùn)練者提高射擊技能和戰(zhàn)斗反應(yīng)能力。 隨著現(xiàn)代科技的飛速發(fā)展,公安武警及新兵訓(xùn)練領(lǐng)域也迎來了技術(shù)革新的浪潮。其中,模擬輕武器射擊訓(xùn)練系統(tǒng)激光打靶設(shè)備以其
    的頭像 發(fā)表于 11-03 09:54 ?446次閱讀

    AI普及嵌入式設(shè)計(jì)人員帶來挑戰(zhàn)

    探討了人工智能(AI)的普及嵌入式設(shè)計(jì)人員帶來的新挑戰(zhàn)。在創(chuàng)建“邊緣機(jī)器學(xué)習(xí)(ML)”應(yīng)用時(shí),設(shè)計(jì)人員必須確保其能有效運(yùn)行,同時(shí)最大限度地降低處理器和存儲(chǔ)開銷,以及物聯(lián)網(wǎng)(IoT)設(shè)備的功耗
    發(fā)表于 08-22 14:20 ?696次閱讀
    AI普及<b class='flag-5'>給</b>嵌入式設(shè)計(jì)人員<b class='flag-5'>帶來</b>新<b class='flag-5'>挑戰(zhàn)</b>

    有刷換向電機(jī)EMC噪聲的產(chǎn)生及其解決方法詳解

    智能座艙這幾年的發(fā)展不僅駕駛員帶來了便捷舒適,也電機(jī)行業(yè)也帶來了一個(gè)新的挑戰(zhàn)
    的頭像 發(fā)表于 05-21 11:49 ?1558次閱讀
    有刷換向電機(jī)EMC噪聲的產(chǎn)生及其解決方法詳解

    存內(nèi)計(jì)算技術(shù)工具鏈——量化

    本篇文章將重點(diǎn)講述存內(nèi)計(jì)算技術(shù)工具鏈之“量化”,我們將從面向存內(nèi)計(jì)算芯片的深度學(xué)習(xí)編譯工具鏈、神經(jīng)網(wǎng)絡(luò)中的量化(包括訓(xùn)練量化量化感知
    的頭像 發(fā)表于 05-16 12:35 ?1272次閱讀
    存內(nèi)計(jì)算技術(shù)工具鏈——<b class='flag-5'>量化</b>篇

    大語言模型:原理與工程時(shí)間+小白初識(shí)大語言模型

    分布式表示,基于預(yù)訓(xùn)練的詞嵌入表示。 獨(dú)熱表示就是在一個(gè)大的向量空間中,其中一個(gè)位1,其余都為0,這樣就會(huì)變成單獨(dú)的。 詞的分布式表示:根據(jù)上下文進(jìn)行推斷語義。 基于預(yù)訓(xùn)練的詞嵌入表
    發(fā)表于 05-12 23:57

    【大語言模型:原理與工程實(shí)踐】大語言模型的基礎(chǔ)技術(shù)

    特定任務(wù)對(duì)模型進(jìn)行微調(diào)。這種方法的成功不僅是自然語言處理發(fā)展的一個(gè)轉(zhuǎn)折點(diǎn),還為許多現(xiàn)實(shí)世界的應(yīng)用場(chǎng)帶來了前所未有的性能提升。從廣為人知的GPT到BERT,預(yù)訓(xùn)練的模型參數(shù)量越來越大預(yù)訓(xùn)練數(shù)據(jù)越來越多
    發(fā)表于 05-05 12:17

    JPEG LS算法局部梯度值計(jì)算原理

    如果同一個(gè)上下文中對(duì)少量元素進(jìn)行編碼,通常無法獲得足夠的上下文編碼信息。但是如果對(duì)大量元素進(jìn)行編碼又會(huì)帶來存儲(chǔ)空間變大的問題。因此要對(duì)局部梯度值進(jìn)行量化處理。
    的頭像 發(fā)表于 04-25 10:46 ?500次閱讀
    JPEG LS算法局部<b class='flag-5'>梯度</b>值計(jì)算原理

    分布式運(yùn)維管理平臺(tái)在云計(jì)算環(huán)境中的實(shí)施案例分析

    一、案例背景 隨著云計(jì)算技術(shù)的快速發(fā)展,越來越多的企業(yè)開始將業(yè)務(wù)遷移到云上,以實(shí)現(xiàn)資源的靈活調(diào)配和成本的降低。然而,云計(jì)算環(huán)境的復(fù)雜性和動(dòng)態(tài)性運(yùn)維管理帶來了巨大的挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn)
    的頭像 發(fā)表于 03-26 16:16 ?567次閱讀

    分布式運(yùn)維管理平臺(tái)在跨地域企業(yè)中的部署與運(yùn)維案例

    一、案例背景 隨著全球化進(jìn)程的加速和市場(chǎng)競(jìng)爭(zhēng)的加劇,越來越多的企業(yè)開始拓展跨地域業(yè)務(wù),形成多分支機(jī)構(gòu)、多數(shù)據(jù)中心的運(yùn)營(yíng)模式。然而,這種跨地域運(yùn)營(yíng)模式也企業(yè)的運(yùn)維管理帶來了極大挑戰(zhàn)。
    的頭像 發(fā)表于 03-26 16:11 ?488次閱讀

    功率放大器在聲波截面梯度場(chǎng)的重建及其在聲波場(chǎng)處理中的應(yīng)用

    光束偏轉(zhuǎn)斷層成像的一個(gè)擴(kuò)展版本?;诓▓?chǎng)的梯度與相對(duì)聲壓分布,可以直接采用基爾霍夫積分定理來進(jìn)一步計(jì)算和分析波場(chǎng)。   研究方向:聲光傳感、聲場(chǎng)重建   測(cè)試設(shè)備:ATA-4051高壓功率放大器
    發(fā)表于 03-08 17:45

    分布式智慧終端:挑戰(zhàn)與解決方案

    是一個(gè)重要的問題。解決方案包括采用分布式一致性協(xié)議,如Paxos、Raft等,以及通過數(shù)據(jù)備份和恢復(fù)機(jī)制來確保數(shù)據(jù)的安全性。 故障容忍性挑戰(zhàn)分布式系統(tǒng)中的組件和服務(wù)往往分布在不同的
    的頭像 發(fā)表于 01-24 14:50 ?459次閱讀