【導(dǎo)讀】6 月 16--20 日，計算機視覺與模式識別領(lǐng)域頂會 CVPR 2019 在美國長灘舉行。每年的 CVPR 盛會除了精彩的論文分享、Workshop 與 Tutorial，還會舉辦多場涵蓋計算機視覺各子領(lǐng)域的專項比賽，競爭亦是非常激烈。在此次人體姿態(tài)估計和人體分割比賽中，字節(jié)跳動的兩個團隊榜上有名，收獲兩個冠軍、一個亞軍。

關(guān)于 LIP 競賽

“Look Into Person”（以下簡稱 LIP ）國際競賽擁有大規(guī)模的人體姿態(tài)圖像數(shù)據(jù)庫、公平嚴格的評審標準以及國際性的競賽影響力。本屆 LIP 國際競賽吸引了超過 75 支隊伍參加，包括加州伯克利大學、NHN、悉尼科技大學、東南大學、上海交通大學、中國電子科技大學、香港中文大學等全球高校以及三星、字節(jié)跳動、百度、京東等科技企業(yè)的人工智能研究院機構(gòu)；包括五個競賽任務(wù)，分別是：

• 單人人體解析分割（ the single-person human parsing）

• 單人人體姿態(tài)估計（ the single-person pose estimation）

• 多人人體解析（the multi-person human parsing）

• 基于視頻的多人人體解析（multi-person video parsing, multi-person pose estimation benchmark）

• 基于圖像的服裝試穿（clothes virtual try-on benchmark）

今年的 LIP 國際競賽上，字節(jié)跳動人工智能實驗室拿下了兩個國際冠軍和一個國際亞軍。由字節(jié)跳動和東南大學組成的團隊、以及肖斌帶領(lǐng)的字節(jié)跳動團隊并列單人人體姿態(tài)估計比賽的國際冠軍；同時，字節(jié)跳動和東南大學組成的團隊同時還獲得了單人人體分割賽道的國際亞軍。

在單人人體姿態(tài)估計比賽中，兩個隊伍都刷新了去年的最好成績。其中，由字節(jié)跳動和東南大學組成的團隊提出了基于增強通道和空間信息的人體姿態(tài)估計網(wǎng)絡(luò)，參考 CVPR 2019 論文《Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information》。

傳送門：

https://arxiv.org/abs/1905.03466

肖斌團隊則提出利用高分辨率網(wǎng)絡(luò)（HRNet）來解決人體姿態(tài)估計問題，參考 CVPR 2019 論文《Deep High-Resolution Representation Learning for Human Pose Estimation》。目前該論文的算法已經(jīng)在 Gituhub 上開源，放地址：

傳送門：

https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

下面為大家詳細介紹兩支冠軍團隊的工作。

技術(shù)解讀（一）

字節(jié)跳動和東南大學組成的團隊提出了基于增強通道和空間信息的人體姿態(tài)估計網(wǎng)絡(luò)，論文《Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information》的一作蘇凱是來自東南大學模式識別與挖掘?qū)嶒炇遥≒ALM）碩士生三年級，師從東南大學耿新教授。目前在字節(jié)跳動人工智能實驗室實習，導(dǎo)師是喻冬東博士（共同一作）和王長虎博士。

• 介紹

人體姿態(tài)估計旨在定位出圖片中人的關(guān)鍵身體部位，例如手臂、軀干以及面部的關(guān)鍵點等等。對于行為識別、人體再識別等諸多計算機任務(wù)來說，人體姿態(tài)估計是一項基礎(chǔ)且極具挑戰(zhàn)的課題。由于人與人之間的密切交互、遮擋以及不同尺度人體等因素影響，獲取準確的定位結(jié)果仍然具有困難。

• 創(chuàng)新點

首先，在卷積神經(jīng)網(wǎng)絡(luò)中，高層特征往往具有更大的感受視野，所以它們對于復(fù)雜場景下的遮擋點、不可見點的推斷更有幫助。另一方面，卷積神經(jīng)網(wǎng)絡(luò)的低層特征往往具有更大的分辨率，所以它們對于關(guān)鍵點的精細調(diào)整更加有效。然而，在現(xiàn)實場景中，高低層特征之間權(quán)衡往往復(fù)雜多變。因此，論文提出通道交流模塊來促進不同分辨率層特征之間的跨通道信息交流。通道交流模塊的目的是通過網(wǎng)絡(luò)自學習來校準高低層特征之間的相互補充和強化。

其次，特征融合的過程是動態(tài)多變的，融合后的特征往往也存在許多冗余。網(wǎng)絡(luò)中那些對姿態(tài)估計任務(wù)更加有效的特征信息應(yīng)該被自適應(yīng)地突顯出來。因此，論文提出基于空間和通道注意力機制的殘差模塊，自適應(yīng)地從空間和通道兩個維度增強剛剛?cè)诤虾蟮慕鹱炙卣餍畔ⅰ?/p>

• 實驗

論文采用人體關(guān)鍵點檢測的最權(quán)威數(shù)據(jù)集之一 MS COCO（多人人體姿態(tài)數(shù)據(jù)集）。論文的 baseline 采用 Cascaded Pyramid Network（CVPR 2018）。論文首先在 MS COCO 進行消融實驗，以驗證各個模塊的重要性。

表3 可以看出，在只使用通道交流模塊，組數(shù)設(shè)置為 4（CSM-4）的情況下，在 COCO minival 數(shù)據(jù)集的結(jié)果可以由 69.4 提升到 71.7。在只使用空間通道注意力殘差模塊的情況下，結(jié)果可以由 69.4 提升到 70.8。同時使用兩種模塊，結(jié)果進一步提升到 72.1。

其次，論文在 COCO minival（表4）和 test-dev（表5）數(shù)據(jù)集對比了性能最先進的一些網(wǎng)絡(luò)和結(jié)果，均取得了優(yōu)異的超越。

技術(shù)解讀（二）

另一個冠軍隊伍——肖斌帶領(lǐng)的字節(jié)跳動團隊則提出了利用高分辨率網(wǎng)絡(luò)（HRNet）來解決人體姿態(tài)估計問題，以下是技術(shù)解讀。

通用的單人體姿態(tài)識別的框架通常為：給定單人圖片作為輸入，通過 CNN（Convolutional Neural Network）得到高分辨率的人體關(guān)鍵帶的熱點圖片，最后通過在熱點圖片中尋找最大極值點，得到人體關(guān)鍵點坐標。

在介紹 LIP 比賽使用的 HRNet（High Resolution Network）之前，我們先回顧一下人體姿態(tài)識別常用的網(wǎng)路結(jié)構(gòu)。

• 回顧常用的人體姿態(tài)識別網(wǎng)絡(luò)

首先，先介紹一下人體姿態(tài)識別的經(jīng)典網(wǎng)絡(luò) Stack-Houglass[1]，Stack-Hourglass 由普林斯頓大學教授 Jia Deng 團隊首先提出，Stack-Hourglass 網(wǎng)路由多個 stage 組成，每個 stage，遵循從低語義高分辨率特征圖到高語義低分辨率特征圖，然后由高語義低分辨率的特征圖通過上采樣恢復(fù)出高分辨率的特征圖的串行結(jié)構(gòu)，同時低語義的高分辨率的特征通過跳連結(jié)和深層的恢復(fù)的高分辨率融合。

在 2018 年，COCO 人體關(guān)鍵點比賽中，曠視團隊提出了 CPN 網(wǎng)絡(luò)（Cascaded Pyramid Network）[2]，獲得 COCO 人體姿態(tài)識別的冠軍。CPN 網(wǎng)絡(luò)使用 ResNet 作為骨干網(wǎng)路，采用了類似特征金字塔的結(jié)構(gòu)來生成高分辨的人體姿態(tài)關(guān)鍵點熱點圖。CPN 主干網(wǎng)路也是遵循從高分辨率特征到低分辨率特征的串行結(jié)構(gòu)，最后通過跳連結(jié)構(gòu)以及上采樣操作，得到最終的高分辨率的熱點特征圖。

2018 ECCV 會議上，在人體姿態(tài)關(guān)鍵點檢測任務(wù)中，微軟亞洲研究院提出了一種通過三層級聯(lián)的反卷積方法——Simple Baseline[3]，來解碼 ResNet 主干網(wǎng)路的低分辨率特征。這個方法很簡單，但在人體關(guān)鍵點識別任務(wù)中取得了非常不錯的成績。Simple Baseline 的方法也遵循了從高分率到低分辨率學習，然后從低分辨率特征恢復(fù)高分辨特征的原則。

到這里總結(jié)一下，我們可以看出在人體關(guān)鍵點識別任務(wù)中，人體姿態(tài)識別的網(wǎng)路有以下幾大特征：

（1）網(wǎng)絡(luò)設(shè)計的結(jié)構(gòu)都遵循從高分辨率到低分辨率的串行連接結(jié)構(gòu)；

（2）高分辨率的人體姿態(tài)高分辨率熱點圖，都需要從低分辯的特征圖恢復(fù)得到；

（3）通常，恢復(fù)的高分辨率特征圖需要融合淺層的高分辨特征圖。

• 為什么選擇 HRNet？

我們認為在人體關(guān)鍵點檢測任務(wù)中，是需要一個更強的高分辨表達的特征圖，從技術(shù)路線上不應(yīng)該只局限在從低分辨率特征來恢復(fù)或解碼高分辨率特征這一種路線上，而應(yīng)該直接通過網(wǎng)路來學習高分辨率的特征表達。

因此，我們選擇了一種高分辨率表達的網(wǎng)路（High-Resolution Network，HRNet）[4]來做人體關(guān)鍵點檢測任務(wù)。HRNet 在網(wǎng)路整個過程中維持或?qū)W習高分辨率的特征，漸進的增加低分辨率的的分支，并且通過特征交換模塊，多次進行高分辨率和低分辨率的特征交換，從而學到足夠豐富的高分辨率特征。

• HRNet 的與眾不同之處

通過對比我們可以看到 HRNet 和之前的網(wǎng)絡(luò)具有很大的不同：

首先，HRNet 的高分辨率特征和低分辨率特征是并行連接。其次，HRNet 始終會學習一個高分辨率的特征表達。最后，HRNet 是通過多次的高分辨率特征和低分辨率特征的交換，來進一步增強高分辨率特征的學習。通過這種方式，HRNet 可以學到更強的高分辨率的特征表達。

HRNet 不僅在 LIP 人體姿態(tài)識別任務(wù)中取得了冠軍的結(jié)果。在其他人體姿態(tài)識別的數(shù)據(jù)集上如 COCO 關(guān)鍵點檢測任務(wù)，PoseTrack 人體姿態(tài)識別以及跟蹤任務(wù)，MPII 人體字體識別任務(wù)中都得到了 State-of-the-art 的結(jié)果。