2018年最受關(guān)注的計(jì)算機(jī)視覺(jué)挑戰(zhàn)賽是什么？

計(jì)算機(jī)視覺(jué)界的頂級(jí)競(jìng)賽之一MS COCO 2018年結(jié)果最新出爐，在實(shí)例分割、全景分割、人體關(guān)鍵點(diǎn)檢測(cè)、DensePose以及今年最新的街景檢測(cè)和分割任務(wù)中，全部6項(xiàng)冠軍均由中國(guó)團(tuán)隊(duì)包攬。其中，曠視獲得了4項(xiàng)冠軍（含1項(xiàng)并列第一），來(lái)自北郵和滴滴的團(tuán)隊(duì)分別獲得1項(xiàng)冠軍。微軟亞洲研究院獲得1項(xiàng)亞軍，北京大學(xué)和360組成的團(tuán)隊(duì)也獲得了1項(xiàng)亞軍。

2018年最受關(guān)注的計(jì)算機(jī)視覺(jué)挑戰(zhàn)賽是什么？

COCO！

MS COCO的全稱(chēng)是常見(jiàn)物體圖像識(shí)別（Microsoft Common Objects in Context），起源于是微軟于2014年出資標(biāo)注的Microsoft COCO數(shù)據(jù)集，同名競(jìng)賽與此前著名的ImageNet 競(jìng)賽一樣，被視為是計(jì)算機(jī)視覺(jué)領(lǐng)域最受關(guān)注和最權(quán)威的比賽之一。

而在ImageNet競(jìng)賽停辦后，COCO競(jìng)賽就成為是當(dāng)前物體識(shí)別、檢測(cè)等領(lǐng)域的一個(gè)最權(quán)威、最重要的標(biāo)桿，也是目前該領(lǐng)域在國(guó)際上唯一能匯集Google、微軟、Facebook以及國(guó)內(nèi)外眾多頂尖院校和優(yōu)秀創(chuàng)新企業(yè)共同參與的大賽。

剛剛，ECCV官網(wǎng)上發(fā)布了2018年最新COCO競(jìng)賽的結(jié)果：

在物體檢測(cè)、全景分割、人體關(guān)鍵點(diǎn)檢測(cè)、DensePose以及2018年最新提出的Mapillary街景檢測(cè)（Mapillary Detction）和街景全景分割（Mapillary Panoptic）6項(xiàng)任務(wù)中，中國(guó)的團(tuán)隊(duì)包攬了所有的冠軍！

根據(jù)ECCV COCO Workshop的日程表，我們可以發(fā)現(xiàn)：

曠視團(tuán)隊(duì)（Megvii）獲得了4項(xiàng)冠軍：實(shí)例分割（并列第一）、全景分割、人體關(guān)鍵點(diǎn)檢測(cè)，以及Mapillary街景全景分割；

北京郵電大學(xué)自動(dòng)化學(xué)院模式識(shí)別與測(cè)控技術(shù)實(shí)驗(yàn)室（BUTP-PRIV）獲得了DensePose任務(wù)的冠軍；

滴滴團(tuán)隊(duì)（DiDi Map Vision）獲得了Mapillary街景檢測(cè)冠軍。

不僅如此，其他中國(guó)團(tuán)隊(duì)也斬獲了出色的結(jié)果：

微軟亞洲研究院團(tuán)隊(duì)（MSRA）獲得了人體關(guān)鍵點(diǎn)檢測(cè)亞軍；

北京大學(xué)和360組成的團(tuán)隊(duì)（PKU_360）獲得了全景分割任務(wù)的亞軍。

MS COCO 2018，當(dāng)之無(wú)愧是中國(guó)計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)稱(chēng)霸的一年！

COCO挑戰(zhàn)賽：ImageNet 后最權(quán)威的計(jì)算機(jī)視覺(jué)衡量標(biāo)桿

今年的COCO競(jìng)賽與ECCV 2018一同舉辦，而且新增了兩項(xiàng)街景識(shí)別的新任務(wù)——Mapillary Vistas，這是是新近推出的街景集圖像數(shù)據(jù)集，專(zhuān)注于圖像的高階語(yǔ)義理解，推動(dòng)自動(dòng)駕駛和機(jī)器人導(dǎo)航等領(lǐng)域的技術(shù)落地。在數(shù)據(jù)集和應(yīng)用任務(wù)方面，兩者有很多不同，而后者對(duì)前者起補(bǔ)足作用。通常來(lái)講，COCO 是自然場(chǎng)景下的物體識(shí)別，Mapillary 則聚焦于街景場(chǎng)景識(shí)別，因此聯(lián)合挑戰(zhàn)賽的形式有利于計(jì)算機(jī)視覺(jué)技術(shù)更貼近現(xiàn)實(shí)場(chǎng)景，更具應(yīng)用價(jià)值。

COCO是一個(gè)旨在促進(jìn)目標(biāo)檢測(cè)研究的圖像數(shù)據(jù)集，重點(diǎn)關(guān)注檢測(cè)上下文中的目標(biāo)。COCO的注釋包括80個(gè)類(lèi)別對(duì)象的實(shí)例分割，91個(gè)類(lèi)別的物品分割，人物實(shí)例的關(guān)鍵點(diǎn)檢測(cè)，以及每個(gè)圖像都有5個(gè)圖像標(biāo)題（image captions）。

自 2015 年首屆挑戰(zhàn)賽以來(lái)，COCO 賽項(xiàng)數(shù)量不斷更新，評(píng)估標(biāo)準(zhǔn)也更加復(fù)雜；COCO 2018 相較往年又有改變。在檢測(cè)方面，實(shí)例分割近年在 COCO 上大為流行，今年，COCO 和 Mapillary 都有此賽項(xiàng)；隨著檢測(cè)技術(shù)走向飽和，COCO 去掉了邊界框檢測(cè)這一賽項(xiàng)，但成績(jī)依然出現(xiàn)在榜單上。

另外一個(gè)變動(dòng)是新增了 DensePose和 Panoptic Segmentation 兩個(gè)賽項(xiàng)。Panoptic Segmentation 同時(shí)解決一張圖像上前景物體與背景物體的分類(lèi)問(wèn)題，把互為分裂的語(yǔ)義分割和實(shí)例分割整合為一，推動(dòng)分割技術(shù)步入新境界，不斷逼近現(xiàn)實(shí)應(yīng)用。COCO 和 Mapillary 也都有此賽項(xiàng)。

COCO 2018挑戰(zhàn)賽的具體任務(wù)包括：(1)利用分割掩模進(jìn)行目標(biāo)檢測(cè)（實(shí)例分割），(2)全景分割，(3) 人體關(guān)鍵點(diǎn)檢測(cè)，(4)DensePose。

1、COCO實(shí)例分割任務(wù)

COCO目標(biāo)檢測(cè)任務(wù)（Object Detection Task）旨在推動(dòng)目標(biāo)檢測(cè)領(lǐng)域的先進(jìn)技術(shù)。COCO 2018挑戰(zhàn)中只出現(xiàn)具有對(duì)象分割輸出的檢測(cè)任務(wù)。

隨著近年來(lái)物體檢測(cè)技術(shù)已經(jīng)成熟，COCO不再以邊界框檢測(cè)任務(wù)為主。雖然leaderboard仍保持開(kāi)放，但邊界框檢測(cè)任務(wù)不是workshop challenge；相反，競(jìng)賽鼓勵(lì)研究人員專(zhuān)注于更具挑戰(zhàn)性和視覺(jué)信息的實(shí)例分割任務(wù)。

2、COCO全景分割任務(wù)

COCO全景分割任務(wù)（Panoptic Segmentation Task）的目標(biāo)是推進(jìn)場(chǎng)景分割的最新技術(shù)水平。全景分割需處理物體類(lèi)和事件類(lèi)，統(tǒng)一了兩種典型的語(yǔ)義和實(shí)例分割任務(wù)。“全景”（panoptic）的定義是指“包括一個(gè)視圖中可見(jiàn)的所有內(nèi)容”，即一個(gè)統(tǒng)一的、全局的分割視圖。

3、COCO 人體關(guān)鍵點(diǎn)檢測(cè)任務(wù)

COCO 人體關(guān)鍵點(diǎn)檢測(cè)任務(wù)需要在具有挑戰(zhàn)性、不受控制的條件下定位人物的關(guān)鍵點(diǎn)（person keypoints）。關(guān)鍵點(diǎn)檢測(cè)任務(wù)涉及同時(shí)檢測(cè)并定位人物的關(guān)鍵點(diǎn)（在測(cè)試時(shí)沒(méi)有給出人的位置）。

4、COCODensePose任務(wù)

COCO DensePose任務(wù)需要在具有挑戰(zhàn)性，不受控制的條件下定位密集的人物關(guān)鍵點(diǎn)。DensePose任務(wù)涉及同時(shí)檢測(cè)和定位人的密集關(guān)鍵點(diǎn)，將所有人物像素映射到人體的3D表面。

Mapillary Vistas挑戰(zhàn)賽：2018年新加入的自動(dòng)駕駛類(lèi)任務(wù)

隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷進(jìn)步，今年，Mapillary Research也加入了COCO競(jìng)賽，并提供了Mapillary Vistas數(shù)據(jù)集。Vistas是一個(gè)多樣化的、像素精確的街道級(jí)圖像數(shù)據(jù)集，用于在全球范圍內(nèi)增強(qiáng)自動(dòng)駕駛能力。

Mapillary Vistas 數(shù)據(jù)集的設(shè)計(jì)和收集涵蓋了外觀的多樣性、注釋細(xì)節(jié)的豐富性和廣闊的地理范圍。相關(guān)競(jìng)賽的難點(diǎn)和要點(diǎn)在于把互為分裂的語(yǔ)義分割和實(shí)例分割整合為一，推動(dòng)分割技術(shù)步入新境界，不斷逼近現(xiàn)實(shí)應(yīng)用。

Mapillary Challenges基于公開(kāi)的Vistas Research數(shù)據(jù)集，其特點(diǎn)是：

28個(gè)stuff類(lèi)，37個(gè)thing類(lèi)，以及1個(gè)void類(lèi)

25K高分辨率圖像

地理范圍覆蓋全球，包括北美和南美、歐洲、非洲、亞洲和大洋洲

非常多樣的天氣條件（陽(yáng)光、雨、雪、霧、霧）和捕獲時(shí)間（黎明、白天、黃昏、夜晚）

廣泛的相機(jī)傳感器，不同的焦距，圖像寬高比和不同類(lèi)型的相機(jī)噪音

不同的捕捉視角（道路、人行道、公路外）

基于Mapillary Vistas數(shù)據(jù)集的競(jìng)賽任務(wù)包括：(1)目標(biāo)檢測(cè)和分割掩碼（實(shí)例分割）；(2)全景分割（panoptic segmentation），分別對(duì)應(yīng)COCO的檢測(cè)和全景分割任務(wù)。

1、Mapillary Vistas目標(biāo)檢測(cè)任務(wù)

Mapillary Vistas目標(biāo)檢測(cè)任務(wù)強(qiáng)調(diào)識(shí)別靜態(tài)的街道圖像對(duì)象（如路燈、路標(biāo)，電線桿）的個(gè)體實(shí)例，以及動(dòng)態(tài)的街道參與者（如汽車(chē)、行人、騎自行車(chē)的人）。這項(xiàng)任務(wù)旨在推動(dòng)最先進(jìn)的實(shí)例分割，針對(duì)汽車(chē)或運(yùn)輸機(jī)器人等自動(dòng)駕駛應(yīng)用的關(guān)鍵感知任務(wù)。

2、Mapillary Vistas全景分割任務(wù)

Mapillary Vistas Panoptic分割任務(wù)針對(duì)街景圖像中的完整感知區(qū)域。全景分割需要同時(shí)處理stuff 類(lèi)和thing類(lèi)，統(tǒng)一了典型的不同語(yǔ)義和實(shí)例分割任務(wù)。

COCO 2017競(jìng)賽結(jié)果：中國(guó)團(tuán)隊(duì)刷榜，超越谷歌、Facebook

回過(guò)頭去看2017年的COCO 競(jìng)賽的結(jié)果，當(dāng)時(shí)是在ICCV 2017 “Joint COCO and Places Recognition Challenge Workshop” 公布。

當(dāng)時(shí)，微軟、Facebook、谷歌、商湯、曠視等企業(yè)，以及卡內(nèi)基梅隆大學(xué)、北京大學(xué)、香港中文大學(xué)、上海交通大學(xué)等高校紛紛參與，競(jìng)爭(zhēng)激烈。

在側(cè)重對(duì)物體的理解的傳統(tǒng)4大任務(wù)中：

物體檢測(cè)（邊界框 BBox）：曠視研究院團(tuán)隊(duì)第一，港中文&北大團(tuán)隊(duì) UCenter 第二，微軟亞洲研究院（MSRA）團(tuán)隊(duì)與來(lái)自 FAIR 的團(tuán)隊(duì)分別獲得第三、第四

語(yǔ)義分割（Segmentation）：港中文&北大團(tuán)隊(duì) UCenter 第一，曠視研究院團(tuán)隊(duì)第二，F(xiàn)AIR 和MSRA 分別獲得第三、第四

人體關(guān)鍵點(diǎn)檢測(cè)：曠視研究院第一，北航&商湯團(tuán)隊(duì) OKS 第二

背景語(yǔ)義分割（Stuff Challenge）：FAIR 團(tuán)隊(duì)第一，牛津視覺(jué)實(shí)驗(yàn)室第二

2017年的COCO 還聯(lián)合舉辦了 Places 2017 這項(xiàng)側(cè)重對(duì)場(chǎng)景理解的挑戰(zhàn)賽，分為3個(gè)子任務(wù)：

Places 分為場(chǎng)景分割、物體分割和邊緣檢測(cè)三項(xiàng)任務(wù)。其中，物體分割（Instance Segmentation）任務(wù)，曠視擊敗了谷歌，贏得了冠軍。

根據(jù) Workshop 官方介紹，在 Places 環(huán)節(jié)受邀發(fā)表演講的是來(lái)自谷歌（G-RMI）、今日頭條（WinterIsComing，ByteDance）和中科院自動(dòng)化所與京東合作的團(tuán)隊(duì)（CASIA_IVA_JD）。這無(wú)疑是后兩個(gè)團(tuán)隊(duì)在 Places 2017 競(jìng)賽中取得好成績(jī)的證明。