CV大牛沈春華新算法獲GitHub 1400多顆Star

憑一己之力將澳大利亞機(jī)器學(xué)習(xí)研究院拉至全球排名第四；GitHub 1400 多顆 Star、并用于 Top 級手機(jī)廠商的視覺處理；這就是程序員口中的“CV 大?！?沈春華團(tuán)隊的“戰(zhàn)績”。

目前，沈春華在澳大利亞阿德萊德大學(xué)擔(dān)任計算機(jī)科學(xué)教授。這位本科畢業(yè)于南京大學(xué)、后在阿德萊德大學(xué)獲得博士學(xué)位的中國科學(xué)家，其主要研究機(jī)器學(xué)習(xí)和計算機(jī)視覺，而計算機(jī)視覺的終極目標(biāo)是建立一個具有人類表現(xiàn)的視覺系統(tǒng)。

2012 年，沈春華獲得澳大利亞研究委員會的未來學(xué)者稱號。除教職之外，他還是澳大利亞研究委員會機(jī)器人視覺卓越中心的科研負(fù)責(zé)人。從阿德萊德大學(xué)網(wǎng)站獲悉，沈春華上月被列為澳大利亞科研終身成就獎，是工程與計算機(jī)類獎項的 5 名獲選人之一（https://specialreports.theaustralian.com.au/1540291/9/）。

計算機(jī)排名網(wǎng)站 CSRanking 顯示，沈春華是過去 10 年間在計算機(jī)視覺方向 3 大頂級會議發(fā)表論文最多的在澳學(xué)者。他的科研成果和產(chǎn)出是阿德萊德大學(xué)下屬的澳大利亞機(jī)器學(xué)習(xí)研究院 (Australian Institute for Machine Learning，AIML) 能在 CSRanking 上排名世界第 4 的主要原因之一。

鑒于澳大利亞機(jī)器學(xué)習(xí)研究院的國際聲譽(yù)，澳大利亞聯(lián)邦政府最近宣布撥款 2000 萬澳元（合近 1 億人民幣）資助該研究院的科研，同時他還兼任研究院機(jī)器學(xué)習(xí)理論課題的主任。據(jù) Google Scholar 顯示，他的論文已積累 22000 多引用，個人 H-index 為 71。

從教至今，他教出過多位優(yōu)秀中國留學(xué)生，他的學(xué)生中目前有 3 位獲得 Google 博士獎學(xué)金（Google PhD Fellowship）。自 Google 首次頒發(fā)該獎項至今 12 年間，澳大利亞所有高校一共只有 7 人次在 “機(jī)器感知、語音技術(shù)和計算機(jī)視覺” 這個方向上獲得該獎項，而其中 3 人出自沈春華團(tuán)隊。

除此之外，還有多位畢業(yè)生入職名企、或在知名大學(xué)擔(dān)任教職， 如悉尼大學(xué)、墨爾本莫納什大學(xué)、新加坡理工大學(xué)等等。

圖 | 沈春華指導(dǎo)的部分博士畢業(yè)生

雖然他不在國內(nèi)，但卻時不時有中國程序員，在網(wǎng)上撰文逐句逐段分析他的論文，甚至主動翻譯他的論文。同時，他的論文研究已有不少投入應(yīng)用。

其團(tuán)隊開發(fā)的開源工具箱 AdelaiDet，曾和全球數(shù)一數(shù)二的手機(jī)廠商合作，部分算法曾經(jīng)用于該公司的旗艦手機(jī)上。該算法可幫助手機(jī)優(yōu)化拍照功能，拍出來的照片更鮮艷，還可幫助相機(jī)更好地實現(xiàn)特效功能和背景虛幻等功能。

截止目前，AdelaiDet 主要包含以下算法：FCOS、BlendMask、ABCNet、CondInst、SOLO，本文主要介紹前四個算法。

FCOS：基于 FCN 的逐像素目標(biāo)檢測算法

FCOS（Fully Convolutional One-Stage Object Detection）的中文翻譯是目標(biāo)檢測器，是沈春華團(tuán)隊于 2019 年推出的計算機(jī)視覺目標(biāo)檢測算法，并以《FCOS：完全卷積一階段目標(biāo)檢測》（FCOS: Fully Convolutional One-Stage Object Detection）為題發(fā)表在國際計算機(jī)視覺大會 2019 上。

在國內(nèi)某問答社區(qū)上，一位目前在字節(jié)跳動擔(dān)任高管、博士畢業(yè)于清華大學(xué)電氣工程系的認(rèn)證用戶表示，這篇論文是“入門檢測最合適的文章”。

具體來說，F(xiàn)COS 是一種基于全卷積神經(jīng)網(wǎng)絡(luò)的逐像素目標(biāo)檢測算法，最大亮點是提出了一個不需要錨框（Anchor Free）的全新的目標(biāo)檢測算法。FCOS 在性能上接近甚至超過目前很多基于錨框的主流目標(biāo)檢測算法。

目前大多數(shù)目標(biāo)檢測模型如 Faster R-CNN、YOLOv3 等都依賴于預(yù)先定義的錨框。相比之下，F(xiàn)COS 不依賴預(yù)先定義的錨框或提議區(qū)域。通過去除預(yù)先定義的錨框，F(xiàn)COS 可完全避免錨框的復(fù)雜運(yùn)算，并能節(jié)省訓(xùn)練過程中的內(nèi)存占用。

更重要的是，F(xiàn)COS 可避免和錨框有關(guān)、且對最終檢測結(jié)果敏感的所有超參數(shù)。因此 FCOS 比以往基于錨框的一階段或者二階段目標(biāo)檢測器要大大簡化。

圖 | FCOS 網(wǎng)絡(luò)結(jié)構(gòu)

從論文中的對比測試來看，F(xiàn)COS 的精度已超過老牌經(jīng)典算法 Faster R-CNN。

圖 | FCOS 的精度對比

如下圖案例所示，F(xiàn)COS 在對目標(biāo)物體框中、所有的點進(jìn)行目標(biāo)框回歸時，會用各個邊的距離長度來計算損失，這樣可以為后續(xù)使用 Center-ness 準(zhǔn)備。

圖 | FCOS 用各個邊的距離長度來計算損失

目前，在開發(fā)者群體中，F(xiàn)COS 的論文已經(jīng)成為他們眼中的 “沈春華團(tuán)隊的代表作”。而 BlendMask、CondInst、SOLO 的相關(guān)論文則被媒體稱為 “沈春華團(tuán)隊的又一力作”。

BlendMask：可提取更準(zhǔn)確的實例分割特征

BlendMask 的中文意思為實例分割算法，它來自沈春華團(tuán)隊的另一篇發(fā)表于 CVPR2020 的論文《BlendMask：自上而下與自下而上相結(jié)合的實例分割》（BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation）。

BlendMask 提出了一種結(jié)合自上向下和自下向上兩種設(shè)計策略的實例分割算法，在精度上超越了另一目標(biāo)檢測項目 Mask RCNN，速度上快 20%。

經(jīng)測試發(fā)現(xiàn)，在 COCO 數(shù)據(jù)集上使用 ResNet-50，BlendMask 性能可達(dá) 37.0％的 mAP（平均精度均值，mean average precision），使用 ResNet-101 其性能可達(dá)到 38.4％的 mAP。

BlendMask 可通過更合理的 Blender 模塊，來融合 top-level 和 low-level 的語義信息，從而提取更準(zhǔn)確的實例分割特征。據(jù)悉，BlendMask 是少有的在 mAP 和推理效率方面均能勝過 Mask R-CNN 的算法之一。

ABCNet：比其他方法最高快 10 倍以上

ABCNet 的全稱為 Adaptive Bezier-Curve Network，中文意思為自適應(yīng)貝塞爾曲線網(wǎng)絡(luò)。近年來，場景文本的檢測與識別越來越受重視。

現(xiàn)有方法大致分為兩類：基于字符的方法和基于分段的方法。這些方法的標(biāo)注代價高昂、框架十分復(fù)雜，因此并不適用于實時應(yīng)用程序。

為此，沈春華團(tuán)隊提出 ABCNet 來解決上述問題。其貢獻(xiàn)主要有三方面：

1、首次提出通過參數(shù)化的貝塞爾曲線（應(yīng)用于二維圖形應(yīng)用程序的數(shù)學(xué)曲線），并自適應(yīng)地擬合任意形狀的文本。

2、設(shè)計了一種新穎的貝塞爾曲線層，可用于提取任意形狀的文本實例的精確卷積特征，精度上遠(yuǎn)超此前方法。

3、與邊界框目標(biāo)檢測方法相比，貝塞爾曲線檢測引入的計算開銷可以忽略不計，兼具高效率和高準(zhǔn)確度兩大優(yōu)勢。在基準(zhǔn)數(shù)據(jù)集 Total-Text 和 CTW1500 上進(jìn)行的實驗表明，ABCNet 能達(dá)到較高的精度，速度也有顯著提升。其中在 Total-text 上，ABCNet 的實時版本比其他方法最高快 10 倍以上。

CondInst：可顯著加快推理速度

CondInst 是一個用于實例分割的條件卷積，相關(guān)論文《基于條件卷積的實例分割》“Conditional Convolutions for Instance Segmentation” 發(fā)表在 ECCV 2020 上。

CondInst 可以完全不依賴 ROI（感興趣的區(qū)域，region of interest）操作。而是采用以實例為條件的動態(tài)卷積達(dá)到分割實例的效果。

具體來說，它有兩個優(yōu)點：1、通過全卷積網(wǎng)絡(luò)解決了實例分割，無需進(jìn)行 ROI 裁剪和特征對齊等操作。2、由于動態(tài)生成的條件卷積的性能大大提高，因此可以顯著加快推理速度。

以上幾個算法，是沈春華團(tuán)隊 AdelaiDet 開源工具箱中的主要組成部分。該工具箱受到了學(xué)術(shù)界和工業(yè)界的相當(dāng)?shù)年P(guān)注。亞馬遜 AWS 已有意向在其產(chǎn)品中使用工具箱中的目標(biāo)檢測、實力分割、文字檢測識別等能力。

利好小公司開發(fā)者，不懂算法也能用

一言以蔽之，沈春華團(tuán)隊的研究工作的主要目的之一，是為了提高開發(fā)者工作質(zhì)量和效率，反映到終端用戶則能用到更好的產(chǎn)品。

以背景自動虛化為例，現(xiàn)在幾乎所有手機(jī)都有該功能，背后正是人工智能算法在運(yùn)行。以前文提到的手機(jī)廠商來說，手機(jī)算法對功耗、速度都有極高要求，因此需要給廠商做個性化方案。如果說開源算法是一個基礎(chǔ)款漢堡，個性化方案就是在此基礎(chǔ)上，加了很多其他菜。

但是該算法并非十全十美，它仍可以追求更高效、更少的計算量和更高的精度。據(jù)了解，沈春華團(tuán)隊在深度學(xué)習(xí)模型定點化方面也做了不少工作，這些算法可讓深度學(xué)習(xí)對嵌入式低功耗設(shè)備更友好。

舉例來說，標(biāo)準(zhǔn)浮點運(yùn)算一般是 16 位或 32 位，它的計算量比較大，產(chǎn)業(yè)界希望未來能做到一到兩比特，一個比特只有 0 和 1，兩個比特可以有四種組合，那么這種計算就能大大減少運(yùn)算量和功耗，從而適配移動端低功耗設(shè)備。

該團(tuán)隊做的相當(dāng)一部分工作，是希望能解決業(yè)界難題。一些小微公司的開發(fā)者也許并不懂人工智能，那么開發(fā)人工智能算法就會比較困難。使用類似沈春華團(tuán)隊開發(fā)的工具箱， 則可大大降低使用門檻。

如今依賴該團(tuán)隊的工具箱，已經(jīng)有越來越多的程序員受惠其中。在該團(tuán)隊的 GitHub 開源網(wǎng)址 https://git.io/AdelaiDet 上，已經(jīng)有 1400 顆 Star。

他雖然身在海外，但通過沒有國界的互聯(lián)網(wǎng)，正在以技術(shù)范的方法，幫助不斷增長的中國程序員群體更好地敲代碼。

責(zé)任編輯：xj

原文標(biāo)題：機(jī)器視覺領(lǐng)軍學(xué)者沈春華，獲澳大利亞科研終身成就獎！新算法獲GitHub 1400多顆Star｜專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。