USB如何一次性解決當(dāng)前半監(jiān)督基準(zhǔn)存在問(wèn)題

導(dǎo)讀

微軟亞洲研究院的研究員們聯(lián)合西湖大學(xué)、東京工業(yè)大學(xué)、卡內(nèi)基梅隆大學(xué)、馬克斯-普朗克研究所等機(jī)構(gòu)的研究人員們提出了USB：第一個(gè)將視覺(jué)，語(yǔ)言，和音頻分類(lèi)任務(wù)進(jìn)行統(tǒng)一的半監(jiān)督分類(lèi)學(xué)習(xí)基準(zhǔn)。?

當(dāng)使用監(jiān)督學(xué)習(xí)(Supervised Learning)對(duì)大量高質(zhì)量的標(biāo)記數(shù)據(jù)(Labeled Data)進(jìn)行訓(xùn)練時(shí)，神經(jīng)網(wǎng)絡(luò)模型會(huì)產(chǎn)生有競(jìng)爭(zhēng)力的結(jié)果。例如，根據(jù)Paperswithcode網(wǎng)站統(tǒng)計(jì)，在ImageNet這一百萬(wàn)量級(jí)的數(shù)據(jù)集上，傳統(tǒng)的監(jiān)督學(xué)習(xí)方法可以達(dá)到超過(guò)88%的準(zhǔn)確率。然而，獲取大量有標(biāo)簽的數(shù)據(jù)往往費(fèi)時(shí)費(fèi)力。 為了緩解對(duì)標(biāo)注數(shù)據(jù)的依賴(lài)，半監(jiān)督學(xué)習(xí)(Semi-supervised Learning/SSL)致力于在僅有少量的標(biāo)注數(shù)據(jù)時(shí)利用大量無(wú)標(biāo)簽數(shù)據(jù)(Unlabeled Data)來(lái)提升模型的泛化性。半監(jiān)督學(xué)習(xí)亦是機(jī)器學(xué)習(xí)的重要主題之一。深度學(xué)習(xí)之前，這一領(lǐng)域的研究者們提出了諸如半監(jiān)督支持向量機(jī)、熵正則化、協(xié)同訓(xùn)練等經(jīng)典算法。

深度半監(jiān)督學(xué)習(xí)

隨著深度學(xué)習(xí)的興起，深度半監(jiān)督學(xué)習(xí)算法也取得了長(zhǎng)足的進(jìn)步。同時(shí)，包括Google、Meta和微軟等在內(nèi)的科技巨頭也認(rèn)識(shí)到了半監(jiān)督學(xué)習(xí)在實(shí)際場(chǎng)景中的巨大潛力。例如，Google利用噪聲學(xué)生訓(xùn)練(Noisy student training)這一半監(jiān)督算法提高了其在搜索方面的性能[1]。當(dāng)前最具代表性的半監(jiān)督算法通常對(duì)標(biāo)注數(shù)據(jù)使用交叉熵?fù)p失進(jìn)行訓(xùn)練，對(duì)無(wú)標(biāo)注數(shù)據(jù)使用一致性正則技術(shù)(Consistency Regularization)鼓勵(lì)對(duì)輸入擾動(dòng)進(jìn)行不變預(yù)測(cè)。例如，Google在NeurIPS 2020提出的FixMatch算法[2]利用增強(qiáng)錨定(Augmentation Anchoring)和固定閾值(Fixed Thresholding)技術(shù)來(lái)增強(qiáng)模型對(duì)不同強(qiáng)增強(qiáng)數(shù)據(jù)的泛化性和減少噪聲偽標(biāo)簽(Noisy Pseudo Labels)的影響。在訓(xùn)練中，F(xiàn)ixMatch過(guò)濾了低于用戶指定(user-provided / pre-defined)閾值的無(wú)標(biāo)簽數(shù)據(jù)。 微軟亞洲研究院與東京工業(yè)大學(xué)等在NeurIPS 2021合作提出的FlexMatch[3]則考慮到了不同類(lèi)之間的學(xué)習(xí)難度不同，因此提出了課程偽標(biāo)簽(Curriculum Pseudo Labeling)技術(shù)對(duì)于不同類(lèi)應(yīng)該采用不同的閾值。具體來(lái)說(shuō)，對(duì)于容易學(xué)習(xí)的類(lèi)別，模型應(yīng)該設(shè)置高閾值以降低噪聲偽標(biāo)簽的影響；對(duì)于難學(xué)習(xí)的類(lèi)，模型應(yīng)該設(shè)置低閾值鼓勵(lì)該類(lèi)的擬合。每個(gè)類(lèi)的學(xué)習(xí)難度評(píng)估取決于落入該類(lèi)且高于固定值的未標(biāo)記數(shù)據(jù)樣本的數(shù)量。 同時(shí)，研究員和這些學(xué)校還合作提出了一個(gè)統(tǒng)一的基于Pytorch的半監(jiān)督方法代碼庫(kù)TorchSSL[4]，對(duì)該領(lǐng)域的深度方法、常用數(shù)據(jù)集、和基準(zhǔn)結(jié)果進(jìn)行了統(tǒng)一的支持。

微軟亞洲研究院聯(lián)合東京工業(yè)大學(xué)等單位提出的FlexMatch算法

當(dāng)前半監(jiān)督學(xué)習(xí)代碼庫(kù)存在的問(wèn)題與挑戰(zhàn)

盡管半監(jiān)督學(xué)習(xí)的發(fā)展如火如荼，但是，研究員們注意到目前大部分半監(jiān)督論文只關(guān)注計(jì)算機(jī)視覺(jué) (CV) 分類(lèi)任務(wù)，而其他領(lǐng)域（例如自然語(yǔ)言處理 (NLP)、音頻處理 (Audio)）研究者無(wú)法得知這些在CV任務(wù)上有效的算法是否依然有效。另外，大部分半監(jiān)督論文都是由谷歌，微軟等大型機(jī)構(gòu)發(fā)表的，學(xué)術(shù)界的實(shí)驗(yàn)室往往由于計(jì)算資源的限制不能一起推動(dòng)半監(jiān)督領(lǐng)域的發(fā)展?？偟膩?lái)說(shuō)，半監(jiān)督學(xué)習(xí)基準(zhǔn)目前存在以下兩個(gè)問(wèn)題： （1）多樣性不足。 現(xiàn)有的半監(jiān)督學(xué)習(xí)基準(zhǔn)大多局限于計(jì)算機(jī)視覺(jué) (CV) 分類(lèi)任務(wù)（即 CIFAR-10/100，SVHN，STL-10 和 ImageNet 分類(lèi)），排除了對(duì)自然語(yǔ)言處理 (NLP)、音頻處理 (Audio) 等分類(lèi)任務(wù)的一致和多樣化評(píng)估，而在NLP和Audio中缺乏足夠的標(biāo)記數(shù)據(jù)也是一個(gè)普遍問(wèn)題。 （2）耗時(shí)且對(duì)學(xué)術(shù)界不友好。 現(xiàn)有的半監(jiān)督學(xué)習(xí)基準(zhǔn)（如TorchSSL）通常是耗時(shí)且不環(huán)保的，因?yàn)樗枰ǔ念^開(kāi)始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型。具體而言，使用 TorchSSL評(píng)估FixMatch[1]大約需要300個(gè)GPU日。如此高的訓(xùn)練成本使得許多研究實(shí)驗(yàn)室（尤其是學(xué)術(shù)界的實(shí)驗(yàn)室或小研究團(tuán)體）無(wú)法負(fù)擔(dān)得起SSL的相關(guān)研究，從而阻礙了SSL的進(jìn)展。

USB: 任務(wù)多樣化和對(duì)研究者更友好的新基準(zhǔn)庫(kù)

微軟亞洲研究院的研究員們聯(lián)合西湖大學(xué)、東京工業(yè)大學(xué)、卡內(nèi)基梅隆大學(xué)、馬克斯-普朗克研究所等機(jī)構(gòu)的研究人員們提出了USB：第一個(gè)將視覺(jué)，語(yǔ)言，和音頻分類(lèi)任務(wù)進(jìn)行統(tǒng)一的半監(jiān)督分類(lèi)學(xué)習(xí)基準(zhǔn)。相比于之前的半監(jiān)督學(xué)習(xí)基準(zhǔn)(如TorchSSL)只關(guān)注少量視覺(jué)任務(wù)，該論文不僅引入更多樣化的應(yīng)用領(lǐng)域，還首次利用視覺(jué)預(yù)訓(xùn)練模型（Pretrained Vision Transformer）大大縮減了半監(jiān)督算法的驗(yàn)證時(shí)間（從7000GPU時(shí)縮減至900GPU時(shí)），使得半監(jiān)督研究對(duì)研究者、特別是小研究團(tuán)體更友好。USB的相關(guān)論文已被國(guó)際人工智能頂會(huì)NeurIPS 2022接收。 此工作由多個(gè)單位合作完成：第一作者為王一棟（東京工業(yè)大學(xué)碩士、微軟亞洲研究院與西湖大學(xué)實(shí)習(xí)生）、陳皓(卡耐基梅隆大學(xué))、范越（馬克斯·普朗克研究所）；通訊作者是來(lái)自微軟亞洲研究院的王晉東和來(lái)自西湖大學(xué)的張?jiān)?。其余作者?lái)自清華大學(xué)、微軟亞洲工程院、南京大學(xué)、奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)和北京大學(xué)。

USB: 統(tǒng)一的半監(jiān)督學(xué)習(xí)框架

USB提供的解決方案

那么，USB如何一次性解決當(dāng)前半監(jiān)督基準(zhǔn)存在的問(wèn)題呢？研究員們進(jìn)行了如下的改進(jìn)： （1）為增強(qiáng)任務(wù)多樣性，USB引入了5個(gè)CV 數(shù)據(jù)集，5個(gè)NLP數(shù)據(jù)集和5個(gè)音頻數(shù)據(jù)集提供了一個(gè)多樣化且具有挑戰(zhàn)性的基準(zhǔn)，從而能夠?qū)?lái)自不同領(lǐng)域的多個(gè)任務(wù)進(jìn)行一致的評(píng)估。下表提供了USB與TorchSSL的任務(wù)和訓(xùn)練時(shí)間等方面的詳細(xì)對(duì)比。

（2）為提高訓(xùn)練效率，研究員們將預(yù)訓(xùn)練的Vision Transformer引入SSL，而不是從頭訓(xùn)練ResNets。具體而言，研究員們發(fā)現(xiàn)在不影響性能的情況下使用預(yù)訓(xùn)練模型可以大大減少訓(xùn)練迭代次數(shù)（例如，將 CV 任務(wù)的訓(xùn)練迭代次數(shù)從100萬(wàn)步減少到20萬(wàn)步）。 （3）為了對(duì)研究人員更加友好，研究員們開(kāi)源實(shí)現(xiàn)了14種 SSL算法并開(kāi)源了一個(gè)模塊化代碼庫(kù)和相關(guān)的配置文件以供研究者輕松再現(xiàn)USB報(bào)告中的結(jié)果。為了快速上手，USB還提供詳細(xì)的文檔和教程。此外，USB還提供pip包以供使用者直接調(diào)用SSL算法。研究員們承諾未來(lái)會(huì)在USB中不斷加入新的算法（例如不平衡半監(jiān)督算法等）和更多更具挑戰(zhàn)性的數(shù)據(jù)集。下圖展示了USB中已支持的算法和模塊。

USB中已支持的算法和模塊

總結(jié)

半監(jiān)督學(xué)習(xí)通過(guò)利用大量無(wú)標(biāo)簽數(shù)據(jù)來(lái)訓(xùn)練更精確、更魯棒的模型，在未來(lái)有著重要的研究和應(yīng)用價(jià)值。研究員們期待通過(guò)USB這一工作，能夠予力學(xué)術(shù)界和工業(yè)界在半監(jiān)督學(xué)習(xí)領(lǐng)域取得更大的進(jìn)展。

參考

^Google半監(jiān)督學(xué)習(xí) https://ai.googleblog.com/2021/07/from-vision-to-language-semi-supervised.html

^FixMatch https://arxiv.org/abs/2001.07685

^FlexMatch https://proceedings.neurips.cc/paper/2021/file/995693c15f439e3d189b06e89d145dd5-Paper.pdf

^TorchSSL https://github.com/TorchSSL/TorchSSL

編輯：黃飛

?