Google AI最新研究用無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)推進(jìn)半監(jiān)督學(xué)習(xí)，取得令人矚目的成果

Google AI最新研究用無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)推進(jìn)半監(jiān)督學(xué)習(xí)，取得令人矚目的成果。該方法超越了所有現(xiàn)有的半監(jiān)督學(xué)習(xí)方法，并實(shí)現(xiàn)了僅使用極少量標(biāo)記樣本即可達(dá)到使用大量標(biāo)記樣本訓(xùn)練集的精度。

深度學(xué)習(xí)之所以能夠成功的關(guān)鍵因素，是算法的進(jìn)步，以及并行處理硬件（GPU / TPU）以及大型標(biāo)記數(shù)據(jù)集（如ImageNet）。

然而，當(dāng)標(biāo)記數(shù)據(jù)稀缺時(shí)，深度學(xué)習(xí)就像缺了一條腿。在這種情況下，需要應(yīng)用數(shù)據(jù)增強(qiáng)方法，例如對(duì)句子進(jìn)行釋義或?qū)D像進(jìn)行旋轉(zhuǎn)，以有效地增加標(biāo)記的訓(xùn)練數(shù)據(jù)的量。

如今，在諸如自然語(yǔ)言處理（NLP），視覺(jué)和語(yǔ)音等各種領(lǐng)域的數(shù)據(jù)增強(qiáng)方法的設(shè)計(jì)上，已經(jīng)取得了重大進(jìn)展。不幸的是，數(shù)據(jù)增加通常僅限于監(jiān)督學(xué)習(xí)，需要標(biāo)簽從原始示例轉(zhuǎn)移到增強(qiáng)示例。

上圖：基于文本（頂部）或基于圖像（底部）訓(xùn)練數(shù)據(jù)的示例增強(qiáng)操作。

在谷歌最近“用于一致性訓(xùn)練的無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)（UDA）”的研究中，證明還可以對(duì)未標(biāo)記數(shù)據(jù)執(zhí)行數(shù)據(jù)增強(qiáng)，以顯著改善半監(jiān)督學(xué)習(xí)（SSL）。

谷歌的結(jié)果促進(jìn)了半監(jiān)督學(xué)習(xí)的復(fù)興，而且還發(fā)現(xiàn)3點(diǎn)有趣的現(xiàn)象：（1）SSL可以匹配甚至優(yōu)于使用數(shù)量級(jí)更多標(biāo)記數(shù)據(jù)的純監(jiān)督學(xué)習(xí)。（2）SSL在文本和視覺(jué)兩個(gè)領(lǐng)域都能很好地工作。（3）SSL能夠與遷移學(xué)習(xí)很好地結(jié)合。

此外谷歌還開(kāi)放了代碼在GitHub。

GitHub地址：

https://github.com/google-research/uda

無(wú)監(jiān)督數(shù)據(jù)擴(kuò)充

無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)同時(shí)使用標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)。在標(biāo)記數(shù)據(jù)方面，它使用監(jiān)督學(xué)習(xí)的標(biāo)準(zhǔn)方法來(lái)計(jì)算損失函數(shù)以訓(xùn)練模型，如下圖的左側(cè)部分所示。

而對(duì)于未標(biāo)記的數(shù)據(jù)，則應(yīng)用一致性訓(xùn)練來(lái)強(qiáng)制預(yù)測(cè)未標(biāo)記的示例和增強(qiáng)的未標(biāo)記示例是否相似，如下圖的右側(cè)部分所示。

這里，相同的模型被同時(shí)應(yīng)用于未標(biāo)記的示例和增強(qiáng)的對(duì)應(yīng)物，以產(chǎn)生兩個(gè)模型預(yù)測(cè)，從中計(jì)算一致性損失（即，兩個(gè)預(yù)測(cè)分布之間的距離）。

然后，UDA通過(guò)聯(lián)合優(yōu)化標(biāo)記數(shù)據(jù)的監(jiān)督損失和未標(biāo)記數(shù)據(jù)的無(wú)監(jiān)督一致性損失，來(lái)計(jì)算最終損失。

通過(guò)最小化一致性損失，UDA允許標(biāo)簽信息從標(biāo)記的示例平滑地傳播到未標(biāo)記的示例。

直覺(jué)上，人們可以將UDA視為隱含的迭代過(guò)程：該模型依賴于少量標(biāo)記的示例，來(lái)對(duì)一些未標(biāo)記的示例進(jìn)行正確的預(yù)測(cè)，從中通過(guò)一致性損失，并將標(biāo)簽信息傳播到增強(qiáng)的對(duì)應(yīng)物。隨著時(shí)間的推移，越來(lái)越多未標(biāo)記的示例終將被正確預(yù)測(cè)，這反映了模型的改進(jìn)的泛化。

谷歌對(duì)各種其他類型的噪聲進(jìn)行一致性訓(xùn)練測(cè)試（例如高斯噪聲、對(duì)抗性噪聲等）后，在各種各樣的噪聲上實(shí)現(xiàn)了最先進(jìn)的性能。

UDA根據(jù)任務(wù)應(yīng)用不同的現(xiàn)有增強(qiáng)方法，包括反向翻譯、自動(dòng)增強(qiáng)和TF-IDF單詞替換。

新的NLP和計(jì)算機(jī)視覺(jué)的基準(zhǔn)

UDA在低數(shù)據(jù)體系中出乎意料地有效。只用20個(gè)標(biāo)記示例，UDA通過(guò)50000個(gè)未標(biāo)記的示例，在IMDb情緒分析任務(wù)中實(shí)現(xiàn)了4.20的錯(cuò)誤率。

該結(jié)果優(yōu)于先前使用25000個(gè)標(biāo)記示例訓(xùn)練的最先進(jìn)模型（錯(cuò)誤率為4.32）。在大數(shù)據(jù)制度中，通過(guò)完整的訓(xùn)練集，UDA也提供了強(qiáng)大的收益。

IMDb的基準(zhǔn)，是一種情緒分析任務(wù)。UDA在不同培訓(xùn)規(guī)模的監(jiān)督學(xué)習(xí)中超越了最先進(jìn)的成果，如下圖。

在CIFAR-10半監(jiān)督學(xué)習(xí)基準(zhǔn)測(cè)試中，UDA的表現(xiàn)同樣優(yōu)于所有現(xiàn)有的SSL方法，如VAT、ICT和MixMatch。

在4k示例情況下，UDA實(shí)現(xiàn)了5.27的錯(cuò)誤率，與使用50k示例的完全監(jiān)督模型的性能相匹配。

此外，通過(guò)更先進(jìn)的PyramidNet+ShakeDro架構(gòu)p，UDA實(shí)現(xiàn)了2.7的新的最新錯(cuò)誤率，與之前的最佳半監(jiān)督結(jié)果相比，錯(cuò)誤率降低了45％以上。

在SVHN上，UDA僅使用250個(gè)標(biāo)記示例，就實(shí)現(xiàn)了2.85的錯(cuò)誤率，與使用70k標(biāo)記示例訓(xùn)練的完全監(jiān)督模型的性能相匹配。

CIFAR-10的SSL基準(zhǔn)測(cè)試，圖像分類任務(wù)。UDA超越了所有現(xiàn)有的半監(jiān)督學(xué)習(xí)方法，所有這些方法都使用Wide-ResNet-28-2架構(gòu)。在4000個(gè)示例中，UDA將完全監(jiān)督設(shè)置的性能與50000個(gè)示例相匹配。

在具有10％標(biāo)記示例的ImageNet上，UDA將TOP 1精度從55.1％提高到68.7％。

在具有完全標(biāo)記集和1.3M額外未標(biāo)記示例的高數(shù)據(jù)體系中，UDA繼續(xù)為前1精度提供78.3％至79.0％的增益。