無監(jiān)督訓(xùn)練加微小調(diào)整，只用一個模型即可解決多種NLP

基于一個可伸縮的、任務(wù)無關(guān)的系統(tǒng)，OpenAI在一組包含不同的語言任務(wù)中獲得了最優(yōu)的實驗結(jié)果，方法是兩種現(xiàn)有理念的結(jié)合：遷移學(xué)習(xí)和無監(jiān)督的預(yù)訓(xùn)練。這些結(jié)果證明了有監(jiān)督的學(xué)習(xí)方法可以與無監(jiān)督的預(yù)訓(xùn)練進(jìn)行完美的結(jié)合。這個想法許多人在過去探索過，OpenAI希望結(jié)果能激發(fā)更多的研究，進(jìn)而將這個想法應(yīng)用到更大、更多樣化的數(shù)據(jù)集上。

我們的系統(tǒng)分為兩個階段：首先，我們通過無監(jiān)督的方式在大數(shù)據(jù)集上訓(xùn)練一個遷移學(xué)習(xí)模型，訓(xùn)練過程中使用語言模型的訓(xùn)練結(jié)果作為信號，然后我們在更小的有監(jiān)督數(shù)據(jù)集上對這個模型進(jìn)行微調(diào)，以幫助它解決特定的任務(wù)。這個方法的開發(fā)是在我們前一個sentiment neuron（情緒神經(jīng)元）的工作之后進(jìn)行的，在sentiment neuron任務(wù)中我們注意到，通過利用足夠的數(shù)據(jù)對模型進(jìn)行訓(xùn)練，無監(jiān)督學(xué)習(xí)可以獲得令人驚訝的判別特征。在這里，我們想進(jìn)一步探討這個想法：我們能否開發(fā)一個模型，以一種無監(jiān)督的方式使用大量數(shù)據(jù)對模型進(jìn)行訓(xùn)練，然后對模型進(jìn)行微調(diào)，以在不同的任務(wù)中都獲得良好的性能？我們的研究結(jié)果表明，這種方法的效果出奇地好。同樣的核心模型可以針對完全不同的任務(wù)進(jìn)行微調(diào)，以適應(yīng)任務(wù)。

本研究是基于在半監(jiān)督序列學(xué)習(xí)中引入的方法，該方法展示了如何通過對LSTM進(jìn)行無監(jiān)督的預(yù)訓(xùn)練，然后進(jìn)行有監(jiān)督的微調(diào)，來提高文本分類的能力。它還擴展了ULMFiT的研究，該研究展示了如何對單個數(shù)據(jù)不可知的LSTM語言模型進(jìn)行微調(diào)，從而在各種文本分類數(shù)據(jù)集上獲得最優(yōu)的性能。我們的工作展示了如何在這種方法中使用遷移學(xué)習(xí)模型，從而在文本分類之外的更廣泛任務(wù)中取得成功，例如常識推理、語義相似性和閱讀理解等。它與ELMo類似，但屬于任務(wù)無關(guān)型問題，它包含了預(yù)訓(xùn)練，希望使用針對任務(wù)的特殊模型架構(gòu)來獲得最優(yōu)的結(jié)果。

我們通過對很少的參數(shù)調(diào)優(yōu)來達(dá)到我們的目的。所有的數(shù)據(jù)集都僅使用一個前向語言模型，沒有任何組合，并且大多數(shù)的結(jié)果都使用完全相同的超參數(shù)設(shè)置。

我們的方法在COPA、RACE和ROCStories三個數(shù)據(jù)集上的性能都表現(xiàn)得特別好，這些數(shù)據(jù)集是用來測試常識推理和閱讀理解的。我們的模型在這些數(shù)據(jù)集上獲得了最優(yōu)的結(jié)果。這些數(shù)據(jù)集的識別被認(rèn)為需要多句推理和重要的世界知識，這表明我們的模型主要通過無監(jiān)督學(xué)習(xí)來提高這些能力。以上表明，無監(jiān)督的技術(shù)有希望開發(fā)復(fù)雜的語言理解能力。

為什么是無監(jiān)督學(xué)習(xí)？

監(jiān)督學(xué)習(xí)是大多數(shù)機器學(xué)習(xí)算法成功的核心。然而，它需要對大量的數(shù)據(jù)進(jìn)行仔細(xì)的清理，創(chuàng)建的代價也極其昂貴，這樣才能獲得很好的效果。無監(jiān)督學(xué)習(xí)的吸引力在于它有可能解決這些缺點。由于無監(jiān)督的學(xué)習(xí)消除了人為顯式標(biāo)記的瓶頸，它也很好地擴展了當(dāng)前的趨勢，即增加了原始數(shù)據(jù)的計算能力和可用性。無監(jiān)督學(xué)習(xí)是一個非?；钴S的研究領(lǐng)域，但它的實際應(yīng)用往往很有限。

最近的一次一項嘗試是試圖通過使用無監(jiān)督學(xué)習(xí)來對具有大量未標(biāo)記數(shù)據(jù)的系統(tǒng)進(jìn)行增強，從而進(jìn)一步提高模型的語言能力。通過無監(jiān)督訓(xùn)練的單詞表示可以使用包含萬億字節(jié)信息組成的大型數(shù)據(jù)集，當(dāng)與有監(jiān)督學(xué)習(xí)相結(jié)合時，可以提高各種NLP任務(wù)的性能。直到最近，這些無監(jiān)督的NLP技術(shù)（例如GLoVe和word2vec）使用了簡單的模型（詞向量）和訓(xùn)練信號（單詞的局部同時出現(xiàn)）。skip-Thought向量是一個很值得注意的早期想法，它展示了更復(fù)雜的方法如何進(jìn)行改進(jìn)的潛能。而現(xiàn)在正在使用新的技術(shù)將進(jìn)一步提高實驗性能。上述技術(shù)包括使用預(yù)訓(xùn)練的句子來表示模型，上下文化的詞向量（特別是ELMo和CoVE），以及像我們提出來的方法：使用特定的模型架構(gòu)來將無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)融合在一起。

在大量文本的基礎(chǔ)上對我們的模型進(jìn)行預(yù)訓(xùn)練，極大地提高了它在具有挑戰(zhàn)性的自然語言處理任務(wù)上的性能，比如Winograd模式解析。

我們還注意到，我們可以使用未訓(xùn)練的基礎(chǔ)語言模型執(zhí)行任務(wù)。例如，隨著基礎(chǔ)語言模型的改進(jìn)，像選擇多個正確答案這樣任務(wù)的性能會穩(wěn)步增加。雖然這些方法的絕對性能相對于最新的有監(jiān)督技術(shù)而言仍然很低，（對于問答系統(tǒng)，它的表現(xiàn)優(yōu)于簡單的滑動窗口那樣的基線系統(tǒng)）但是鼓舞人心的一點是，這種行為在廣泛集合的任務(wù)中是具有魯棒性的。使用這些啟發(fā)式算法，不包含關(guān)于任務(wù)和世界的信息的隨機初始化網(wǎng)絡(luò)不會比包含這些信息的隨機初始化方法獲得更好的效果。這就提供了一些見解，告訴我們?yōu)槭裁瓷深A(yù)訓(xùn)練可以提高下游任務(wù)的性能。

我們還可以使用模型中現(xiàn)有的語言功能來執(zhí)行情感分析。對于由正面和負(fù)面影評組成的斯坦福情緒Treebank數(shù)據(jù)集，我們可以通過使用語言模型在句子后面輸入單詞“very”來猜測評論是正面還是負(fù)面，還能看看這個模型是否具有預(yù)測“積極的”或“消極的”的傾向。 這種方法根本不需要根據(jù)任務(wù)調(diào)整模型，其性能與經(jīng)典基線相當(dāng)，準(zhǔn)確度達(dá)到80％左右。

我們的工作也驗證了遷移學(xué)習(xí)的魯棒性和有效性，這表明它足夠靈活，可以在不需要對復(fù)雜的任務(wù)進(jìn)行定制或?qū)Τ瑓?shù)進(jìn)行調(diào)優(yōu)的情況下，在廣泛數(shù)據(jù)的任務(wù)上獲得最優(yōu)的結(jié)果。

缺點

這個項目有一些問題還是值得注意的：

計算要求：許多以前的NLP任務(wù)方法都是從頭開始，在單個GPU上訓(xùn)練相對較小的模型。 我們的方法需要昂貴的預(yù)訓(xùn)練步驟：在8個GPU上進(jìn)行為期1個月的訓(xùn)練。幸運的是，這個訓(xùn)練只需要進(jìn)行一次。我們正在發(fā)布我們的模型，這樣其他人就不用再次訓(xùn)練這樣的模型了。同時，與之前的工作相比，它也是一個大型模型，因此使用更多的計算和內(nèi)存，我們使用了37層（12塊）Transformer架構(gòu)，并且我們訓(xùn)練的序列最多可達(dá)512個令牌。大多數(shù)實驗都是在4個/8個GPU系統(tǒng)上進(jìn)行的。該模型可以快速調(diào)整新任務(wù)，從而有助于減輕額外的資源需求。

學(xué)習(xí)到文本中所包含的世界局限性和數(shù)據(jù)傾斜：互聯(lián)網(wǎng)上隨時可用的書籍和文本不包含關(guān)于世界的完整乃至準(zhǔn)確的信息。最近的工作表明，某些類型的信息很難通過文本學(xué)習(xí)，而其他工作表明模型學(xué)習(xí)且利用了數(shù)據(jù)分布中包含的傾斜。

脆弱的泛化能力：盡管我們的方法改善了廣泛任務(wù)的性能，但目前的深度學(xué)習(xí)NLP模型的表現(xiàn)有時仍然是違反直覺并且令人震驚的，尤其是在以系統(tǒng)性，對抗性或分布式分布的方式進(jìn)行評估時。盡管我們已經(jīng)觀察到一些進(jìn)展的跡象，但我們的方法對這些問題并非免疫。相比較于以往純文本的神經(jīng)網(wǎng)絡(luò)，我們的方法具有更優(yōu)越的詞法魯棒性。在2018年Glockner等人介紹的數(shù)據(jù)集中，我們的模型準(zhǔn)確率達(dá)到83.75％，表現(xiàn)類似于通過WordNet整合外部知識的KIM方法。

展望未來

擴展方法：我們已經(jīng)觀察到，語言模型性能的改進(jìn)與下游任務(wù)的改進(jìn)密切相關(guān)。目前我們正在使用一臺包含8 GPU計算機作為硬件，并僅使用大概包含5GB文本的幾千本書作為訓(xùn)練數(shù)據(jù)集。 根據(jù)經(jīng)驗表明，使用更多的計算性能和數(shù)據(jù)可以使算法有很大的改進(jìn)空間。

改進(jìn)微調(diào)：我們的方法目前非常簡單。如果使用更復(fù)雜的適應(yīng)和遷移技術(shù)（例如ULMFiT中探索的技術(shù)）可能會有實質(zhì)性的改進(jìn)。

更好地理解生成性預(yù)訓(xùn)練的原理會對模型有益：盡管我們已經(jīng)討論了一些我們在此討論的想法，但更有針對性的實驗和研究將有助于區(qū)分那些不同的解釋。例如，我們觀察到的性能提高有多少是得益于改進(jìn)了處理更廣泛背景的能力以及改進(jìn)的世界知識？