基于用于自然語言生成的“語境調(diào)優(yōu)”技術(shù)

一、引言

自然語言生成（又稱為文本生成）旨在基于輸入數(shù)據(jù)用人類語言生成合理且可讀的文本。隨著預訓練語言模型的發(fā)展，GPT-3，BART等模型逐漸成為了生成任務的主流模型。近年來，為了利用預訓練階段編碼的豐富知識，提示學習成為了一個簡單而強大的方法。

這篇工作主要聚焦于開放式文本生成，例如故事生成和評論生成。在這種場景下，輸入僅包含有限的信息，而任務目標是要生成富含信息量且與主題相關(guān)的長文本。例如下表中的例子，我們需要寫一段關(guān)于“l(fā)ive-action”和“animation”的評論，這需要對這兩個主題的背景信息有深入的了解?，F(xiàn)有的提示學習方法，會在輸入前加上人工的離散提示（例如表中的“Write a story about:”），或者在輸入前加上可學習的連續(xù)型提示。但是這些提示是靜態(tài)的，更多是包含任務相關(guān)的信息，但與輸入無關(guān)，很難依靠他們?nèi)ド筛缓畔⒘康奈谋尽?/p>

同時在長文本生成中，一個常見的問題是“跑題”，即生成的文本逐漸和主題無關(guān)。為了解決以上兩個問題，我們分別提出了語境提示（contextualized prompts）和連續(xù)反向提示（continuous inverse prompting），來增強生成文本的信息量和相關(guān)性。

二、語境調(diào)優(yōu)（Context-Tuning）

本文提出了一種創(chuàng)新的連續(xù)提示方法，稱語境調(diào)優(yōu)，用于微調(diào)預訓練模型來進行自然語言生成，我們的核心貢獻有三點：①我們首次提出了輸入相關(guān)的提示——語境提示，抽取預訓練模型中的知識作為提示來豐富生成文本的信息量。②我們使用了連續(xù)反向提示，最大化基于輸出生成輸入的概率，來增強生成文本的相關(guān)性。③我們使用了一種輕量化的語境調(diào)優(yōu)方法，在只微調(diào)0.12%參數(shù)的情況下保持98%的性能。

1.語境提示（contextualized prompts）

語境提示是基于輸入文本生成的提示，我們使用BERT作為提示生成器來抽取模型中有關(guān)輸入的知識，以此達到豐富信息量的目的。 ? 具體的，我們在??兩端各放置??個??得到BERT的輸入： ?? 經(jīng)過BERT的編碼，我們得到這些??的頂層表示，作為初始提示： ?? 然后我們使用一種“語義對齊”操作，將這些隱提示對應到真實詞表空間，得到我們的語境提示??： ?? 其中??是BERT的詞表矩陣，??是BERT預測??的映射矩陣。直覺地，我們可以將語義對齊操作看做是預測??的概率分布，然后將相應的詞向量加權(quán)平均。 ? 最后我們將語境提示加在輸入兩端，使用BART作為我們的生成模型，建模輸入??到輸出??的概率： ?? 2.連續(xù)反向提示（continuous inverse prompting） 連續(xù)反向提示通過建模從輸出到輸入的反向過程，改進自然語言生成，使生成文本與輸入的相關(guān)性更強。 ? 我們有這樣一個假設，如果我們可以從輸出恢復輸入，我們便認為輸出與輸入相關(guān)。但在一些生成場景下，這從輸出恢復輸入并不自然，因此我們使用連續(xù)反向提示來緩解這一現(xiàn)象。我們在輸出兩端添加連續(xù)反向提示??，并建模輸出到輸入的概率： ?? 我們期望反向提示可以更好地反映輸出到輸入的關(guān)系，這更多取決于任務本身，因此這里的反向提示是靜態(tài)的。 ? 最后，我們結(jié)合語境提示和連續(xù)反向提示，選擇聯(lián)合概率最大的生成文本： ?? 3.輕量化語境調(diào)優(yōu) 考慮到我們的語境提示引入了兩個預訓練模型，我們使用了一種輕量化微調(diào)方法BifFit，即僅微調(diào)每個參數(shù)的bias項，最終我們僅需要微調(diào)全量模型0.12%的參數(shù)。因此，我們在實驗中考慮了全量微調(diào)和輕量化微調(diào)兩種場景。 三、實驗 為了驗證語境調(diào)優(yōu)的有效性，我們在四個開放式文本數(shù)據(jù)集上進行了測試：WritingPrompts，ROCStories，ChangeMyReivew和WikiPlots。 我們考慮了六個基線方法（其中前四個用于全量微調(diào)，后兩個用于輕量化微調(diào)）：

通用文本生成模型：BART，GPT-2和T5；

專為故事生成設計的方法：HINT；

輕量化方法：Prefix-tuning和Prompt tuning

同時，我們使用BLEU來衡量生成文本的質(zhì)量，用Distinct來評價生成文本的多樣性。 ? 實驗結(jié)果表明我們在全量微調(diào)和輕量化微調(diào)兩種場景下均優(yōu)于基線模型，其中輕量化模型在僅微調(diào)0.12%參數(shù)的情況下可以達到全量微調(diào)98%的表現(xiàn)。 ? 消融實驗中，我們嘗試替換語境提示、刪除語義對齊或反向提示，生成結(jié)果均有下降，這驗證了我們語境提示和連續(xù)反向提示的有效性。 ? ? 人工評價表明，使用語境調(diào)優(yōu)生成的文本在流暢性、信息量、相關(guān)性和一致性上均優(yōu)于基線模型，且有82.83%的生成文本被認為是人所寫的。 ? ? 四、總結(jié) ? 本文提出了用于自然語言生成的“語境調(diào)優(yōu)”技術(shù)： ?

我們提出“語境提示”，增強生成文本的信息量；

我們使用“連續(xù)反向提示”，增強生成文本的相關(guān)性；

我們提出輕量化微調(diào)語境調(diào)優(yōu)，僅微調(diào)0.12%的參數(shù)卻能保持98%的性能。