解讀ChatGPT背后的技術(shù)重點(diǎn)

近段時(shí)間，ChatGPT 橫空出世并獲得巨大成功，使得 RLHF、SFT、IFT、CoT 等這些晦澀的縮寫(xiě)開(kāi)始出現(xiàn)在普羅大眾的討論中。這些晦澀的首字母縮略詞究竟是什么意思？為什么它們?nèi)绱酥匾?？我們調(diào)查了相關(guān)的所有重要論文，以對(duì)這些工作進(jìn)行分類(lèi)，總結(jié)迄今為止的工作，并對(duì)后續(xù)工作進(jìn)行展望。

我們先來(lái)看看基于語(yǔ)言模型的會(huì)話(huà)代理的全景。ChatGPT 并非首創(chuàng)，事實(shí)上很多組織在 OpenAI 之前就發(fā)布了自己的語(yǔ)言模型對(duì)話(huà)代理 (dialog agents)，包括 Meta 的 BlenderBot，Google 的 LaMDA，DeepMind 的 Sparrow，以及 Anthropic 的 Assistant (Anthropic 的 Claude 就是部分基于 Assistant 繼續(xù)開(kāi)發(fā)而得的)。

其中一些團(tuán)隊(duì)還公布了他們構(gòu)建開(kāi)源聊天機(jī)器人的計(jì)劃，并公開(kāi)分享了路線(xiàn)圖 (比如 LAION 團(tuán)隊(duì)的 Open Assistant)，其他團(tuán)隊(duì)肯定也有類(lèi)似的內(nèi)容，但尚未宣布。

下表根據(jù)是否能公開(kāi)訪(fǎng)問(wèn)、訓(xùn)練數(shù)據(jù)、模型架構(gòu)和評(píng)估方向的詳細(xì)信息對(duì)這些 AI 聊天機(jī)器人進(jìn)行了比較。ChatGPT 沒(méi)有這些信息的記錄，因此我們改為使用 InstructGPT 的詳細(xì)信息，這是一個(gè)來(lái)自 OpenAI 的指令微調(diào)模型，據(jù)信它是 ChatGPT 的基礎(chǔ)。

我們觀(guān)察到，盡管在訓(xùn)練數(shù)據(jù)、模型和微調(diào)方面存在許多差異，但也存在一些共性。上述所有聊天機(jī)器人的一個(gè)共同目標(biāo)是「指令依從 (instruction following)」，即遵循用戶(hù)指定的指令。例如，要求 ChatGPT 寫(xiě)一首關(guān)于微調(diào)的詩(shī)。

ChatGPT 指令示例

從預(yù)測(cè)文本到遵循指令

通常，基礎(chǔ)模型的語(yǔ)言建模目標(biāo)不足以讓模型學(xué)會(huì)以有用的方式遵循用戶(hù)的指令。模型創(chuàng)建者使用「指令微調(diào) (Instruction Fine-Tuning，IFT)」方法來(lái)達(dá)到該目的，該方法除了使用情感分析、文本分類(lèi)、摘要等經(jīng)典 NLP 任務(wù)來(lái)微調(diào)模型外，還在非常多樣化的任務(wù)集上向基礎(chǔ)模型示范各種書(shū)面指令及其輸出，從而實(shí)現(xiàn)對(duì)基礎(chǔ)模型的微調(diào)。

這些指令示范由三個(gè)主要部分組成 —— 指令、輸入和輸出。輸入是可選的，一些任務(wù)只需要指令，如上文使用 ChatGPT 做開(kāi)放式文本生成的示例。當(dāng)存在輸入時(shí)，輸入和輸出組成一個(gè)「實(shí)例 (instance)」。給定指令可以有多個(gè)輸入和輸出實(shí)例。如下例 (摘自 Wang 等，'22)：

指令和實(shí)例示例

IFT 的訓(xùn)練數(shù)據(jù)通常是人工編寫(xiě)的指令及用語(yǔ)言模型自舉 (bootstrap) 生成的實(shí)例的集合。在自舉時(shí)，先使用少樣本技術(shù)輸入一些樣本給 LM 用于提示它 (如上圖所示)，隨后要求 LM 生成新的指令、輸入和輸出。每一輪都會(huì)從人工編寫(xiě)的樣本和模型生成的樣本中各選擇一些送給模型。人類(lèi)和模型對(duì)創(chuàng)建數(shù)據(jù)集的貢獻(xiàn)構(gòu)成了一個(gè)譜圖，見(jiàn)下圖：

IFT 譜圖

譜圖的一端是純模型生成的 IFT 數(shù)據(jù)集，例如 Unnatural Instructions (Honovich 等，'22)；另一端是經(jīng)由社區(qū)的大量努力精心制作的指令如 Super-natural instructions (Wang 等，'22)。在這兩者之間的工作是使用一小組高質(zhì)量的種子數(shù)據(jù)集，然后進(jìn)行自舉生成最終數(shù)據(jù)集，如 Self-Instruct (Wang 等，'22)。

為 IFT 整理數(shù)據(jù)集的另一種方法是將現(xiàn)有的用于各種任務(wù) (包括提示)的高質(zhì)量眾包 NLP 數(shù)據(jù)集使用統(tǒng)一模式或不同模板轉(zhuǎn)換為指令。這一系列工作包括 T0 (Sanh 等，'22)、Natural instructions 數(shù)據(jù)集 (Mishra 等，'22)、FLAN LM (Wei 等，'22) 和 OPT-IML (Iyer 等，'22)。

安全地遵循指令

然而，經(jīng)過(guò)指令微調(diào)的 LM 并不總是能生成 有幫助的 和 安全的 響應(yīng)。這種行為的例子包括通過(guò)總是給出無(wú)益的回應(yīng)來(lái)逃避，例如 “對(duì)不起，我不明白?！?或?qū)γ舾?a href="http://www.wenjunhu.com/v/tag/" target="_blank">話(huà)題的用戶(hù)輸入生成不安全的響應(yīng)。為了減輕這種行為，模型開(kāi)發(fā)人員使用 有監(jiān)督微調(diào) (Supervised Fine-tuning, SFT)，在高質(zhì)量的人類(lèi)標(biāo)注數(shù)據(jù)上微調(diào)基礎(chǔ)語(yǔ)言模型，以提高有用性和無(wú)害性。例如，請(qǐng)參閱下面的表格（摘自 Sparrow 論文的附錄 F)。

SFT 和 IFT 聯(lián)系非常緊密。指令微調(diào)可以看作是有監(jiān)督微調(diào)的一個(gè)子集。在最近的文獻(xiàn)中，SFT 階段經(jīng)常被用于提高響應(yīng)的安全性，而不是接在 IFT 后面提高指令相應(yīng)的具體性。將來(lái)，這種分類(lèi)和劃分應(yīng)該日臻成熟，形成更清晰的使用場(chǎng)景和方法論。

人工安全規(guī)則

谷歌的 LaMDA 也根據(jù)一組規(guī)則 (論文附錄 A) 在帶有安全標(biāo)注的對(duì)話(huà)數(shù)據(jù)集上進(jìn)行微調(diào)。這些規(guī)則通常由模型創(chuàng)建者預(yù)先定義和開(kāi)發(fā)，涵蓋廣泛的主題，包括傷害、歧視、錯(cuò)誤信息。

微調(diào)模型

同時(shí)，OpenAI 的 InstructGPT、DeepMind 的 Sparrow 和 Anthropic 的 Constitutional AI 使用 人類(lèi)反饋強(qiáng)化學(xué)習(xí) (Reinforcement Learning From Human Feedback，RLHF) 來(lái)微調(diào)模型，該方法使用基于人類(lèi)偏好的標(biāo)注數(shù)據(jù)。在 RLHF 中，根據(jù)人類(lèi)反饋來(lái)對(duì)模型的響應(yīng)進(jìn)行排序標(biāo)注 (如，根據(jù)人類(lèi)偏好選擇文本簡(jiǎn)介)。然后，用這些帶標(biāo)注的響應(yīng)來(lái)訓(xùn)練偏好模型，該模型用于返回 RL 優(yōu)化器的標(biāo)量獎(jiǎng)勵(lì)。最后，通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練對(duì)話(huà)代理來(lái)模擬偏好模型。有關(guān)更多詳細(xì)信息，請(qǐng)參閱我們之前關(guān)于 RLHF 的文章: ChatGPT 背后的“功臣”——RLHF 技術(shù)詳解。

思維鏈 (Chain-of-thought，CoT) 提示 (Wei 等，'22) 是指令示范的一種特殊情況，它通過(guò)引發(fā)對(duì)話(huà)代理的逐步推理來(lái)生成輸出。使用 CoT 微調(diào)的模型使用帶有逐步推理的人工標(biāo)注的指令數(shù)據(jù)集。這是 Let’s think step by step 這一著名提示的由來(lái)。下面的示例取自 Chung 等，'22，橙色高亮的部分是指令，粉色是輸入和輸出，藍(lán)色是 CoT 推理。

CoT 圖解

如 Chung 等，'22 中所述，使用 CoT 微調(diào)的模型在涉及常識(shí)、算術(shù)和符號(hào)推理的任務(wù)上表現(xiàn)得更好。

如 Bai 等，'22 的工作所示，CoT 微調(diào)也顯示出對(duì)無(wú)害性非常有效 (有時(shí)比 RLHF 做得更好)，而且對(duì)敏感提示，模型不會(huì)回避并生成 “抱歉，我無(wú)法回答這個(gè)問(wèn)題” 這樣的回答。更多示例，請(qǐng)參見(jiàn)其論文的附錄 D。

CoT 和 RLHF 的對(duì)比

要點(diǎn)

與預(yù)訓(xùn)練數(shù)據(jù)相比，您只需要非常小的一部分?jǐn)?shù)據(jù)來(lái)進(jìn)行指令微調(diào) (幾百個(gè)數(shù)量級(jí))；

使用人工標(biāo)注的有監(jiān)督微調(diào)使模型輸出更安全和有用；

CoT 微調(diào)提高了模型在需要逐步思考的任務(wù)上的性能，并使它們?cè)诿舾性?huà)題上不那么回避。

對(duì)話(huà)代理的進(jìn)一步工作

這個(gè)博客總結(jié)了許多關(guān)于使對(duì)話(huà)代理有用的現(xiàn)有工作。但仍有許多懸而未決的問(wèn)題有待探索。我們?cè)谶@里列出了其中的一些。

RL 在從人類(lèi)反饋中學(xué)習(xí)有多重要？我們能否通過(guò)在 IFT 或 SFT 中使用更高質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)獲得 RLHF 的性能？

為了安全的角度看，Sparrow 中的 SFT+RLHF 與 LaMDA 中僅使用 SFT 相比如何？

鑒于我們有 IFT、SFT、CoT 和 RLHF，預(yù)訓(xùn)練有多大的必要性？如何折衷？人們應(yīng)該使用的最佳基礎(chǔ)模型是什么 (公開(kāi)的和非公開(kāi)的)？

本文中引用的許多模型都經(jīng)過(guò) 紅藍(lán)對(duì)抗 (red-teaming) 的精心設(shè)計(jì)，工程師特地搜尋故障模式并基于已被揭示的問(wèn)題改進(jìn)后續(xù)的訓(xùn)練 (提示和方法)。我們?nèi)绾蜗到y(tǒng)地記錄這些方法的效果并重現(xiàn)它們？

審核編輯：劉清