自然語言和ChatGPT的大模型調教攻略

你是否想過，為什么ChatGPT能夠如此火爆呢？我認為這主要是因為ChatGPT提供了好玩、有用的對話式交互功能，能夠為用戶提供幫助，而不僅僅是依靠“大”模型的魅力。畢竟，GPT-3在2020年就已經推出了，擁有175B的參數規(guī)模，但除了最初的熱度之外，它并沒有引起社會太多的關注。

那么，究竟是什么讓ChatGPT能夠生成相對客觀且富有信息量的回答呢？研究者們基于預訓練好的大規(guī)模語言模型，采用了多種調教手段，主要包括指令調整和基于人類反饋的對齊調整。這些調整手段的運用，使得ChatGPT的交互表現更為出色。本文基于人民大學團隊一篇的綜述論文，給大家簡要介紹一下大模型的調教攻略。

指令調整

指令調整（Instruction Tuning）將多種任務轉化成自然語言表述的形式，再通過seq2seq的監(jiān)督學習+多任務學習的方式調整大規(guī)模語言模型的參數。經驗表明，指令調整可以讓大模型更好地執(zhí)行指令，并提高跨任務與跨語言的泛化能力，并且可以緩解大模型輸出重復內容以及補全輸入而非完成任務的問題。

上圖展示了指令精調的數據樣例，通常包括一個任務描述，一組可選的展示樣例，以及一組輸入輸出。模型在訓練時，利用輸出內容，進行監(jiān)督學習訓練。

指令調整的數據主要有兩個來源。一為上圖左側，根據現有的數據集進行改寫構建。其中，主要涉及通過眾包平臺構建不同的任務描述，有些工作用啟發(fā)式模板構建數據，還有工作提出通過顛倒輸入輸出的方式擴充數據。

第二個來源為上圖右側，基于人類需求構建指令調整數據。InstructGPT提出利用人類在OpenAI API中輸入的數據作為任務描述，以提高指令的多樣性，更好滿足真實需求。過程中涉及收集用戶query，讓標注者再計一些query，讓標注者寫出query的回復作為訓練目標。GPT-4還額外構建高風險query來讓模型學習“拒絕回復”。第二類數據在后面的對齊調整中也用到了。

在指令調整過程中，任務的數量和多樣性對跨任務泛化能力很重要。多樣性可以體現在長度、結構、創(chuàng)造性等多個方面。而每個任務所需的樣本無需過多。

引入展示樣本可以提高模型表現，降低模型對指令表述過度的敏感其他的prompt內容會帶來負面影響。在展示樣本中，包含類似代數運算等思維鏈（Chain of Thought）的內容可以有效提升模型多步推理能力，對其他任務也有好處。

指令調整中需要注意任務間的樣本數量均衡問題，不能簡單地按照任務數據集規(guī)模合并。增加高質量數據集的采樣比例可以提升表現。不過，一般單一數據集樣本量會設置一個上限，一般在幾千到幾萬的范圍。

OPT-IML提出在指令調整中引入部分預訓練樣本作為正則，來提高穩(wěn)定性；GLM-130B 和 Galactica 在語言模型訓練過程中引入了少許指令調整數據。

對齊調整

語言模型預訓練預指令調整主要是提高模型建模語言，完成特定任務的能力。然而，對于ChatGPT這類“對話產品”而言，還需要通過對齊調整（Alignment Tuning）來讓模型同人類的價值觀對齊，從而生成“更令人滿意”的回復內容。

對齊調整的主要動機是，有害的、誤導的和有偏見的表述會嚴重影響人們主觀的評價。即使這種調整客觀上會損害大模型的能力，但可以極大地提升用戶體驗。大體上有三個需要調整的方向：

1.有幫助的：模型生成的內容應當是簡介有執(zhí)行力的，能夠提供額外的信息并展現出模型的敏感、審慎和洞察力。2.忠誠的：模型不應該捏造事實，并且適當地時候表達不確定性。3.無害的：模型避免生成冒犯的、歧視性的內容，并且拒絕一些惡意請求。

用于對齊調整的標注數據有多種形式，例如排序若干候選；成對比較；回答既定的問題以從多個角度評價等。GPT-4還利用了基于自身的零監(jiān)督分類器。

而在標注者質量篩選方面，除了母語、學歷、標注平臺（如AMT）上等級之外，研究者還利用標注者之間的內在一致性、標注者與研究者的標注一致性等信息來對標注者做篩選。

基于人類反饋的強化學習算法（RLHF）利用標注數據，基于強化學習PPO（Proximal Policy Optimization），調整大模型。上圖顯示了RLHF進行對齊調整的過程，具體包含三個步驟：

第一步是基于人類標注數據做有監(jiān)督精調。這一步和指令調整差不多，不過用的數據都是人類標注的，內容也更自由一些，比如開放式問答，閑聊，頭腦風暴，改寫等。這一步并非必須，可以認為是針對強化學習的冷啟動問題的預熱。

第二步是基于人類反饋訓練一個獎勵模型（Reward Model）。比如InstructGPT中基于標注數據訓練了一個排序模型。獎勵模型將在第三部強化學習中提供反饋信號。獎勵模型一般是一個較小的大語言模型，例如InstructGPT基于175B參數的GPT-3做調整，獎勵模型采用6B的GPT3；GopherCite基于280B參數的Gopher做調整，獎勵模型采用7B的Gopher。

第三步是強化學習優(yōu)化的過程。待優(yōu)化的大語言模型的動作域（action space）是預測詞表，狀態(tài)為當前生成的內容，并將獎勵模型的反饋信號通過PPO算法傳給大語言模型做優(yōu)化。對了避免強化學習跑偏，InstructGPT還采用了優(yōu)化后的模型與原模型生成內容的KL距離作為正則項。

結束語

雖然從頭訓練一個大模型可能對絕大多數研究者而言是一種奢望，但在現有的開源資料基礎之上，對特定的任務或領域進行調教個人專屬的大模型并非遙不可及。

編輯：黃飛

?