大語(yǔ)言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

作者｜李軍毅 陳杰 機(jī)構(gòu)｜中國(guó)人民大學(xué)

研究方向｜自然語(yǔ)言處理

來(lái)自| RUC AI Box

盡管大語(yǔ)言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0，并基于該評(píng)測(cè)框架從預(yù)訓(xùn)練/有監(jiān)督微調(diào)/提示設(shè)計(jì)/推理四個(gè)方面探索幻象來(lái)源。另外，還通過(guò)一系列技術(shù)深入研究了減輕LLM幻象的方法。

引言

大語(yǔ)言模型（LLM）在自然語(yǔ)言處理（NLP）的廣泛領(lǐng)域中展現(xiàn)出巨大的潛力。然而，盡管模型能力有所提升，但一個(gè)持續(xù)存在的挑戰(zhàn)在于它們具有產(chǎn)生幻象的傾向，即生成看似合理但事實(shí)上不準(zhǔn)確的內(nèi)容。這一問(wèn)題嚴(yán)重限制了LLM在現(xiàn)實(shí)世界應(yīng)用（如臨床診斷）中的部署，在這些應(yīng)用中，生成值得信賴的可靠文本至關(guān)重要。

在 LLM 時(shí)代，幻象相關(guān)的研究顯著增加，這些研究主要圍繞三個(gè)問(wèn)題展開(kāi)，即 LLM 為何產(chǎn)生幻象（source），如何檢測(cè)幻象（detection）以及如何減輕幻象（mitigation）?，F(xiàn)有的工作大多集中于分析或解決個(gè)別挑戰(zhàn)，仍然缺乏系統(tǒng)而深入的對(duì) LLM 幻象的實(shí)驗(yàn)分析。為此，我們針對(duì)事實(shí)性幻象，從幻象的檢測(cè)、來(lái)源和緩解三個(gè)方面進(jìn)行了全面系統(tǒng)的實(shí)驗(yàn)性分析。我們的貢獻(xiàn)包括：

構(gòu)建了幻象評(píng)測(cè)基準(zhǔn) HaluEval 2.0，提出了一個(gè)簡(jiǎn)單有效的幻象自動(dòng)評(píng)估框架。

基于上述評(píng)測(cè)框架，我們從預(yù)訓(xùn)練（pre-training）、有監(jiān)督微調(diào)（supervised fine-tuning）、提示設(shè)計(jì)（prompt design）和推理（inference）四個(gè)方面探索幻象的來(lái)源。

我們還通過(guò)一系列廣泛使用的技術(shù)，包括基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）、檢索增強(qiáng)（retrieval augmentation）、反思（self-reflexion）、提示改進(jìn)（prompt improvement）等，深入研究了減輕 LLM 幻象的方法。

總的來(lái)說(shuō)，我們的工作帶來(lái)了一系列關(guān)于 LLM 幻象的來(lái)源和緩解的重要實(shí)證發(fā)現(xiàn)，構(gòu)建的幻象評(píng)測(cè)基準(zhǔn)可用于進(jìn)一步的研究。

幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0

HaluEval 2.0包括五個(gè)領(lǐng)域的 8770 個(gè)問(wèn)題，其中生物醫(yī)學(xué)、金融、科學(xué)、教育和開(kāi)放域的問(wèn)題數(shù)量分別為1535、1125、1409、1701 和 3000?；?HaluEval 2.0，我們?cè)谝恍┚哂写硇缘拈_(kāi)源和閉源 LLM 上進(jìn)行了實(shí)驗(yàn)：

開(kāi)源模型：Alpaca (7B), Vicuna (7B and 13B), YuLan-Chat (13B), Llama 2-Chat (7B and 13B)

閉源模型：text-davinci-002/003, ChatGPT, Claude, Claude 2

幻象的檢測(cè)

我們提出了一個(gè)簡(jiǎn)單而有效的評(píng)測(cè)框架，用于檢測(cè) LLM 回答中的事實(shí)性錯(cuò)誤。我們將具有挑戰(zhàn)性的幻象檢測(cè)任務(wù)分解為兩個(gè)較簡(jiǎn)單的子任務(wù)：1）從回答中提取多個(gè)事實(shí)性陳述；2）確定每個(gè)陳述是否包含幻象。基于該檢測(cè)方法，我們可以在 HaluEval 2.0 上對(duì)各種 LLM 進(jìn)行評(píng)估。我們?cè)O(shè)計(jì)了兩個(gè)不同級(jí)別的指標(biāo)來(lái)衡量 LLM 回答中包含幻象的程度。

微觀幻象率（MiHR）衡量每個(gè)回答中幻象陳述的比例：

宏觀幻象率（MaHR）計(jì)算含有幻象陳述的回答比例：

我們?cè)?HaluEval 2.0 上衡量了各種 LLM 產(chǎn)生幻象的傾向，實(shí)驗(yàn)結(jié)果如下表所示：

我們可以看到，開(kāi)源模型和閉源模型之間存在著明顯的性能差距。在開(kāi)源模型中，我們可以發(fā)現(xiàn)擴(kuò)大模型規(guī)模可以有效降低產(chǎn)生幻象的傾向。另外我們發(fā)現(xiàn)，MaHR 和 MiHR 的正相關(guān)性并不強(qiáng)，這是因?yàn)橛行┠Ｐ蛢A向于用較少的事實(shí)生成較短的回答，從而減少幻象的發(fā)生，但同時(shí)也減少了回答中信息的豐富性。更多的實(shí)驗(yàn)結(jié)論與分析詳見(jiàn)論文。

幻象的來(lái)源和緩解

我們進(jìn)行了廣泛的實(shí)驗(yàn)，從預(yù)訓(xùn)練（pre-training）、有監(jiān)督微調(diào)（supervised fine-tuning）、提示設(shè)計(jì)（prompt design）和推理（inference）四個(gè)方面探索可能誘發(fā) LLM 幻象的因素：

我們研究了基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）、檢索增強(qiáng)（retrieval augmentation）、反思（self-reflexion）、提示改進(jìn)（prompt improvement）等廣泛使用的方法減輕 LLM 幻象的有效性：

下面是各部分的實(shí)驗(yàn)結(jié)論，更多的實(shí)驗(yàn)細(xì)節(jié)、結(jié)果和分析詳見(jiàn)論文。

預(yù)訓(xùn)練：在更多 tokens 上進(jìn)行預(yù)訓(xùn)練對(duì)減少 LLM 幻象的影響較小，而將專業(yè)數(shù)據(jù)（如科學(xué)文本）納入預(yù)訓(xùn)練則可以極大地減輕特定領(lǐng)域的幻象。預(yù)訓(xùn)練知識(shí)的頻率對(duì)幻象的來(lái)源有很大影響，即頻率越低，幻象越多。

微調(diào)：通過(guò)改進(jìn)指令對(duì) LLM 進(jìn)行有監(jiān)督微調(diào)有助于減輕幻象。平衡指令的復(fù)雜性有利于減少幻象，而使用過(guò)于復(fù)雜的指令則會(huì)導(dǎo)致更高水平的幻象。RLHF 是減輕 LLM 幻象的有效方法，但其效果依賴于所在領(lǐng)域。

推理：在專業(yè)領(lǐng)域如醫(yī)學(xué)，以多樣性為導(dǎo)向的解碼方法會(huì)誘發(fā)更多幻象，而在開(kāi)放領(lǐng)域，貪心搜索會(huì)加劇幻象。逐個(gè) token 生成的方式可能會(huì)讓 LLM 在先前生成錯(cuò)誤的基礎(chǔ)上繼續(xù)出現(xiàn)錯(cuò)誤，從而導(dǎo)致幻象。量化雖然加快了推理速度，但在很大程度上也會(huì)導(dǎo)致 LLM 幻象的產(chǎn)生。

提示設(shè)計(jì)：在任務(wù)描述中加入更多細(xì)節(jié)并利用上下文學(xué)習(xí)可以減少幻象的產(chǎn)生。改寫(xiě)問(wèn)題或?qū)⑷蝿?wù)描述放在問(wèn)題之后會(huì)誘發(fā)更多幻象。對(duì)于更易讀和表達(dá)更正式、更具體的問(wèn)題，LLM 產(chǎn)生幻象的傾向較低。

審核編輯：湯梓紅