ETH提出RecurrentGPT實現(xiàn)交互式超長文本生成

如今大型語言模型（如 ChatGPT）風靡全球，其最重要的應用之一就是輔助用戶完成各種日常寫作，如撰寫電子郵件，創(chuàng)作博客文章，都能得到它的有力支持。但是目前包括 ChatGPT 在內(nèi)的各種大語言模型在長內(nèi)容創(chuàng)作領域，如小說，劇本，長篇文案等領域卻顯得力不從心。

近期，來自蘇黎世聯(lián)邦理工和波形智能的團隊發(fā)布了 RecurrentGPT，一種讓大語言模型 (如 ChatGPT 等) 能夠模擬 RNN/LSTM，通過 Recurrent Prompting 來實現(xiàn)交互式超長文本生成，讓利用 ChatGPT 進行長篇小說創(chuàng)作成為了可能。

圖 1 RecurrentGPT 使用示意圖。

論文地址：https://arxiv.org/abs/2305.13304

項目地址：https://github.com/aiwaves-cn/RecurrentGPT

在線 Demo：https://www.aiwaves.org/recurrentgpt (長篇小說寫作) https://www.aiwaves.org/interactivefiction (交互式小說)

基于 Transformer 的大語言模型最明顯的限制之一就是輸入和輸出的長度限制。雖然輸入端的長度限制可以通過 VectorDB 等方式緩解，輸出內(nèi)容的長度限制始終是限制 ChatGPT 等大語言模型廣泛應用于長內(nèi)容生成的關鍵障礙。為解決這一問題，過去很多研究試圖使用基于向量化的 State 或 Memory 來讓 Transformer 可以進行循環(huán)計算。這樣的方法雖然在長文本建模上展現(xiàn)了一定的優(yōu)勢，但是卻要求使用者擁有并可以修改模型的結(jié)構(gòu)和參數(shù)，這在目前閉源模型遙遙領先的大語言模型時代中是不符合實際的。

RecurrentGPT 則另辟蹊徑，是利用大語言模型進行交互式長文本生成的首個成功實踐。它利用 ChatGPT 等大語言模型理解自然語言指令的能力，通過自然語言模擬了循環(huán)神經(jīng)網(wǎng)絡（RNNs）的循環(huán)計算機制。

如圖 2 所示，在每一個時間步中，RecurrentGPT 會接收上一個時間步生成的內(nèi)容、最近生成內(nèi)容的摘要（短期記憶），歷史生成內(nèi)容中和當前時間步最相關的內(nèi)容 (長期記憶)，以及一個對下一步生成內(nèi)容的梗概。RecurrentGPT 根據(jù)這些內(nèi)容生成一段內(nèi)容，更新其長短時記憶，并最后生成幾個對下一個時間步中生成內(nèi)容的規(guī)劃，并將當前時間步的輸出作為下一個時間步的輸入。這樣的循環(huán)計算機制打破了常規(guī)Transformer 模型在生成長篇文本方面的限制，從而實現(xiàn)任意長度文本的生成，而不遺忘過去的信息。

圖 2 RecurrentGPT 基本結(jié)構(gòu)示意。

具體來講。作者們設計了如圖 2 所示的 prompt 去指導和規(guī)范循環(huán)的生成：

圖 3: RecurrentGPT Prompt 設計。

首先指明任務，比如寫小說，并說明在輸入部分會給出的內(nèi)容：上一步生成的段落（圖中 Ot-1）、當前維持的近期生成內(nèi)容的摘要，即短期記憶（圖中 ht-1），所有生成內(nèi)容中和當前時間步相關程度最高的幾個段落，即短期記憶（圖中 ct-1），以及對接下來生成內(nèi)容的規(guī)劃（圖中 xt-1）。

接著在 prompt 中給 ChatGPT 提出要求：首先基于當前的輸入生成一個新的段落，接著對維護的短期記憶進行修改，同時在對短期記憶修改時作者們指示大語言模型首先分析短期記憶中哪些內(nèi)容對于后續(xù)創(chuàng)作不再重要以及新生成的內(nèi)容中哪些會對后續(xù)生成有所影響，之后相應地在地短期記憶庫中去去除無用的信息并增添新的信息，從而保持短期記憶不會因為迭代的輪數(shù)增加而變得過長。最后要求 ChatGPT 基于當前的情節(jié)鋪設，給出三個邏輯順承又有趣的新的情節(jié)的規(guī)劃。

在提出要求后，作者在結(jié)尾再次精心設計了 prompt 來規(guī)范 ChatGPT 的輸出，并重申了當前小說寫作的情景。這個好處是讓 ChatGPT 生成的內(nèi)容更具備像小說那樣的細節(jié)，而不是在每一輪的迭代中，快速地完成情節(jié)的敘述。

圖 4 RecurrentGPT Demo

在實際使用中，內(nèi)容創(chuàng)作者只需先選擇一個主題，然后簡單地描述一下要生成的內(nèi)容的背景設定和大綱，剩下的工作就可以交給 RecurrentGPT。每一個它將自動生成第一段，并提供幾個可能的選項（plan）供創(chuàng)作者繼續(xù)寫故事。創(chuàng)作者可以選擇一個選項、對某個選項進行修改或者自己編輯一個新的選項。這個流程能顯著提高內(nèi)容創(chuàng)作者的效率。

這個新的長文本生成范式將帶給所有內(nèi)容創(chuàng)作者和讀者一種全新的體驗。首先，相比現(xiàn)有的方法，RecurrentGPT 有更強的可解釋性，因為用戶可以觀察和編輯自然語言記憶，這使得用戶可以更清晰地理解這個框架是如何工作的。其次，用戶可以直接影響生成內(nèi)容的方向，讓整個寫作過程變得更加有趣。

除了作為 AI 內(nèi)容生成 (AIGC) 的工具以外，RecurrentGPT 可以直接作為交互式小說，直接與消費者互動，跳過了內(nèi)容創(chuàng)作者使用 AI 進行內(nèi)容創(chuàng)作的步驟。這讓消費者的體驗更直接有趣，并且?guī)砀S富的可能性。作者們將這樣的生成式 AI 的使用范式稱之為 (AI as Content, AIAC), 也就是 “AI 即內(nèi)容”。而 RecurrentGPT 則是通往這個范式的第一步。

在實驗中，作者們將 RecurrentGPT 與之前的 SoTA 長文本生成方法，在統(tǒng)一使用 ChatGPT 作為基座模型的情況下，在長文本（6000 單詞）和較長文本（3000 單詞）的設定下進行 pair-wise 的人工比較。

圖 5 RecurrentGPT 實驗結(jié)果。

在上述一系列測試中，RecurrentGPT 無論是在科幻、浪漫、幻想、恐怖、神秘還是驚悚小說的生成上，都被人類讀者認為更有趣和連貫。

總結(jié)

研究人員提出了 RecurrentGPT，用基于自然語言的組件取代了 RNN 中向量化的結(jié)構(gòu)，并且用基于自然語言的 Prompt 模擬了 RNN 的循環(huán)計算圖，從而實現(xiàn) Recurrent Prompting，讓 ChatGPT 等大語言模型模擬 RNN 的循環(huán)計算機制，生成有趣并連貫的長內(nèi)容。

該項目已經(jīng)在 GitHub 上開源，并提供了基于 Gradio 的網(wǎng)頁 UI，方便每一個用戶去使用和調(diào)教自己的長內(nèi)容創(chuàng)作助手。

審核編輯 ：李倩