中科大提出：LLMs的個(gè)性化綜述，詳述大模型與個(gè)性化的挑戰(zhàn)與機(jī)遇

大型語(yǔ)言模型的出現(xiàn)標(biāo)志著人工智能領(lǐng)域的一次革命性突破。得益于前所未有的訓(xùn)練規(guī)模和模型參數(shù)，大型語(yǔ)言模型的能力得到了顯著提升，從而在理解、語(yǔ)言合成和常識(shí)推理等方面達(dá)到了與人類(lèi)相似的表現(xiàn)。這種在通用AI能力上的重大飛躍將從根本上改變個(gè)性化服務(wù)的實(shí)施模式。

首先，它將改變?nèi)祟?lèi)與個(gè)性化系統(tǒng)之間的交互方式。大型語(yǔ)言模型不再是像傳統(tǒng)的推薦系統(tǒng)和搜索引擎那樣的被動(dòng)信息過(guò)濾介質(zhì)，而是為主動(dòng)用戶(hù)參與提供了基礎(chǔ)。在這樣一個(gè)新的基礎(chǔ)上，可以主動(dòng)探索用戶(hù)的請(qǐng)求，并以自然、互動(dòng)和可解釋的方式提供用戶(hù)所需的信息。

其次，它還將大大擴(kuò)展個(gè)性化服務(wù)的范圍，使其從僅僅收集個(gè)性化信息發(fā)展到提供個(gè)性化服務(wù)的復(fù)合功能。通過(guò)利用大型語(yǔ)言模型作為通用界面，個(gè)性化系統(tǒng)可以將用戶(hù)的請(qǐng)求編譯為計(jì)劃，調(diào)用外部工具（例如搜索引擎、計(jì)算器、服務(wù)API等）的功能來(lái)執(zhí)行這些計(jì)劃，并整合這些工具的輸出，完成端到端的個(gè)性化任務(wù)。如今，大型語(yǔ)言模型仍在快速發(fā)展，而在個(gè)性化應(yīng)用中還大都未被探索。

因此，我們認(rèn)為現(xiàn)在是時(shí)候?qū)徱晜€(gè)性化服務(wù)的挑戰(zhàn)以及用大型語(yǔ)言模型來(lái)解決它們的機(jī)會(huì)了。特別是，我們?cè)谶@篇展望性論文中專(zhuān)門(mén)討論了以下幾個(gè)方面：現(xiàn)有個(gè)性化系統(tǒng)的發(fā)展和挑戰(zhàn)、大型語(yǔ)言模型新出現(xiàn)的能力，以及如何利用大型語(yǔ)言模型進(jìn)行個(gè)性化的潛在方法。

大型語(yǔ)言模型的出現(xiàn)[1]在理解人類(lèi)表達(dá)方面顯示出了顯著的進(jìn)步，深刻地影響了AI社區(qū)。這些模型配置了大量的數(shù)據(jù)和大規(guī)模的神經(jīng)網(wǎng)絡(luò)，展示了在理解人類(lèi)語(yǔ)言和生成與我們相似的文本方面的卓越能力。其中的能力包括推理[2]、少次學(xué)習(xí)[3]以及在預(yù)訓(xùn)練模型中融合大量的世界知識(shí)[1]。這標(biāo)志著人工智能領(lǐng)域的一個(gè)重大突破，導(dǎo)致了我們與機(jī)器互動(dòng)的革命。因此，大型語(yǔ)言模型在從自然語(yǔ)言處理和機(jī)器翻譯到創(chuàng)意內(nèi)容生成和聊天機(jī)器人開(kāi)發(fā)的各種應(yīng)用中都變得不可或缺。特別是ChatGPT的推出，受到了人類(lèi)社區(qū)的廣泛關(guān)注，促使人們反思大型語(yǔ)言模型的變革力量及其推動(dòng)AI能夠達(dá)到的界限的潛力。這種顛覆性的技術(shù)承諾改變我們?cè)跓o(wú)數(shù)領(lǐng)域與AI的互動(dòng)和利用方式，為創(chuàng)新打開(kāi)了新的可能性和機(jī)會(huì)。隨著這些語(yǔ)言模型繼續(xù)進(jìn)步和發(fā)展，它們有望塑造人工智能的未來(lái)，使我們能夠探索未知領(lǐng)域并在人機(jī)合作中發(fā)掘更大的潛力。

個(gè)性化，即根據(jù)個(gè)人喜好量身定制體驗(yàn)的藝術(shù)，是連接人類(lèi)與機(jī)器之間差距的一個(gè)關(guān)鍵且動(dòng)態(tài)的紐帶。在當(dāng)今的技術(shù)驅(qū)動(dòng)世界中，個(gè)性化在增強(qiáng)用戶(hù)與各種數(shù)字平臺(tái)和服務(wù)的互動(dòng)和參與中起到了關(guān)鍵的作用。通過(guò)適應(yīng)個(gè)人的偏好，個(gè)性化系統(tǒng)賦予機(jī)器滿(mǎn)足每個(gè)用戶(hù)獨(dú)特需求的能力，從而使互動(dòng)更為高效和愉快。此外，個(gè)性化不僅僅是內(nèi)容推薦；它涵蓋了用戶(hù)體驗(yàn)的各個(gè)方面，包括用戶(hù)界面、交流風(fēng)格等。隨著人工智能的不斷進(jìn)步，個(gè)性化在處理大量互動(dòng)和多樣化的用戶(hù)意圖方面變得越來(lái)越復(fù)雜。這要求我們開(kāi)發(fā)更先進(jìn)的技術(shù)來(lái)應(yīng)對(duì)復(fù)雜的場(chǎng)景，提供更加愉快和滿(mǎn)意的體驗(yàn)。對(duì)改進(jìn)個(gè)性化的追求是由希望更好地了解用戶(hù)并滿(mǎn)足他們不斷變化的需求的愿望驅(qū)動(dòng)的。隨著技術(shù)的發(fā)展，個(gè)性化系統(tǒng)很可能會(huì)繼續(xù)演變，最終創(chuàng)造出一個(gè)人機(jī)交互無(wú)縫融入我們生活的每一個(gè)方面的未來(lái)，為我們的日常生活提供個(gè)性化和量身定制的體驗(yàn)。

大型語(yǔ)言模型，憑借其深入和廣泛的能力，有潛力革命化個(gè)性化系統(tǒng)，改變?nèi)祟?lèi)的互動(dòng)方式并擴(kuò)大個(gè)性化的范圍。人機(jī)之間的交互不再僅僅可以被分類(lèi)為主動(dòng)和被動(dòng)，就像傳統(tǒng)的搜索引擎和推薦系統(tǒng)一樣。然而，這些大型語(yǔ)言模型不僅僅是簡(jiǎn)單的信息過(guò)濾，它們還提供了多樣化的附加功能。具體來(lái)說(shuō)，系統(tǒng)會(huì)主動(dòng)和全面地探索用戶(hù)的意圖，使用戶(hù)和系統(tǒng)之間能夠通過(guò)自然語(yǔ)言進(jìn)行更直接和無(wú)縫的溝通。與依賴(lài)于抽象且難以解釋的基于ID的信息表示的傳統(tǒng)技術(shù)不同，大型語(yǔ)言模型能夠更深入地理解用戶(hù)的確切需求和興趣。這種更深入的理解為更高質(zhì)量的個(gè)性化服務(wù)鋪平了道路，以更精細(xì)和有效的方式滿(mǎn)足用戶(hù)的需求和偏好。此外，通過(guò)大型語(yǔ)言模型的能力，各種工具的整合得到了極大的增強(qiáng)，大大擴(kuò)展了個(gè)性化系統(tǒng)的可能性和應(yīng)用場(chǎng)景。通過(guò)將用戶(hù)需求轉(zhuǎn)化為計(jì)劃，包括理解、生成和執(zhí)行它們，用戶(hù)可以訪問(wèn)各種各樣的信息和服務(wù)。重要的是，用戶(hù)并不知道后臺(tái)發(fā)生的復(fù)雜轉(zhuǎn)換過(guò)程，因?yàn)樗麄凅w驗(yàn)到的是一個(gè)無(wú)縫的端到端模型。從這個(gè)角度來(lái)看，大型語(yǔ)言模型在個(gè)性化方面的潛力尚未被充分探索。

本文探討了個(gè)性化中的挑戰(zhàn)，并探索了使用大型語(yǔ)言模型的潛在解決方案。在現(xiàn)有的相關(guān)工作中，LaMP [4] 為訓(xùn)練和評(píng)估語(yǔ)言模型在信息檢索系統(tǒng)中生成個(gè)性化輸出引入了一個(gè)新的基準(zhǔn)。另一方面，其他相關(guān)的調(diào)查[5]、[6]、[7]主要關(guān)注傳統(tǒng)的個(gè)性化技術(shù)，如推薦系統(tǒng)。從學(xué)習(xí)機(jī)制的角度，LLM4Rec [5] 深入探討了用于推薦的區(qū)分性LLM和用于推薦的生成性LLM。關(guān)于LLM適應(yīng)推薦系統(tǒng)的"在哪里"和"如何"，Li等人[6]關(guān)注了工業(yè)推薦階段的整體流程。而Fan等人[7]則進(jìn)行了一項(xiàng)重點(diǎn)關(guān)注預(yù)訓(xùn)練、微調(diào)和提示方法的回顧。雖然這些工作討論了像Bert和GPT這樣的預(yù)訓(xùn)練語(yǔ)言模型以便于分析，但他們對(duì)大型語(yǔ)言模型的新興能力關(guān)注有限。本文旨在通過(guò)檢查大型語(yǔ)言模型在個(gè)性化背景下的獨(dú)特和強(qiáng)大的能力來(lái)填補(bǔ)這一空白，并進(jìn)一步用工具擴(kuò)展個(gè)性化的范圍。

本綜述的其余部分的組織結(jié)構(gòu)如下：我們?cè)诘?節(jié)回顧了個(gè)性化和大型語(yǔ)言模型，以概述其發(fā)展和挑戰(zhàn)。然后，我們?cè)诘?節(jié)仔細(xì)討論了大型語(yǔ)言模型在個(gè)性化中的潛在作用，包括簡(jiǎn)單利用新興能力以及與其他工具的復(fù)雜集成。我們還討論了將大型語(yǔ)言模型適應(yīng)于個(gè)性化時(shí)可能遇到的挑戰(zhàn)。

大型語(yǔ)言模型用于個(gè)性化

在接下來(lái)的部分中，我們深入探討了大型語(yǔ)言模型在個(gè)性化方面的潛力，從簡(jiǎn)單的使用情境，如利用詞匯知識(shí)作為特征，到與其他工具模塊更為復(fù)雜的集成，使其起到代理的作用。具體來(lái)說(shuō)，我們關(guān)注于新興能力的進(jìn)展，從基礎(chǔ)的世界知識(shí)和理解用戶(hù)意圖開(kāi)始，發(fā)展到高級(jí)的推理能力。我們探索了大型語(yǔ)言模型如何有助于構(gòu)建一個(gè)知識(shí)庫(kù)，豐富關(guān)于各種項(xiàng)目的常識(shí)知識(shí)。此外，我們還討論了大型語(yǔ)言模型的理解能力如何賦予內(nèi)容解釋者和解釋者對(duì)交互的深入分析能力。此外，我們還觀察了利用大型語(yǔ)言模型的推理能力為系統(tǒng)推理者提供推薦結(jié)果的嘗試。這些越來(lái)越復(fù)雜的能力使得大型語(yǔ)言模型與其他工具模塊的復(fù)雜利用成為可能，使它們更好地理解用戶(hù)意圖并滿(mǎn)足用戶(hù)指令。因此，我們還探討了大型語(yǔ)言模型與其他個(gè)性化工具的集成，包括工具學(xué)習(xí)、會(huì)話代理和個(gè)性化內(nèi)容創(chuàng)建者。本章的概述如圖1所示。我們的全面調(diào)查旨在提供對(duì)當(dāng)前格局的更深入的了解，并闡明將大型語(yǔ)言模型整合到個(gè)性化中所帶來(lái)的機(jī)會(huì)和挑戰(zhàn)。

大模型即知識(shí)庫(kù)

大型語(yǔ)言模型（Large Language Models，簡(jiǎn)稱(chēng)LLMs）檢索事實(shí)知識(shí)作為顯式知識(shí)庫(kù)的能力 [38], [39], [40], [41], [42], [43], [40], [41], [44], [45], [46] 已引起了廣泛的討論，這為在推薦系統(tǒng)內(nèi)構(gòu)建更為全面的知識(shí)圖譜提供了機(jī)會(huì)?；厮莸?[38] 的工作，大型語(yǔ)言模型在存儲(chǔ)事實(shí)信息，如實(shí)體和常識(shí)，以及將常識(shí)可靠地轉(zhuǎn)移給下游任務(wù)方面展示了其令人印象深刻的能力。現(xiàn)有的知識(shí)圖譜方法難以處理不完整的KGs [47] 和利用文本語(yǔ)料構(gòu)建KGs [48]，許多研究者嘗試?yán)肔LMs的能力來(lái)解決這兩個(gè)任務(wù)，即知識(shí)圖譜的補(bǔ)全 [49] 和知識(shí)圖譜的構(gòu)建 [50]。對(duì)于知識(shí)圖譜的補(bǔ)全，這是指在給定的知識(shí)圖譜中缺失事實(shí)的任務(wù)，近期的努力已致力于為知識(shí)圖譜編碼文本或生成事實(shí)。MTL-KGC [51] 對(duì)文本序列進(jìn)行編碼以預(yù)測(cè)元組的可能性。MEMKGC [52] 預(yù)測(cè)了三元組的掩碼實(shí)體。StAR [53] 使用暹羅文本編碼器分別對(duì)實(shí)體進(jìn)行編碼。GenKGC [54] 使用僅解碼器的語(yǔ)言模型直接生成尾實(shí)體。TagReal [55] 從外部文本語(yǔ)料庫(kù)中生成高質(zhì)量的提示。AutoKG [48] 直接采用了LLMs，例如ChatGPT和GPT-4，并設(shè)計(jì)了定制提示以預(yù)測(cè)尾實(shí)體。至于另一個(gè)重要任務(wù)，即知識(shí)圖譜的構(gòu)建，這是指創(chuàng)建知識(shí)的結(jié)構(gòu)化表示，LLMs可以應(yīng)用于構(gòu)建知識(shí)圖譜的過(guò)程中，包括實(shí)體發(fā)現(xiàn) [56], [57], coreference resolution [58], [59] 和關(guān)系抽取 [60], [61]。LLMs還可以實(shí)現(xiàn)端到端的構(gòu)建 [62], [50], [42], [63], [55]，直接從原始文本構(gòu)建KGs。LLMs允許知識(shí)提取構(gòu)建知識(shí)圖譜。symbolic-kg [64] 從GPT3中提取常識(shí)事實(shí)，然后微調(diào)小型學(xué)生模型以生成知識(shí)圖譜。這些模型已經(jīng)展示了存儲(chǔ)大量知識(shí)的能力，為提高知識(shí)圖譜的范圍和深度提供了一個(gè)可行的選擇。此外，這些進(jìn)展促使人們研究從LLMs到知識(shí)圖譜的存儲(chǔ)知識(shí)的直接轉(zhuǎn)移，消除了對(duì)人類(lèi)監(jiān)督的需求。這項(xiàng)有趣的研究揭示了利用尖端的大型語(yǔ)言模型自動(dòng)完成知識(shí)圖譜的可能性。

LLMs 作為內(nèi)容解釋器

基于內(nèi)容的推薦器為緩解推薦系統(tǒng)中的稀疏反饋問(wèn)題提供了有效的解決方案。通過(guò)利用物品的屬性和特性，這些系統(tǒng)對(duì)其屬性有了更深入的了解，促使與用戶(hù)偏好的準(zhǔn)確匹配。然而，在基于內(nèi)容的推薦中使用的內(nèi)容特性也可能表現(xiàn)出稀疏性。僅僅依賴(lài)推薦的監(jiān)督信號(hào)，如點(diǎn)擊和瀏覽，可能不能充分利用這些特性的潛在好處。為了克服這一挑戰(zhàn)，語(yǔ)言模型作為強(qiáng)大的基本算法出現(xiàn)，它們?cè)谔幚砦谋咎匦詴r(shí)充當(dāng)內(nèi)容解釋器。他們的利用增強(qiáng)了推薦系統(tǒng)的有效性，有效地理解和解釋文本內(nèi)容，從而改進(jìn)了推薦。

結(jié)論

總的來(lái)說(shuō)，大型語(yǔ)言模型的出現(xiàn)在人工智能領(lǐng)域代表了一個(gè)重大的突破。它們?cè)诶斫?、語(yǔ)言分析和常識(shí)推理方面的增強(qiáng)能力為個(gè)性化打開(kāi)了新的可能性。在本文中，我們從幾個(gè)角度討論了大型語(yǔ)言模型適應(yīng)個(gè)性化系統(tǒng)的時(shí)機(jī)。我們已經(jīng)觀察到，從利用大型語(yǔ)言模型的低級(jí)能力來(lái)提高性能，到利用它們?cè)谂c外部工具的復(fù)雜互動(dòng)中進(jìn)行端到端任務(wù)的潛力，這種進(jìn)展都有所進(jìn)化。這種演變有望徹底改變個(gè)性化服務(wù)的提供方式。我們也承認(rèn)，將大型語(yǔ)言模型集成到個(gè)性化系統(tǒng)中帶來(lái)的開(kāi)放性挑戰(zhàn)。