強化學習應用中對話系統(tǒng)的用戶模擬器

近幾年來，強化學習在任務導向型對話系統(tǒng)中得到了廣泛的應用，對話系統(tǒng)通常被統(tǒng)計建模成為一個?馬爾科夫決策過程（Markov Decision Process）模型，通過隨機優(yōu)化的方法來學習對話策略。

任務導向型對話系統(tǒng)用于幫助用戶完成某個任務如查電影、找餐館等，它一般由四個模塊組成： 自然語言理解模塊（Natural Language Understanding, NLU）、對話狀態(tài)跟蹤模塊（Dialog State Tracking, DST）、對話策略模塊（Dialog Policy, DP）和自然語言生成模塊（Natural language Generation, NLG） ，其中 DST 和 DP 合稱為?對話管理模塊。

在和用戶的每輪交互過程中，對話系統(tǒng)利用 NLU 將用戶的語句解析成為機器可理解的語義標簽，并通過 DST 維護一個內(nèi)部的對話狀態(tài)作為整個對話歷史的緊湊表示，根據(jù)此狀態(tài)使用 DP 選擇合適的對話動作，最后通過 NLG 將對話動作轉成自然語言回復。對話系統(tǒng)通過和用戶進行交互得到的對話數(shù)據(jù)和使用得分則可用于進行模型的強化學習訓練。

然而在實際中，和真實用戶的交互成本昂貴，數(shù)據(jù)回流周期慢，不足以支持模型的快速迭代，因此研究者們通常會構建一個?用戶模擬器（User Simulator, US）作為對話系統(tǒng)的交互環(huán)境來進行閉環(huán)訓練。有了用戶模擬器產(chǎn)生任意多的數(shù)據(jù)，對話系統(tǒng)可以對狀態(tài)空間和動作空間進行充分地探索以尋找最優(yōu)策略。

一個效果良好的用戶模擬器，我們期望它?具備以下 3 個特征：

有一個總體的對話目標，能夠生成上下文連貫的用戶動作；有足夠的泛化能力，在語料中未出現(xiàn)的對話情形里也能生成合理的行為；可以給出定量的反饋評分用于指導模型學習優(yōu)化。為了實現(xiàn)以上目標，學術界做了大量的研究工作，從最基礎的 bi-gram 模型 [4] ，到經(jīng)典實用的 Agenda-based的方法 [2] ，再到最近基于深度學習的用戶模型 [9, 10] ，用戶模擬器的效果得到了顯著提升，也為對話模型的訓練提供了有效的方法。

一個比較典型的用戶模擬器，對話開始時用戶模擬器基于 User Goal（用戶目標）發(fā)出一個話術：“Are there any action movies to see this weekend?”（這個周末有什么動作片可以看的嗎?），這句話進到對話系統(tǒng)的自然語言理解模塊和對話管理模塊后，生成一句系統(tǒng)動作：“request_location”（詢問地點）。

簡便起見，這里省略掉系統(tǒng)的 NLG 模塊，系統(tǒng)回復直接送到用戶模擬器的用戶模型（User Model），通過用戶狀態(tài)更新和行為策略選擇，生成用戶對話行為：“inform(location=San Francisco)”（告知地點為舊金山），接下來經(jīng)過 Error Model（可選）和 NLG 模塊，生成對應的自然語言，比如：“San Francisco, please.”（幫我訂舊金山的）。以此往復，用戶模擬器和對話系統(tǒng)持續(xù)多輪交互，直到對話結束。

從上面的過程我們可以看到，典型的用戶模擬器和對話系統(tǒng)的結構比較相似，包含以下 4 個基本組成部分：

1. 用戶目標（User Goal）：?用戶模擬的第一步就是生成一個用戶對話的目標，對話系統(tǒng)對此是不可知的，但它需要通過多輪對話交互來幫助用戶完成該目標。一般來說，用戶目標的定義和兩種槽位相關: 可告知槽（informable slots）和可問詢槽（requestable slots），前者形如“槽=值”是用戶用于查詢的約束條件，后者則是用戶希望向系統(tǒng)問詢的屬性。

例如：用戶目標是 “inform(type=movie, genre=action, location=San Francisco, date=this weekend),request(price)”表達的是用戶的目標是想要找一部本周在 San Francisco 上映的動作片，找到電影后再進一步問詢電影票的價格屬性。有了明確的對用戶目標的建模，我們就可以保證用戶的回復具有一定的任務導向，而不是閑聊。

2. 用戶模型（User Model）：?用戶模型對應著對話系統(tǒng)的對話管理模塊，它的任務是根據(jù)對話歷史生成當前的用戶動作。用戶動作是預先定義好的語義標簽，例如“inform, request, greet, bye”等等。用戶動作的選擇應當合理且多樣，能夠模擬出真實用戶的行為。用戶模型是用戶模擬器的核心組成部分，在接下來的章節(jié)里我們將會詳細介紹各種具體模型和方法。

3. 誤差模型（Error Model）：?它接在 User Model 下游，負責模擬噪聲，對用戶行為進行擾動以模擬真實交互環(huán)境下不確定性。簡單的方式有：隨機用不正確的意圖替換正確的意圖、隨機替換為不正確的槽位、隨機替換為不正確的槽值等；復雜的方式有模擬基于 ASR 或 NLU 混淆的錯誤。

4. 自然語言生成（NLG）：?如果用戶模擬器需要輸出自然語言回復，就需要 NLG 模型將用戶動作轉換成自然語言表述。例如用戶動作標簽“inform(type=movie, genre=action, date=this weekend)” 進行 NLG 模塊后生成自然語句“Are there any action movies to see this weekend?”。