利用強(qiáng)化學(xué)習(xí)來更好地進(jìn)行商品搜索的項(xiàng)目

南京大學(xué)LAMDA Jing-Cheng Shi、俞揚(yáng)等人團(tuán)隊(duì)的最新研究，描述了在淘寶這個(gè)大型在線零售平臺(tái)、同時(shí)也是一個(gè)采樣成本較高的物理環(huán)境中，利用強(qiáng)化學(xué)習(xí)來更好地進(jìn)行商品搜索的項(xiàng)目。

在物理世界的任務(wù)中應(yīng)用強(qiáng)化學(xué)習(xí)是極具挑戰(zhàn)性的。根據(jù)當(dāng)前強(qiáng)化學(xué)習(xí)方法的要求，在物理環(huán)境中進(jìn)行大量實(shí)驗(yàn)是不可行的。

南京大學(xué)LAMDA侍競(jìng)成、俞揚(yáng)等人團(tuán)隊(duì)最近發(fā)表在AAAI 2019的論文，描述了在淘寶這個(gè)大型在線零售平臺(tái)、同時(shí)也是一個(gè)采樣成本較高的物理環(huán)境中，利用強(qiáng)化學(xué)習(xí)來更好地進(jìn)行商品搜索的項(xiàng)目。

論文地址：https://arxiv.org/pdf/1805.10000.pdf

他們沒有直接在淘寶上訓(xùn)練強(qiáng)化學(xué)習(xí)，而是提出了一個(gè)環(huán)境構(gòu)建方法：先構(gòu)建虛擬淘寶(Virtual-Taobao)，這是一個(gè)從歷史客戶行為數(shù)據(jù)中學(xué)習(xí)的模擬器，然后在虛擬淘寶上訓(xùn)練策略，不需要實(shí)物采樣成本。

此外，本研究的貢獻(xiàn)如下：

為了提高仿真精度，我們提出了GAN-SD(GAN for simulation distribution)，用于更好地匹配分布的客戶特征生成；

我們還提出MAIL(Multiagent Adversarial Imitation Learning)來產(chǎn)生更好的一般化的客戶行為。

為了進(jìn)一步避免過擬合模擬器的缺陷，我們提出了ANC(Action Norm Constraint)策略來規(guī)范策略模型。

為強(qiáng)化學(xué)習(xí)構(gòu)建的Virtual-Taobao架構(gòu)

在實(shí)驗(yàn)中，Virtual-Taobao是從數(shù)以億計(jì)的真實(shí)淘寶客戶記錄中訓(xùn)練出來的。與真實(shí)淘寶相比，虛擬淘寶忠實(shí)地還原了真實(shí)環(huán)境的重要屬性。

該研究進(jìn)一步證明，純粹在虛擬淘寶上訓(xùn)練的策略，通過在線A/B測(cè)試，其物理采樣成本為零，可以顯著優(yōu)于傳統(tǒng)的監(jiān)督方法在現(xiàn)實(shí)世界中的性能。

研究人員希望這項(xiàng)工作可以為在復(fù)雜物理環(huán)境中應(yīng)用強(qiáng)化學(xué)習(xí)提供一些啟示。

此外，Virtual-Taobao模型也已經(jīng)開源：

https://github.com/eyounx/VirtualTaobao

接下來，新智元帶來這篇論文的翻譯解讀：

在物理世界應(yīng)用RL為何重要

隨著深度神經(jīng)網(wǎng)絡(luò)的融合，強(qiáng)化學(xué)習(xí)(RL)最近取得了許多重要進(jìn)展，在游戲、機(jī)器人、自然語言處理等領(lǐng)域取得了很多成功。然而，關(guān)于RL在物理世界任務(wù)中的應(yīng)用的研究較少，如與客戶交互的大型在線系統(tǒng)，這可能對(duì)用戶體驗(yàn)和社會(huì)財(cái)富產(chǎn)生很大的影響。

大型在線系統(tǒng)雖然很少與RL方法相結(jié)合，但確實(shí)追求應(yīng)用RL。實(shí)際上，許多在線系統(tǒng)都涉及到序列決策和延遲反饋。

例如，自動(dòng)化交易系統(tǒng)需要根據(jù)歷史指標(biāo)和所有相關(guān)信息高頻率地管理投資組合，并通過分析長期收益仔細(xì)調(diào)整其策略。

同樣的，電子商務(wù)搜索引擎也會(huì)觀察到買家的需求，并將排名好的商品頁面顯示給買家，然后在得到用戶反饋后更新其決策模型，追求收益最大化。在這期間，如果買家繼續(xù)瀏覽，它會(huì)根據(jù)買家的最新信息不斷顯示新的頁面。

以往的解決方案主要基于監(jiān)督學(xué)習(xí)。它們無法學(xué)習(xí)序列決策和最大化長期回報(bào)。因此，RL解決方案非常有吸引力。

三大算法克服虛擬淘寶應(yīng)用RL的障礙

在這些場(chǎng)景中直接應(yīng)用RL的一個(gè)主要障礙是，當(dāng)前的RL算法通常需要與環(huán)境進(jìn)行大量的交互，這需要很高的物理成本，比如實(shí)際的金錢、幾天到幾個(gè)月的時(shí)間、糟糕的用戶體驗(yàn)，甚至是生命(醫(yī)療任務(wù)中）。

為了避免物理成本，RL訓(xùn)練經(jīng)常使用模擬器。谷歌在數(shù)據(jù)中心冷卻方面的應(yīng)用(Gao and Jamidar 2014)就展示了一個(gè)很好的實(shí)踐：用一個(gè)神經(jīng)網(wǎng)絡(luò)來模擬系統(tǒng)動(dòng)態(tài)，然后通過一些最先進(jìn)的RL算法在模擬環(huán)境中訓(xùn)練策略。

在這個(gè)淘寶商品搜索項(xiàng)目中，我們使用了類似的過程：建立一個(gè)模擬器，即Virtual-Taobao，然后就可以在模擬器中離線訓(xùn)練策略，利用RL算法實(shí)現(xiàn)長期收益最大化。

理想情況下，這樣獲得的策略在真實(shí)環(huán)境中可以同樣表現(xiàn)良好，或者至少可以為更便宜的在線調(diào)優(yōu)提供良好的初始化。

然而，與模擬數(shù)據(jù)中心的動(dòng)態(tài)不同，模擬數(shù)億客戶在動(dòng)態(tài)環(huán)境中的行為更具挑戰(zhàn)性。

我們處理了根據(jù)客戶策略生成的客戶行為數(shù)據(jù)。現(xiàn)有的模仿學(xué)習(xí)方法可以實(shí)現(xiàn)從數(shù)據(jù)中推導(dǎo)出一個(gè)策略。

行為克隆(behavior cloning, BC)方法(Pomerleau 1992)主要是從狀態(tài)-行為數(shù)據(jù)中通過監(jiān)督方法來學(xué)習(xí)策略。BC要求對(duì)RL任務(wù)中不滿足的演示數(shù)據(jù)進(jìn)行i.i.d.假設(shè)。

逆強(qiáng)化學(xué)習(xí)(IRL)方法從數(shù)據(jù)中學(xué)習(xí)一個(gè)獎(jiǎng)勵(lì)函數(shù)，然后根據(jù)這個(gè)獎(jiǎng)勵(lì)函數(shù)訓(xùn)練一個(gè)策略。IRL放松了數(shù)據(jù)的i.i.d.假設(shè)，但仍然假設(shè)環(huán)境是靜態(tài)的。當(dāng)環(huán)境(即淘寶平臺(tái))發(fā)生變化時(shí)，學(xué)習(xí)策略可能會(huì)失敗。上述問題使得這些方法在構(gòu)建虛擬淘寶時(shí)不太實(shí)用。

在這項(xiàng)工作中，我們通過生成客戶和生成交互來構(gòu)建虛擬淘寶。有搜索需求的客戶進(jìn)入淘寶并觸發(fā)平臺(tái)搜索引擎，這類搜索需求的分布非常復(fù)雜和廣泛。

但是，從數(shù)據(jù)庫中抽取的樣本并不能生成數(shù)據(jù)之外的客戶，從而導(dǎo)致最終模型的泛化程度較低。我們提出了GAN-for-SimulatingDistribution(GAN-SD)方法來生成虛擬客戶，因?yàn)槲覀儼l(fā)現(xiàn)傳統(tǒng)的方法，如GMM和GAN，并不適合這種高維數(shù)據(jù)。

為了生成交互(interactions)，我們提出多主體對(duì)抗模仿學(xué)習(xí)(Multi-agent Adversarial Imitation Learning, MAIL)方法。我們可以直接在虛擬淘寶中調(diào)用淘寶平臺(tái)策略，但這會(huì)導(dǎo)致創(chuàng)造一個(gè)無法適應(yīng)真實(shí)環(huán)境變化的靜態(tài)環(huán)境。因此，MAIL同時(shí)學(xué)習(xí)客戶策略和平臺(tái)策略。

為了同時(shí)學(xué)習(xí)這兩個(gè)策略，MAIL采用了GAIL (Ho and Ermon 2016)的思想，使用生成對(duì)抗框架(Goodfellow et al. 2014)。MAIL訓(xùn)練一個(gè)鑒別器來區(qū)分模擬的交互和真實(shí)的交互；區(qū)別信號(hào)作為獎(jiǎng)勵(lì)反饋，以訓(xùn)練客戶策略和平臺(tái)策略，從而產(chǎn)生更真實(shí)的交互。

在生成客戶和交互后，虛擬淘寶就完成了，接下來可以用于訓(xùn)練平臺(tái)策略。然而，我們注意到強(qiáng)化學(xué)習(xí)算法的強(qiáng)大程度足以過擬合虛擬淘寶的不足，這意味著它可以在虛擬環(huán)境中做得很好，但在現(xiàn)實(shí)中卻很差。因此，我們提出行動(dòng)規(guī)范約束(Action Norm Constraint, ANC)來使策略規(guī)范化。

在實(shí)驗(yàn)中，我們從數(shù)以億計(jì)的客戶記錄中構(gòu)建了虛擬淘寶，并與真實(shí)環(huán)境進(jìn)行對(duì)比。我們的結(jié)果顯示，虛擬淘寶成功地重構(gòu)了非常接近真實(shí)環(huán)境的屬性。然后，我們利用虛擬淘寶訓(xùn)練平臺(tái)策略，以實(shí)現(xiàn)收入最大化。

與傳統(tǒng)的監(jiān)督學(xué)習(xí)方法相比，虛擬淘寶訓(xùn)練的策略在真實(shí)環(huán)境下的收益提高了2%以上，物理實(shí)驗(yàn)成本為零。

接下來，本文繼續(xù)介紹虛擬淘寶方法、離線和在線實(shí)驗(yàn)，以及結(jié)論。

如何構(gòu)建一個(gè)虛擬淘寶？

問題描述

商品搜索是淘寶的核心業(yè)務(wù)。淘寶可以被視為搜索引擎與客戶交互的系統(tǒng)。淘寶的搜索引擎負(fù)責(zé)處理對(duì)數(shù)十億商品搜索請(qǐng)求的毫秒級(jí)響應(yīng)，而客戶對(duì)商品的偏好也豐富多樣。從引擎的角度來看，淘寶平臺(tái)的工作原理如下。客戶訪問，向搜索引擎發(fā)送搜索請(qǐng)求。

然后，搜索引擎對(duì)相關(guān)商品進(jìn)行排序，并向客戶顯示頁面視圖（PV），對(duì)搜索請(qǐng)求做出適當(dāng)響應(yīng)?？蛻艚o出反饋信號(hào)，比如買東西，然后轉(zhuǎn)到下一頁，或根據(jù)頁面試圖或買方自身意愿離開淘寶。搜索引擎接收反饋信號(hào)，并為下一個(gè) PV 請(qǐng)求做出新的決定。淘寶的業(yè)務(wù)目標(biāo)之一是通過優(yōu)化顯示 PV 的策略來實(shí)現(xiàn)銷售量的最大化。

作為反饋信號(hào)，比如，會(huì)受之前的 PV 影響的客戶行為，在優(yōu)化搜索引擎策略時(shí)，將其視為多步驟決策問題，而不是單步監(jiān)督學(xué)習(xí)問題，是更為合理的選擇。因此，考慮到搜索引擎作為代理，以及客戶的反饋?zhàn)鳛橄鄳?yīng)的環(huán)境，淘寶中的商品搜索是一個(gè)連續(xù)決策問題。假設(shè)客戶只記住有限數(shù)量的最新 PV，這是合理的，這意味著反饋信號(hào)僅受搜索代理的 m 個(gè)歷史行為的影響。

圖 2：搜索引擎視角和客戶視角下的淘寶搜索

注意，如果假設(shè) m = 1，即客戶的反饋僅受最后一個(gè)引擎行為的影響，這就是標(biāo)準(zhǔn)馬爾可夫決策過程。

另一方面，如果我們將客戶視為 agent，將搜索引擎視為環(huán)境，那么客戶的購物流程也就可視作順序決策流程。客戶對(duì)排名后的商品，也就是搜索引擎的動(dòng)作做出響應(yīng)?？蛻舻男袨榧捶答佇盘?hào)，它會(huì)受到最近 m 個(gè) PV 的影響，這些 PV 由搜索引擎生成，并受到來自客戶的最后反饋的影響?？蛻舻男袨橐簿哂旭R爾可夫?qū)傩?。為客戶制定購物政策的過程可以視為對(duì)客戶的淘寶購物偏好的優(yōu)化過程。

如圖 2 所示，搜索引擎和客戶互為彼此的環(huán)境，二者的策略是耦合在一起的。

如果客戶只是轉(zhuǎn)向下一頁而沒有其他行為，那么負(fù)責(zé)記錄客戶特征和搜索請(qǐng)求的引擎的觀察結(jié)果將保持不變。如果客戶發(fā)送了另一個(gè)請(qǐng)求，或離開了淘寶，記錄狀態(tài)就會(huì)發(fā)生變化。

與搜索引擎相比，客戶個(gè)人對(duì)環(huán)境往往更敏感，因此我們?yōu)榭蛻暨M(jìn)行了一些特別的設(shè)計(jì)?？蛻粜袨閷⑹艿?TA 想要的以及 TA 看到的內(nèi)容的影響，分別用 S 和 A 表示，其中 S 是引擎觀察結(jié)果，即包含請(qǐng)求的客戶特征，A 是引擎動(dòng)作，即向客戶顯示的頁面視圖?？紤]到顧客的購買意圖會(huì)隨瀏覽頁數(shù)的變化而變化，設(shè) Sc = S×A×N，其中 N 表示頁面索引空間。

Trasition 函數(shù)定義如下：

對(duì)于搜索引擎而言，如果客戶買了東西，我們給引擎獎(jiǎng)勵(lì)為 1，否則為 0。對(duì)于客戶，獎(jiǎng)勵(lì)函數(shù)目前尚不明確。

GAN-SD：生成客戶特征

為了構(gòu)建虛擬淘寶，需要首先生成客戶特征，即對(duì)包括來自 P c 的請(qǐng)求的用戶 U c 進(jìn)行采樣，以觸發(fā)交互過程。生成的客戶分布應(yīng)與真實(shí)分布相似。

在高維空間中對(duì)分布進(jìn)行學(xué)習(xí)很具有挑戰(zhàn)性。像高斯混合模型（GMM）之類的經(jīng)典方法很難實(shí)現(xiàn)這種相似分布。而眾所周知，GAN 框架可以很好地生成接近于原始數(shù)據(jù)的樣本，并在生成圖像方面取得了巨大成功。

然而，傳統(tǒng)的 GAN 判別器能夠判定某一實(shí)例是否來自真實(shí)世界，但缺乏捕獲客戶分布架構(gòu)的能力。為了生成分布而不是單個(gè)實(shí)例，我們提出了用于模擬分布的生成性對(duì)抗網(wǎng)絡(luò)（GAN-SD），如算法 1 中所示。

GAN-SD 算法偽代碼示意圖

與 GAN 類似，GAN-SD 也包括生成器 G 和判別器 D。其中，判別器試圖通過最大化以下目標(biāo)函數(shù)：

來正確區(qū)分生成的數(shù)據(jù)和訓(xùn)練數(shù)據(jù)。

而更新后的生成器則在實(shí)現(xiàn)以下目標(biāo)函數(shù)的最大化：

利用 KL 分歧和熵約束，GAN-SD 從真實(shí)數(shù)據(jù)中學(xué)習(xí)具有更多引導(dǎo)信息的生成器，并且可以產(chǎn)生比傳統(tǒng) GAN 更好的分布。

MAIL：生成交互過程

通過模擬客戶策略，在虛擬淘寶之間生成客戶與平臺(tái)之間的交互。本文通過基于 GAIL 思想的多智能體對(duì)抗模仿學(xué)習(xí)（MAIL）方法來實(shí)現(xiàn)這一目標(biāo)。 GAIL 允許智能體在訓(xùn)練期間與環(huán)境交互，同時(shí)獎(jiǎng)勵(lì)功能也在不斷優(yōu)化。注意，在 GAIL 訓(xùn)練期間應(yīng)該能夠訪問環(huán)境。但是，訓(xùn)練客戶策略需要將引擎視為未知環(huán)境或動(dòng)態(tài)環(huán)境。

與在靜態(tài)環(huán)境中訓(xùn)練一個(gè)智能體策略的 GAIL 不同，MAIL 是一種面向多智能體的訓(xùn)練策略，可用于訓(xùn)練客戶策略和引擎策略。以這種方式得到客戶策略能夠包含不同的搜索引擎策略。

由于 MAIL 將兩個(gè)策略一起訓(xùn)練，即代理和環(huán)境，只需要?dú)v史數(shù)據(jù)，不需要訪問真實(shí)環(huán)境。MAIL 算法偽代碼如下圖所示：

實(shí)驗(yàn)設(shè)定及結(jié)果

為了驗(yàn)證 “虛擬淘寶” 的效果，我們使用以下量度指標(biāo)：

總營業(yè)額（TT）：所售商品的總價(jià)值。

總量（TV）：銷售商品的數(shù)量。

購買頁面的購買（R2P）：產(chǎn)生購買行為的 PV 數(shù)量占總 PV 的比例。

圖 3：學(xué)習(xí)后的顧客分布的對(duì)比

圖 4：真實(shí)淘寶和虛擬淘寶之間的 R2P 對(duì)比

本文在線實(shí)驗(yàn)中采用了全部測(cè)量方式。在離線實(shí)驗(yàn)中只使用了 R2P 方法，因?yàn)槲覀儧]有對(duì)客戶數(shù)量和商品價(jià)格做出預(yù)測(cè)。了便于在真實(shí)環(huán)境和虛擬環(huán)境之間比較這些指標(biāo)，我們提前在真實(shí)環(huán)境（特別是淘寶網(wǎng)的在線 A/B 測(cè)試）中部署了隨機(jī)引擎策略，并收集了相應(yīng)的軌跡作為歷史數(shù)據(jù)（約 4 億條記錄）。本文沒有假設(shè)生成數(shù)據(jù)的引擎策略，也就是說，在構(gòu)建虛擬環(huán)境時(shí)，可能采用的是任何未知的復(fù)雜模型。

表 1：虛擬數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的 KL 分歧

表 2：采用行為克隆和 MAIL 算法的模擬器隨時(shí)間的 R2P 性能提升

結(jié)論

為了解決淘寶網(wǎng)站中面向商品搜索的強(qiáng)化學(xué)習(xí)的高成本問題，本文提出了一個(gè) “虛擬淘寶模擬器”，根據(jù)歷史數(shù)據(jù)進(jìn)行訓(xùn)練的。首先通過 GAN-SD 生成虛擬客戶，并通過 MAIL 生成虛擬交互過程。研究結(jié)果表明，“虛擬淘寶” 能夠忠實(shí)反映真實(shí)環(huán)境中的特征。

本文提出通過 ANC 策略訓(xùn)練性能更高的平臺(tái)策略，讓新的策略具備比傳統(tǒng)監(jiān)督學(xué)習(xí)方法更好的真實(shí)環(huán)境下的性能?！疤摂M淘寶” 具備實(shí)際應(yīng)用意義，也頗具挑戰(zhàn)性。希望這項(xiàng)工作能夠?yàn)閷?qiáng)化學(xué)習(xí)應(yīng)用于復(fù)雜物理任務(wù)提供一些啟示。

開源模型：VirtualTaobao

VirtualTaobao開源項(xiàng)目提供了以淘寶的真實(shí)數(shù)據(jù)為基礎(chǔ)訓(xùn)練的虛擬淘寶模擬器。在淘寶上，當(dāng)客戶輸入一些查詢時(shí)，推薦系統(tǒng)將根據(jù)查詢和客戶配置文件返回一個(gè)商品列表。該系統(tǒng)預(yù)計(jì)將返回一個(gè)良好的列表，讓客戶有很高的可能性點(diǎn)擊這些商品。

使用 VirtualTaobao模擬器，用戶可以像訪問真實(shí)的淘寶環(huán)境一樣訪問“實(shí)時(shí)”環(huán)境。每次生成一次虛擬客戶，虛擬客戶啟動(dòng)查詢，推薦系統(tǒng)需要返回一個(gè)商品列表。虛擬客戶將決定是否單擊列表中的商品，類似于真實(shí)客戶。

本次開源的虛擬淘寶模型，用于推薦系統(tǒng)研究和強(qiáng)化學(xué)習(xí)研究(參見下面的監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)用例)。

目前，我們提供 VirtualTaobao V0 模型（VirtualTB-v0），該模型是在中等規(guī)模的匿名淘寶數(shù)據(jù)集進(jìn)行訓(xùn)練的。更大型的模型即將發(fā)布。

安裝

pipinstall-e.

模擬環(huán)境

虛擬淘寶模擬客戶、商品和推薦系統(tǒng)。

一個(gè)客戶與13個(gè)靜態(tài)屬性和3個(gè)動(dòng)態(tài)屬性相關(guān)聯(lián)。這里，靜態(tài)/動(dòng)態(tài)表示該屬性是否會(huì)在交互過程中發(fā)生變化。屬性信息包括客戶年齡、客戶性別、客戶瀏覽歷史等。

一個(gè)商品與27維屬性相關(guān)聯(lián)，這些屬性指示價(jià)格、銷售額、CTR等。

系統(tǒng)和客戶之間的交互過程如下：

虛擬淘寶采用客戶的特征向量，包括客戶描述和客戶查詢。

系統(tǒng)根據(jù)整個(gè)商品集的查詢表單檢索一組相關(guān)的商品。

系統(tǒng)使用一個(gè)模型來分配與商品屬性對(duì)應(yīng)的權(quán)重向量。

系統(tǒng)計(jì)算每個(gè)商品的權(quán)重向量與商品屬性的乘積，并選擇值最高的前10個(gè)商品。

選定的10個(gè)商品將發(fā)送給客戶。然后，客戶將選擇單擊某些項(xiàng)(CTR++)，瀏覽下一頁，或離開平臺(tái)。

在上述過程中，將訓(xùn)練步驟3中的模型。模型輸入客戶特征，輸出27維權(quán)重向量。

監(jiān)督學(xué)習(xí)的用法

數(shù)據(jù)集在：

virtualTB/SupervisedLearning/dataset.txt

數(shù)據(jù)集的每一行都包含一個(gè)特性、標(biāo)簽和單擊次數(shù)的實(shí)例，由制表符分隔。

為了從數(shù)據(jù)集訓(xùn)練模型，下面的代碼使用PyTorch進(jìn)行了演示

virtualTB/SupervisedLearning/main.py

它包含從數(shù)據(jù)集加載、模型訓(xùn)練和模型測(cè)試的完整過程。

強(qiáng)化學(xué)習(xí)的用法

下面是一個(gè)使用VirtualTaobao作為強(qiáng)化學(xué)習(xí)環(huán)境的最簡(jiǎn)單示例。每一步都取樣一個(gè)隨機(jī)操作來執(zhí)行推薦。

import gymimport virtualTBenv = gym.make('VirtualTB-v0')print(env.action_space)print(env.observation_space)print(env.observation_space.low)print(env.observation_space.high)state = env.reset()while True: env.render() action = env.action_space.sample() state, reward, done, info = env.step(action) if done: breakenv.render()

下面是一個(gè)采用DDPG強(qiáng)化學(xué)習(xí)算法和PyTorch的更完整的例子

virtualTB/ReinforcementLearning/main.py