長(zhǎng)篇累牘的推薦語和言簡(jiǎn)意賅的關(guān)鍵詞，你更愿意看哪個(gè)？

單純的推薦結(jié)果和推薦結(jié)果+理由的組合，哪個(gè)更讓你信服？長(zhǎng)篇累牘的推薦語和言簡(jiǎn)意賅的關(guān)鍵詞，你更愿意看哪個(gè)？這是人們每天都會(huì)面對(duì)的場(chǎng)景，也是可解釋推薦系統(tǒng)研究需要不斷優(yōu)化的問題。

近幾年，人工智能的可解釋性問題受到了來自政府、工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。美國(guó)國(guó)防部先進(jìn)研究項(xiàng)目局DARPA資助了可解釋性人工智能項(xiàng)目XAI（Explainable AI）；中國(guó)國(guó)務(wù)院在《新一代人工智能規(guī)劃》中提出的“實(shí)現(xiàn)具備高可解釋性、強(qiáng)泛化能力的人工智能”目標(biāo)，得到了各個(gè)公司的積極響應(yīng)；ICML 2017年的最佳論文《Understanding Black-Box Predictions via Influence Functions》以及NIPS 2017的最佳論文《A Linear-Time Kernel Goodness-of-Fit Test》也和可解釋性有著緊密關(guān)聯(lián)。

當(dāng)深入研究這個(gè)新興且快速發(fā)展的領(lǐng)域時(shí)，一些尚未清楚的問題也困擾著我們。解釋的具體目標(biāo)是什么？當(dāng)我們要將解釋呈現(xiàn)給普通用戶看時(shí)，我們的目標(biāo)是否會(huì)有變化？怎么對(duì)可解釋性的問題進(jìn)行較為嚴(yán)格的定義？提高機(jī)器學(xué)習(xí)方法（如推薦模型）的可解釋性，現(xiàn)有方法的流程是什么樣的？未來的發(fā)展方向是什么樣的？

這些問題既困擾著我們，也帶來了研究的樂趣。本文將以推薦系統(tǒng)的解釋性為引，和大家分享我們探索到的部分答案，希望能對(duì)可解釋性研究起到拋磚引玉的作用。

目標(biāo)及定義

可解釋機(jī)器學(xué)習(xí)的目標(biāo)問題可以從2017年引起廣泛關(guān)注的機(jī)器學(xué)習(xí)煉金術(shù)之爭(zhēng)談起。NIPS 2017年時(shí)間檢驗(yàn)獎(jiǎng)（Test-of-Time Award）獲得者Rahimi在發(fā)表獲獎(jiǎng)感言的時(shí)候表示，現(xiàn)在的機(jī)器學(xué)習(xí)已經(jīng)越來越像煉金術(shù)了。其實(shí)如果只是簡(jiǎn)單應(yīng)用煉金術(shù)的結(jié)果倒也無妨，可是將類似煉金術(shù)的機(jī)器學(xué)習(xí)結(jié)果用于社交媒體甚至大選是不夠嚴(yán)謹(jǐn)和周密的，這也讓他感到不安。他的發(fā)言引起了很大的關(guān)注和爭(zhēng)論。他的質(zhì)疑中提出的兩個(gè)問題，我們將它們總結(jié)為透明度和信任度。

關(guān)于可解釋機(jī)器學(xué)習(xí)目標(biāo)，最普遍的看法是提高機(jī)器學(xué)習(xí)方法的透明度。以深度學(xué)習(xí)方法為例，很多人對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)試時(shí)，都將其看作黑匣子。我們只能看懂黑匣子的輸入輸出，很難理解黑匣子中的工作原理。這就造成了機(jī)器學(xué)習(xí)模型結(jié)果難以預(yù)測(cè)（能否點(diǎn)石成金？）、難以調(diào)試等問題，最終影響對(duì)機(jī)器學(xué)習(xí)模型的深入理解及結(jié)果的進(jìn)一步提高。另一個(gè)目標(biāo)是提高人們對(duì)于機(jī)器學(xué)習(xí)算法的信任度。在醫(yī)療、金融、軍事、政治等關(guān)鍵領(lǐng)域，機(jī)器學(xué)習(xí)的結(jié)果影響甚大，而可解釋機(jī)器學(xué)習(xí)則可以幫助決策者決定是否信任機(jī)器學(xué)習(xí)的結(jié)果。

這些目標(biāo)都和模型密切相關(guān)，我們將它們統(tǒng)稱為模型可解釋性。如果只考慮這類目標(biāo)，就忽視了解釋中非常關(guān)鍵的一環(huán)：用戶（解釋對(duì)象）。

當(dāng)我們著眼于用戶，就發(fā)現(xiàn)解釋不僅要幫助我們提高對(duì)模型的理解，它本身的可讀性也很關(guān)鍵。如果解釋過于復(fù)雜，理解起來耗時(shí)耗力、需要極強(qiáng)的機(jī)器學(xué)習(xí)知識(shí)，這就和增強(qiáng)理解的初衷就背道而馳了。解釋本身需要簡(jiǎn)明扼要、具有洞察力和高可讀性，否則和直接打印神經(jīng)網(wǎng)絡(luò)每個(gè)參數(shù)輸出沒有本質(zhì)區(qū)別。

在一些領(lǐng)域，我們需要把結(jié)果呈現(xiàn)給普通用戶看。例如推薦一本書給用戶，如果能用通俗易懂的解釋讓用戶了解到為什么會(huì)推薦這本書給他，可以極大地提高推薦的有效性（幫助用戶快速做出是否看書的決策）甚至推薦的說服力（提高用戶閱讀這本書的可能性）。這對(duì)用戶和廣告商都有重要的應(yīng)用意義，但是目前學(xué)術(shù)界對(duì)這方面的探討比較少。我們認(rèn)為將用戶更多地納入可解釋機(jī)器學(xué)習(xí)的考慮范疇，將極大提高可解釋方法的應(yīng)用和研究?jī)r(jià)值?？勺x性、有效性、說服力這類目標(biāo)，我們統(tǒng)稱為解釋質(zhì)量。上述討論的可解釋機(jī)器學(xué)習(xí)兩大類目標(biāo)可以總結(jié)如下圖所示。

可解釋機(jī)器學(xué)習(xí)的目標(biāo)：模型可解釋性（模型導(dǎo)向）以及解釋質(zhì)量（用戶導(dǎo)向）

這些目標(biāo)相輔相成，又相互制約。研究表明，提高透明度有助于提升解釋的說服力；而透明度和可讀性卻需要協(xié)調(diào)平衡，一個(gè)面面俱到、幫助人們深入理解模型的解釋（透明度高）很可能可讀性較低，因?yàn)槿藗冃枰ㄩL(zhǎng)時(shí)間理解；有效性旨在幫助用戶做最適合他們的決策，這和說服用戶接受某種決策也有相互矛盾之處。不同目標(biāo)如何協(xié)調(diào)平衡，主要取決于具體的應(yīng)用場(chǎng)景。

基于上述理解，我們可以嘗試對(duì)可解釋推薦下個(gè)定義。一般來說，可解釋推薦是在給出推薦結(jié)果的同時(shí)，給出對(duì)結(jié)果的支持論據(jù)（即解釋）。如果需要更細(xì)地進(jìn)行定義，就要考慮具體應(yīng)用及目標(biāo)。如果更側(cè)重模型可解釋性（模型導(dǎo)向），就要求論據(jù)能夠幫助用戶更好地理解模型行為；如果更注重解釋質(zhì)量中的說服力，則要求論據(jù)能夠增加用戶接受推薦物品的概率；如果更注重解釋質(zhì)量中的有效性，則要求論據(jù)能夠幫助用戶做出更好地決定。

下圖是一個(gè)偏重解釋有效性的例子。和偏重說服力的相比，它不僅會(huì)突出餐館值得一去的原因（擔(dān)擔(dān)面好吃），還會(huì)指出餐館的一個(gè)缺點(diǎn)（價(jià)格偏高），幫助用戶做出更好的決定。

可解釋推薦偏重解釋有效性的例子

可解釋推薦流程

下面，我們回歸到可解釋推薦的場(chǎng)景下，看看現(xiàn)在可解釋方法的主要流程是什么樣的。這些流程里面主要涉及到推薦中的幾個(gè)關(guān)鍵要素：用戶集合U、物品集合V、被解釋的推薦系統(tǒng)f(u,v)、推薦系統(tǒng)的推薦物品集合V'，解釋模塊以及其輸出的解釋z。

最常見的一種流程是后處理（Post-hoc）。如下圖所示，后處理的方法是在推薦結(jié)果已經(jīng)給出后再進(jìn)行解釋，解釋內(nèi)容不受推薦系統(tǒng)f(u,v)的影響，即使換了一個(gè)推薦系統(tǒng)，只要給定同一個(gè)用戶和物品，解釋都是一樣的。這種方法主要優(yōu)化的是解釋質(zhì)量（希望生成可讀性、有效性高甚至具有說服力的解釋），但是模型解釋性較差，同時(shí)也比較容易實(shí)現(xiàn)，適合面向不懂機(jī)器學(xué)習(xí)的普通用戶進(jìn)行解釋。主要應(yīng)用場(chǎng)景包括廣告電商平臺(tái)、新聞、音樂、電影推薦等等。

可解釋推薦后處理流程

后處理方法主要研究解釋文本生成，分為三種方法：（1）基于規(guī)則；（2）基于檢索；（3）基于生成式模型。

基于規(guī)則是指由解釋方法設(shè)計(jì)者事先給定一些簡(jiǎn)單模板（例如“N個(gè)微博用戶都喜歡這個(gè)商品”），算法只負(fù)責(zé)對(duì)模板中涉及的內(nèi)容根據(jù)規(guī)則進(jìn)行填充?；跈z索的方法是由解釋方法設(shè)計(jì)者規(guī)定解釋集合，算法負(fù)責(zé)對(duì)解釋集合進(jìn)行排序，挑選排在最靠前的解釋輸出給用戶。例如給用戶推薦書時(shí)，解釋集合規(guī)定為用戶曾經(jīng)看過的書，此時(shí)解釋模板為“看過X的用戶都很喜歡這本書”，算法只需要從集合中根據(jù)用戶的興趣及書的相似度挑選一本放入解釋即可。

基于規(guī)則和基于檢索的方法在生成解釋文本時(shí)，都需要模板，難免讓用戶覺得千篇一律、缺乏驚喜。有沒有辦法從數(shù)據(jù)中進(jìn)行學(xué)習(xí)，進(jìn)一步提高解釋的多樣性和說服力呢？我們組在這方面做了一些研究，發(fā)現(xiàn)可以從數(shù)據(jù)中學(xué)習(xí)，綜合廣告商提供的文案和被展示廣告的點(diǎn)擊率，利用改進(jìn)的序列生成技術(shù)自動(dòng)寫出廣告文案，這種方法已經(jīng)被應(yīng)用在微軟的搜索廣告中。下表展示了我們的廣告生成結(jié)果，可以看到不僅有一些具有說服力的話（如“Apply today & find your perfect job!”），而且生成結(jié)果多種多樣。

生成式模型自動(dòng)寫出的廣告解釋文案

可解釋推薦的第二種流程是嵌入式（Embedded）。嵌入式的方法把解釋模塊融入到推薦系統(tǒng)的構(gòu)建中（如下圖所示）。解釋模塊往往對(duì)物品的特征進(jìn)行選擇，將對(duì)推薦準(zhǔn)確性影響最大的物品挑選出來作為解釋。這里面用作解釋的物品特征往往是一些詞組（“屏幕清晰”）、語句（“這本書自2018年開始在全世界銷量5億本，是歷史上銷量最高的一本書?！保┗蛘呤菆D片。嵌入式的方法和后處理的相比，具有很高的模型解釋性，但是難以確保解釋質(zhì)量，例如，難以保證解釋之間的連貫性及一致性，因此比較適合研究人員及算法開發(fā)人員。

可解釋推薦嵌入式流程

嵌入式方法的大部分解釋模塊都是淺層的，比如RecSys 2013年的論文《Hidden factors and hidden topics: Understanding rating dimensions with review text》中用到的主題模型，SIGIR 2014年的論文《Explicit factor models for explainable recommendation based on phrase-level sentiment analysis》中用到的矩陣分解，以及WWW 2018年論文《Neural attentional rating regression with review-level explanations》中用到的單層注意力網(wǎng)絡(luò)。

能否構(gòu)建一個(gè)深層的網(wǎng)絡(luò)，每一層的特征和它們之間的關(guān)聯(lián)都是可解釋的呢？沿著這個(gè)思路研究，我們利用Microsoft Concept Graph構(gòu)建了深度可解釋網(wǎng)絡(luò)的初始結(jié)構(gòu)，并且利用Attentive Multi-View Learning對(duì)這個(gè)深度可解釋網(wǎng)絡(luò)中每層的參數(shù)進(jìn)行優(yōu)化，使它不僅可以提高推薦準(zhǔn)確性、有用性，還可以通過無監(jiān)督的方式自動(dòng)對(duì)用戶的層次興趣進(jìn)行建模。例如，我們可以知道用戶是只對(duì)壽司（低層特征）感興趣，還是對(duì)日料（高層特征）整體都比較感興趣。這部分工作我們發(fā)表在AAAI 2019論文《Explainable Recommendation Through Attentive Multi-View Learning》中，模型框架如下圖所示。

深度可解釋推薦模型：每一層的特征、相鄰層特征的關(guān)系都可讀

后處理和嵌入式的流程一個(gè)側(cè)重解釋質(zhì)量，一個(gè)側(cè)重模型解釋性。有沒有方法能夠更好地兼顧兩者呢？在這樣的思考下，我們提出了封裝式（Wrapper）流程。如下圖所示，封裝式的方法不需要改變現(xiàn)有的推薦系統(tǒng)，只是將解釋模塊和推薦系統(tǒng)放在相對(duì)平等的位置，解釋模塊通過與推薦系統(tǒng)交互生成模型相關(guān)的解釋。這樣既可以自由控制解釋質(zhì)量，又可以保證模型解釋性，同時(shí)也不需要像嵌入式的方法一樣針對(duì)不同的推薦模型設(shè)計(jì)不同的解釋方法，是一種協(xié)調(diào)模型解釋性與模型質(zhì)量的很好的方法。

可解釋推薦封裝式流程

封裝式可解釋方法是利用增強(qiáng)學(xué)習(xí)實(shí)現(xiàn)的。具體來說，就是利用下圖所示的增強(qiáng)學(xué)習(xí)框架來對(duì)任何推薦模型進(jìn)行解釋，可以同時(shí)確保模型解釋性以及解釋質(zhì)量。在這個(gè)框架中，被解釋的推薦模型是環(huán)境（Environment）中的一部分?？蚣苤杏袃蓚€(gè)智能體 (Couple Agents)，其中智能體1負(fù)責(zé)生成解釋，智能體2負(fù)責(zé)利用解釋預(yù)測(cè)被解釋推薦模型的輸出（用戶對(duì)物品的打分）。這兩個(gè)智能體把需要解釋的模型當(dāng)作黑盒子，通過與環(huán)境進(jìn)行交互得到的獎(jiǎng)勵(lì)（Reward）決定優(yōu)化方向。

這里，環(huán)境給予的獎(jiǎng)勵(lì)由兩個(gè)方面決定。如果智能體可以利用解釋準(zhǔn)確預(yù)測(cè)（模仿）被解釋推薦模型的結(jié)果，則被獎(jiǎng)勵(lì)，這體現(xiàn)的是對(duì)推薦模型的解釋能力。如果智能體給出的解釋精煉、有連貫性、可讀性較高，也會(huì)被獎(jiǎng)勵(lì)，這是為了提高解釋本身的質(zhì)量。這樣的框架適用于任何推薦模型，同時(shí)解釋能力和解釋質(zhì)量都較高。這部分工作發(fā)表在ICDM 2018的論文《A Reinforcement Learning Framework for Explainable Recommendation》 中。

這個(gè)框架是我們?cè)诳山忉屚扑]框架方面的一個(gè)初步嘗試，它目前還有不少需要改進(jìn)的地方。例如利用目前增強(qiáng)學(xué)習(xí)方法生成解釋有收斂較慢的問題，另外預(yù)先設(shè)定的獎(jiǎng)勵(lì)機(jī)制是否與實(shí)際應(yīng)用中希望的獎(jiǎng)勵(lì)有直接聯(lián)系也需要進(jìn)一步研究。接下來，我們會(huì)延續(xù)這個(gè)方向進(jìn)行探索。

可解釋推薦的增強(qiáng)學(xué)習(xí)框架

機(jī)遇與挑戰(zhàn)

作為推薦領(lǐng)域被探索得較少的一個(gè)方向，可解釋推薦的很多方面都值得研究與探索。目前，我們?cè)诳紤]從下面三個(gè)方面進(jìn)行研究。

利用知識(shí)圖譜增強(qiáng)算法解釋能力

知識(shí)圖譜作為可讀性高的外部知識(shí)載體，給提高算法解釋能力提供了極大的可能性。例如，我們可以利用知識(shí)圖譜打通不同媒介之間的關(guān)聯(lián)?，F(xiàn)有的可解釋推薦所生成的推薦解釋往往只局限于以物品為媒介、以用戶為媒介或者以特征為媒介中的某一種，對(duì)這三類媒介之間的關(guān)聯(lián)挖掘得還不夠。我們希望能夠利用知識(shí)圖譜，打通這三類媒介之間的關(guān)聯(lián)，根據(jù)具體情況靈活選擇其中最合適的媒介對(duì)用戶進(jìn)行推薦與解釋。在可解釋人工智能越來越重要的時(shí)代，將知識(shí)圖譜這類Symbolic Knowledge和深度學(xué)習(xí)結(jié)合，會(huì)是極有前景的方向。

普適的可解釋推薦框架及評(píng)測(cè)標(biāo)準(zhǔn)

目前可解釋推薦系統(tǒng)大多是針對(duì)特定的推薦模型設(shè)計(jì)，可拓展性較弱，對(duì)于新興的推薦模型，例如含有深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜、混合模型的解釋能力還不夠。如果有一個(gè)模型無關(guān)的可解釋推薦框架，就可以避免針對(duì)每個(gè)推薦系統(tǒng)分別設(shè)計(jì)解釋方案，從而提高方法的可拓展性。

另外，可解釋推薦如何評(píng)測(cè)一直是困擾可解釋性研究員的一個(gè)難題，線上（online）測(cè)試和人工標(biāo)注條件要求較為苛刻，線下（offline）的評(píng)測(cè)標(biāo)準(zhǔn)還不夠成熟，我們希望在這個(gè)方向進(jìn)一步研究，降低可解釋性研究的門檻，建立可解釋性的基礎(chǔ)理論。

結(jié)合生成模型進(jìn)行對(duì)話式推薦

目前的推薦解釋往往形式是預(yù)先設(shè)定、千篇一律的（如預(yù)先設(shè)定推薦解釋是以用戶為媒介的）。這樣盡管也能根據(jù)用戶心理舉出一些例證，但是在溝通方式上還過于呆板，離拉家常式的推薦還有很大距離。如果能用生成模型讓推薦系統(tǒng)“自創(chuàng)”一句通順甚至高情商的話，就可以在與用戶聊天的過程中進(jìn)行靈活、多變地推薦解釋了。我們團(tuán)隊(duì)已經(jīng)與微軟小冰合作，在這方面進(jìn)行了一些嘗試，為小冰生成音樂推薦解釋，接下來還希望在這方面進(jìn)行進(jìn)一步地研究。

除了可解釋推薦系統(tǒng)，個(gè)性化推薦未來還有哪些研究熱點(diǎn)？在《預(yù)見未來 | 個(gè)性化推薦系統(tǒng)，必須關(guān)注的五大研究熱點(diǎn)》一文中，微軟亞洲研究院社會(huì)計(jì)算組的研究員們從深度學(xué)習(xí)、知識(shí)圖譜、強(qiáng)化學(xué)習(xí)、用戶畫像、可解釋推薦等五個(gè)方面展望了推薦系統(tǒng)的未來發(fā)展。

作者介紹

王希廷，微軟亞洲研究院研究員。2011年于清華大學(xué)獲得工學(xué)學(xué)士學(xué)位。2017年于清華大學(xué)獲得工學(xué)博士學(xué)位。她的研究成果發(fā)表在數(shù)據(jù)挖掘和可視化的頂級(jí)會(huì)議和期刊上，包括KDD、TKDE、AAAI、IJCAI、VAST和TVCG等。她的一篇一作論文被TVCG選為2016年12月的spotlight article。她曾擔(dān)任TKDE、TVCG、InfoVis等頂級(jí)會(huì)議、期刊的審稿人。

謝幸，微軟亞洲研究院首席研究員，中國(guó)科技大學(xué)兼職博士生導(dǎo)師。他的團(tuán)隊(duì)在數(shù)據(jù)挖掘、社會(huì)計(jì)算和普適計(jì)算等領(lǐng)域展開創(chuàng)新性的研究。他在國(guó)際會(huì)議和學(xué)術(shù)期刊上發(fā)表了200余篇學(xué)術(shù)論文，共被引用18000余次，多次在KDD、ICDM等頂級(jí)會(huì)議上獲最佳論文獎(jiǎng)。他是ACM、IEEE高級(jí)會(huì)員和計(jì)算機(jī)學(xué)會(huì)杰出會(huì)員，曾擔(dān)任ACM UbiComp 2011、PCC 2012、IEEE UIC 2015、以及SMP 2017等大會(huì)程序委員會(huì)共同主席。