基于無監(jiān)督學(xué)習(xí)和圖學(xué)習(xí)的大數(shù)據(jù)挖掘

在IJCAI-2019期間舉辦的騰訊TAIC晚宴和Booth Talk中，來自TEG數(shù)據(jù)平臺的張長旺向大家介紹了自己所在用戶畫像組的前沿科研結(jié)果：

1. 非監(jiān)督短文本層級分類；

2. 大規(guī)模復(fù)雜網(wǎng)絡(luò)挖掘和圖表示學(xué)習(xí)。

其所在團(tuán)隊積極與學(xué)術(shù)界科研合作，并希望有夢想、愛學(xué)習(xí)的實力派加入，共同研究和應(yīng)用半監(jiān)督/弱監(jiān)督/無監(jiān)督學(xué)習(xí)、小樣本學(xué)習(xí)、大規(guī)模復(fù)雜網(wǎng)絡(luò)挖掘和圖表示學(xué)習(xí)等做大數(shù)據(jù)挖掘。

科研結(jié)果1：非監(jiān)督短文本層級分類

首先以下用戶和AI算法的對話，顯示了現(xiàn)實業(yè)務(wù)中使用現(xiàn)有監(jiān)督文本分類算法的遇到的一些困境和問題：

算法需要海量訓(xùn)練數(shù)據(jù)

算法模型用戶不可控

算法不能很好的適應(yīng)類目的變化

我們分析現(xiàn)有監(jiān)督算法的主要問題在于沒有真正的知識, 沒有對于文本和類目的真正的理解?，F(xiàn)有算法只是在學(xué)習(xí)大量人工標(biāo)注訓(xùn)練樣本里面的模式。為了解決這個問題，我們啟動了一個叫做: 基于關(guān)鍵詞知識與類目知識的非監(jiān)督短文本層級分類的探索項目。

項目的主要思想是引入關(guān)鍵詞和類目兩種知識來幫助算法理解關(guān)鍵詞和類目的含義。然后基于知識進(jìn)行文本的分類和標(biāo)注。關(guān)鍵詞知識主要來自3個方面包括：關(guān)鍵詞的網(wǎng)絡(luò)搜索上下文、關(guān)鍵詞的百科上下文、關(guān)鍵詞到類目詞的后驗關(guān)聯(lián)概率。我們提出類目語義表達(dá)式來支持用戶表達(dá)豐富的類目本身和類目之間的關(guān)系的語義。這兩樣知識的引入幫助算法擺脫了對于大量人工標(biāo)注訓(xùn)練樣本的依賴，同時算法分類的過程做到了人工可理解，人工可控制。

基于關(guān)鍵詞和類目知識的無監(jiān)督文本層級分類算法流程如下:

對文本提取關(guān)鍵詞

根據(jù)關(guān)鍵詞知識計算關(guān)鍵詞到類目詞的相關(guān)度詞向量

根據(jù)關(guān)鍵詞的相關(guān)度詞向量計算文本的相關(guān)度詞向量

根據(jù)文本的相關(guān)度詞向量和類目語義表達(dá)式計算文本與每個類目的匹配度

每個文本被分為與之匹配度最高的類目

通過在兩個文本分類數(shù)據(jù)集合上面的實驗，我們發(fā)現(xiàn)，我們自研的算法能夠在沒有訓(xùn)練樣本的情況下提供質(zhì)量可用的結(jié)果，其一級類目準(zhǔn)確率能夠達(dá)到80%，并且明顯高于現(xiàn)有其他非監(jiān)督算法。

科研結(jié)果2：大規(guī)模復(fù)雜網(wǎng)絡(luò)挖掘和圖表示學(xué)習(xí)

Network Representation Learning 或者說 Graph Embedding 是復(fù)雜網(wǎng)絡(luò)最新的研究課題，意在通過神經(jīng)網(wǎng)絡(luò)模型，把圖結(jié)構(gòu)向量化，為節(jié)點分類、鏈路預(yù)測、社團(tuán)發(fā)現(xiàn)等挖掘任務(wù)提供方便有效的特征，以克服圖結(jié)構(gòu)難以應(yīng)用到機器學(xué)習(xí)算法中的難題。

本次我們在IJCAI發(fā)表的學(xué)術(shù)論文“Identifying Illicit Accounts in Large Scale E-payment Networks - A Graph Representation Learning Approach”創(chuàng)新性提出結(jié)合邊屬性的圖卷積神經(jīng)網(wǎng)絡(luò)模型，彌補了現(xiàn)有算法無法利用邊屬性為節(jié)點分類提供更多信息的不足。

現(xiàn)有的圖學(xué)習(xí)算法，絕大部分都忽視了邊上信息的價值。在這里我們提出了一種可以把邊的信息傳輸?shù)焦?jié)點表示結(jié)果的改進(jìn)的GCN算法。算法主要思路是在做GCN里面周邊鄰居節(jié)點向量的聚合計算之前，把每個節(jié)點連接邊的Embedding向量拼接在對應(yīng)鄰居節(jié)點的Embedding向量后面。實驗顯示，我們的算法對于金融分類問題具有更優(yōu)的結(jié)果。我們團(tuán)隊正在進(jìn)一步優(yōu)化模型，正在研發(fā)利用時序的GCN模型，以可以利用邊的時序交互信息，從而更好的表示動態(tài)網(wǎng)絡(luò)。

同時，數(shù)平數(shù)據(jù)中心研發(fā)的Angel參數(shù)服務(wù)器平臺，針對關(guān)系型數(shù)據(jù)結(jié)構(gòu)，在計算性能上對圖算法做了優(yōu)化，極大加速了PageRank等算法的計算速度，比如計算用戶中心度的Closeness算法，性能比基于Spark GraphX的算法提升了6.7倍。下圖顯示對于大型圖的計算，我們Angle框架的速度具有明顯的優(yōu)勢。

我們所在團(tuán)隊積極與學(xué)術(shù)界科研合作，并希望有夢想、愛學(xué)習(xí)的實力派加入，共同研究和應(yīng)用半監(jiān)督/弱監(jiān)督/無監(jiān)督學(xué)習(xí)、小樣本學(xué)習(xí)、復(fù)雜網(wǎng)絡(luò)挖掘和圖表示學(xué)習(xí)做大數(shù)據(jù)挖掘。