基于LDA模型的句子主題特征

　　隨著移動互聯(lián)網(wǎng)的廣泛應用，信息數(shù)量激增，用戶面臨信息過載問題。受到移動終端的屏幕大小和連接帶寬大小等限制，推送給用戶的新聞通常首先要做摘要處理。按照摘要產(chǎn)生方法的不同自動摘要可以分為抽取式摘要（extractive）和理解式摘要（abstractive）。抽取式摘要直接從原文中抽取重要的句子作為摘要句，而理解式摘要則通過對文章進行句法、語義和篇章結(jié)構(gòu)的分析獲取文檔的意義，再通過自然語言生成得到滿足要求的摘要。

　　基于LDAl4J （Latent Dirichlet Allocation）的抽取式摘要是近期的研究熱點。Shafieic5］提出一種由詞、片段、主題、文檔四層結(jié)構(gòu)組成的Co-Clustering Model模型，該方法受限于摘要長度，并不是所有從主題類中選出的句子都能作為摘要內(nèi)容，使得產(chǎn)生的摘要內(nèi)容代表性不強。Haghighi將句子、文檔和文檔集合統(tǒng)一納入到一個層次性LDA主題模型中，使用Gibbs抽樣獲得模型參數(shù)，以KL-散度作為摘要評價模型選擇句子，使用貪心算法添加句子。Arora等使用LDA作為文檔的表示模型，提出了基于推論的、半生成性和全生成性的3種句子選擇形式。該方法僅僅通過計算句子的主題概率來選擇摘要句子，忽略了其他常用特征，使得選出的摘要質(zhì)量不高。

　　鑒于以上幾種方法的缺點，本文提出一種基于LDA模型的句子主題特征，以句子作為處理單元，根據(jù)LDA模型中主題的概率分布和句子的概率分布計算文檔與句子的主題相似性，并融合句子在文檔中的位置和標題相似性等基礎(chǔ)特征，形成組合特征共同評價句子的重要性，最后根據(jù)融合特征分值大小抽取句子生成摘要。