AI如何檢測這類虛假新聞

上個(gè)月，OpenAI 發(fā)布其最新語言模型——GPT-2，但因?yàn)閾?dān)心它可能被用來制造大量偽造和虛假的信息，頗為戲劇性地決定不開源該模型。

這一決定也使得 AI 社區(qū)開始討論：如何檢測這類虛假新聞。

在一項(xiàng)新實(shí)驗(yàn)中，來自麻省理工學(xué)院-IBM Watson 人工智能實(shí)驗(yàn)室和哈佛大學(xué)自然語言處理實(shí)驗(yàn)室的研究人員思考，能夠生成如此逼真的文本的語言模型，是否可以用來檢測其他語言模型生成的文本的真假。

圖 丨 OpenAI GPT-2 生成的假新聞。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

這個(gè)假設(shè)背后的想法很簡單：語言模型通過不斷預(yù)測單詞序列中的下一個(gè)概率最大的單詞來產(chǎn)生句子。因此，如果某個(gè)語言模型能夠輕松地預(yù)測某一段落中的大部分詞語，那這段文本很可能就是這個(gè)語言模型生成的。

研究人員通過構(gòu)建基于 OpenAI GPT-2 開源的小模型的交互式工具來測試他們的想法。當(dāng)為該工具提供一段文字時(shí)，它會讓每個(gè)單詞高亮不同的顏色，從綠色到黃色到紅色，表示預(yù)測幾率逐漸下降；如果語言模型根本沒有預(yù)測出某一單詞，它會用紫色高亮該單詞。所以從理論上講，紅色和紫色詞的越多，該文本由人類書寫的概率就越大；如果綠色和黃色詞的份額越大，該文本由語言模型生成的概率就越大。

圖 丨 OpenAI GPT-2 小模型生成的文本。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

事實(shí)上，研究人員發(fā)現(xiàn)，GPT-2 的小模型和完整版本的模型所寫的段落幾乎完全是綠色和黃色，而人類寫的科學(xué)文摘和美國入學(xué)標(biāo)準(zhǔn)化測試中閱讀理解段落中的文字有很多紅色和紫色。

圖 丨 美國入學(xué)標(biāo)準(zhǔn)化測試中的閱讀理解短文，由人類書寫。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

但事情沒有想象中的簡單。Janelle Shane 是一位負(fù)責(zé)運(yùn)營“Letting Neural Networks Be Weird“博客的研究員，她并未參與前文所述的研究。她將該工具用于更嚴(yán)格的測試，不僅僅提供 GPT-2 生成的文本，還提供了由其他語言模型生成的文本，包括一個(gè)用亞馬遜評論訓(xùn)練的模型和一個(gè)用《龍與地下城》語料訓(xùn)練的模型。

她發(fā)現(xiàn)，這個(gè)工具無法預(yù)測每個(gè)段落中的大部分單詞，因此該工具認(rèn)為這些文本是人類寫的。這說明一個(gè)重要觀點(diǎn)：語言模型可能擅長檢測自己的輸出，但不一定擅長檢測其他語言模型的輸出。

看來，人類打擊互聯(lián)網(wǎng)假新聞還是任重道遠(yuǎn)啊。