- RNN在自然語言處理中的應(yīng)用

模型需要傳入的參數(shù)有三個(gè)，分別是所有的單詞數(shù)、預(yù)測(cè)單詞所依賴的單詞數(shù)、即CONTEXT_SIZE 和詞向量的維度。網(wǎng)絡(luò)在向前傳播中，首先傳入單詞得到詞向量，模型是根據(jù)前面兩個(gè)詞預(yù)測(cè)第三個(gè)詞的，所以需要傳入兩個(gè)詞，得到的詞向量是(2, 100)，然后將詞向量展開成(1, 200)，接著經(jīng)過線性變換，經(jīng)過relu 激活函數(shù)，再經(jīng)過一個(gè)線性變換，輸出的維數(shù)是單詞總數(shù)，最后經(jīng)過一個(gè)log softmax 激活函數(shù)得到概率分布，最大化條件概率，可以用下面的公式表示：

在網(wǎng)絡(luò)的訓(xùn)練中，不僅會(huì)更新線性層的參數(shù)，還會(huì)更新詞嵌入中的參數(shù)，訓(xùn)練100次模型，可以發(fā)現(xiàn)loss 已經(jīng)降到了0.37，也可以通過預(yù)測(cè)來檢測(cè)模型是否有效：

1 word, label = trigram[3] 2 word = Variable(torch.LongTensor([word_to_idx[i] for i in word])) 3 out = ngrammodel(word) 4_, predict_label = torch.max(out, 1) 5 predict_word = idx_to_word[predict_label.data[0][0]] 6 print('real word is {}, predict word is {}'.format(label, predict_word))

運(yùn)行上面的代碼，可以發(fā)現(xiàn)真實(shí)的單詞跟預(yù)測(cè)的單詞都是一樣的，雖然這是在訓(xùn)練集上，但是在一定程度上也說明這個(gè)小模型能夠處理N Gram 模型的問題。

上面介紹了如何通過最簡(jiǎn)單的單邊N Gram 模型預(yù)測(cè)單詞，還有一種復(fù)雜一點(diǎn)的N Gram 模型通過雙邊的單詞來預(yù)測(cè)中間的單詞，這種模型有個(gè)專門的名字，叫Continuous Bag-of-Words model（CBOW），具體內(nèi)容差別不大，就不再贅述。

詞性判斷

上面只使用了詞嵌入和N Gram 模型進(jìn)行自然語言處理，還沒有真正使用循環(huán)神經(jīng)網(wǎng)絡(luò)，下面介紹RNN 在自然語言處理中的應(yīng)用。在這個(gè)例子中，我們將使用LSTM 做詞性判斷，因?yàn)橥粋€(gè)單詞有著不同的詞性，比如book 可以表示名詞，也可以表示動(dòng)詞，所以需要結(jié)合前后文給出具體的判斷。先介紹使用LSTM 做詞性判斷的原理。

基本原理

定義好一個(gè)LSTM 網(wǎng)絡(luò)，然后給出一個(gè)由很多個(gè)詞構(gòu)成的句子，根據(jù)前面的內(nèi)容，每個(gè)詞可以用一個(gè)詞向量表示，這樣一句話就可以看做是一個(gè)序列，序列中的每個(gè)元素都是一個(gè)高維向量，將這個(gè)序列傳入LSTM，可以得到與序列等長(zhǎng)的輸出，每個(gè)輸出都表示為對(duì)詞性的判斷，比如名詞、動(dòng)詞等。從本質(zhì)上看，這是一個(gè)分類問題，雖然使用了LSTM，但實(shí)際上是根據(jù)這個(gè)詞前面的一些詞來對(duì)它進(jìn)行分類，看它是屬于幾種詞性中的哪一種。

思考一下為什么LSTM 在這個(gè)問題里面起著重要的作用。如果完全孤立地對(duì)一個(gè)詞做詞性的判斷，往往無法得到比較準(zhǔn)確的結(jié)果，但是通過LSTM，根據(jù)它記憶的特性，就能夠通過這個(gè)單詞前面記憶的一些詞語來對(duì)它做一個(gè)判斷，比如前面的單詞如果是my，那么它緊跟的詞很有可能就是一個(gè)名詞，這樣就能夠充分地利用上文來處理這個(gè)問題。

字符增強(qiáng)

還可以通過引入字符來增強(qiáng)表達(dá)，這是什么意思呢？就是說一些單詞存在著前綴或者后綴，比如-ly 這種后綴很可能是一個(gè)副詞，這樣我們就能夠在字符水平上對(duì)詞性進(jìn)行進(jìn)一步判斷，把兩種方法集成起來，能夠得到一個(gè)更好的結(jié)果。

在實(shí)現(xiàn)上還是用LSTM，只是這次不再將句子作為一個(gè)序列，而是將每個(gè)單詞作為一個(gè)序列。每個(gè)單詞由不同的字母組成，比如apple 由a p p l e 構(gòu)成，給這些字符建立詞向量，形成了一個(gè)長(zhǎng)度為5 的序列，將它傳入LSTM 網(wǎng)絡(luò)，只取最后輸出的狀態(tài)層作為它的一種字符表達(dá)，不需要關(guān)心提取出來的字符表達(dá)到底是什么樣，它作為一種抽象的特征，能夠更好地預(yù)測(cè)結(jié)果。

詞性判斷的PyTorch 實(shí)現(xiàn)

作為演示，使用一個(gè)簡(jiǎn)單的訓(xùn)練數(shù)據(jù)，下面有兩句話，每句話中的每個(gè)詞都給出了詞性：

1training_data = [2("The dog ate the apple".split(), ["DET","NN","V","DET","NN"]),3("Everybody read that book".split(), ["NN","V","DET","NN"])4]