- RNN在自然語言處理中的應(yīng)用

接著對單詞和詞性由a 到z 的字符進(jìn)行編碼：

1word_to_idx = {}2tag_to_idx = {}3forcontext, tagintraining_data:4forwordincontext:5ifwordnotinword_to_idx:6word_to_idx[word] =len(word_to_idx)7forlabelintag:8iflabelnotintag_to_idx:9tag_to_idx[label] =len(tag_to_idx)1011alphabet ='abcdefghijklmnopqrstuvwxyz'12character_to_idx = {}13foriinrange(len(alphabet)):14character_to_idx[alphabet[i]] = i

接著先定義字符水準(zhǔn)上的LSTM，定義方式和之前類似：

1classCharLSTM(nn.Module):2def__init__(self, n_char, char_dim, char_hidden):3super(CharLSTM, self).__init__()4self.char_embedding = nn.Embedding(n_char, char_dim)5self.char_lstm = nn.LSTM(char_dim, char_hidden, batch_first=True)67defforward(self, x):8x = self.char_embedding(x)9_, h = self.char_lstm(x)10returnh[0]

定義兩層結(jié)構(gòu)：第一層是詞嵌入，第二層是LSTM。在網(wǎng)絡(luò)的前向傳播中，先將單詞的n 個字符傳入網(wǎng)絡(luò)，再通過nn.Embedding 得到詞向量，接著傳入LSTM 網(wǎng)絡(luò)，得到隱藏狀態(tài)輸出h，然后通過h[0] 得到想要的輸出狀態(tài)。對于每個單詞，都可以通過CharLSTM 用相應(yīng)的字符表示。

接著完成目標(biāo)，分析每個單詞的詞性，首先定義好詞性的LSTM 網(wǎng)絡(luò)：

1classLSTMTagger(nn.Module):2def__init__(self, n_word, n_char, char_dim, n_dim, char_hidden,3n_hidden, n_tag):4super(LSTMTagger, self).__init__()5self.word_embedding = nn.Embedding(n_word, n_dim)6self.char_lstm = CharLSTM(n_char, char_dim, char_hidden)7self.lstm = nn.LSTM(n_dim+char_hidden, n_hidden, batch_first=True)8self.linear1 = nn.Linear(n_hidden, n_tag)910defforward(self, x, word_data):11word = [iforiinword_data]12char = torch.FloatTensor()13foreachinword:14word_list = []15forletterineach:16word_list.append(character_to_idx[letter.lower()])17word_list = torch.LongTensor(word_list)18word_list = word_list.unsqueeze(0)19tempchar = self.char_lstm(Variable(word_list).cuda())20tempchar = tempchar.squeeze(0)21char = torch.cat((char, tempchar.cpu().data),0)22char = char.squeeze(1)23char = Variable(char).cuda()24x = self.word_embedding(x)25x = torch.cat((x, char),1)26x = x.unsqueeze(0)27x, _ = self.lstm(x)28x = x.squeeze(0)29x = self.linear1(x)30y = F.log_softmax(x)31returny

看著有點復(fù)雜，慢慢來介紹。首先使用n_word 和n_dim 定義單詞的詞向量矩陣的維度，n_char 和char_dim 定義字符的詞向量維度，char_hidden 表示字符水準(zhǔn)上的LSTM 輸出的維度，n_hidden 表示每個單詞作為序列輸入LSTM 的輸出維度，最后n_tag 表示輸出的詞性分類。介紹完里面參數(shù)的含義，下面具體介紹其中網(wǎng)絡(luò)的向前傳播。

學(xué)習(xí)過PyTorch 的動態(tài)圖結(jié)構(gòu)，網(wǎng)絡(luò)的向前傳播就非常簡單了。因為要使用字符增強(qiáng)，所以在傳入一個句子作為序列的同時，還需要傳入句子中的單詞，用word_data表示。動態(tài)圖結(jié)構(gòu)使得前向傳播中可以使用for 循環(huán)將每個單詞都傳入CharLSTM，得到的結(jié)果和單詞的詞向量拼在一起作為新的序列輸入，將它傳入LSTM 中，最后接一個全連接層，將輸出維數(shù)定義為詞性的數(shù)目。