PyTorch教程16.5之自然語(yǔ)言推理：使用注意力

16.5.1.1。出席

第一步是將一個(gè)文本序列中的標(biāo)記與另一個(gè)序列中的每個(gè)標(biāo)記對(duì)齊。假設(shè)前提是“我確實(shí)需要睡覺”，假設(shè)是“我累了”。由于語(yǔ)義相似，我們可能希望將假設(shè)中的“i”與前提中的“i”對(duì)齊，并將假設(shè)中的“tired”與前提中的“sleep”對(duì)齊。同樣，我們可能希望將前提中的“i”與假設(shè)中的“i”對(duì)齊，并將前提中的“需要”和“睡眠”與假設(shè)中的“疲倦”對(duì)齊。請(qǐng)注意，使用加權(quán)平均的這種對(duì)齊是軟的，其中理想情況下較大的權(quán)重與要對(duì)齊的標(biāo)記相關(guān)聯(lián)。為了便于演示，圖 16.5.2以硬方式顯示了這種對(duì)齊方式 。

現(xiàn)在我們更詳細(xì)地描述使用注意機(jī)制的軟對(duì)齊。表示為 A=(a1,…,am)和 B=(b1,…,bn)前提和假設(shè)，其標(biāo)記數(shù)為m和n，分別在哪里 ai,bj∈Rd (i=1,…,m,j=1,…,n) 是一個(gè)d維詞向量。對(duì)于軟對(duì)齊，我們計(jì)算注意力權(quán)重 eij∈R作為

哪里的功能f是在以下函數(shù)中定義的 MLP mlp 。的輸出維度fnum_hiddens由的參數(shù)指定 mlp。

def mlp(num_inputs, num_hiddens, flatten):
  net = []
  net.append(nn.Dropout(0.2))
  net.append(nn.Linear(num_inputs, num_hiddens))
  net.append(nn.ReLU())
  if flatten:
    net.append(nn.Flatten(start_dim=1))
  net.append(nn.Dropout(0.2))
  net.append(nn.Linear(num_hiddens, num_hiddens))
  net.append(nn.ReLU())
  if flatten:
    net.append(nn.Flatten(start_dim=1))
  return nn.Sequential(*net)

def mlp(num_hiddens, flatten):
  net = nn.Sequential()
  net.add(nn.Dropout(0.2))
  net.add(nn.Dense(num_hiddens, activation='relu', flatten=flatten))
  net.add(nn.Dropout(0.2))
  net.add(nn.Dense(num_hiddens, activation='relu', flatten=flatten))
  return net

需要強(qiáng)調(diào)的是，在(16.5.1) f接受輸入ai和bj分開而不是將它們中的一對(duì)一起作為輸入。這種分解技巧只會(huì)導(dǎo)致m+n的應(yīng)用（線性復(fù)雜度） f而不是mn應(yīng)用程序（二次復(fù)雜度）。

對(duì)(16.5.1)中的注意力權(quán)重進(jìn)行歸一化，我們計(jì)算假設(shè)中所有標(biāo)記向量的加權(quán)平均值，以獲得與由索引的標(biāo)記軟對(duì)齊的假設(shè)表示i在前提下：