關(guān)于AE、OE、SC的序列標(biāo)注問題

給定句子，定義三個AE、OE、SC的序列標(biāo)注問題：

AE 目的是預(yù)測一個tag序列（和原始句子等長），其中 分別表示 begining of, inside of, outside of 一個aspect term。

OE 目的是預(yù)測一個tag序列（和原始句子等長），其中分別表示 begining of, inside of, outside of 一個opinion term。

SC 目的是預(yù)測一個tag序列（和原始句子等長），其中分別表示每個單詞的極性。

左圖是全框架，右圖是一個RACL的具體結(jié)構(gòu)

結(jié)構(gòu)解析

1.輸入部分是詞嵌入經(jīng)過一個全連接層得到

2.首先進(jìn)行子任務(wù)私有特征的編碼，得到面向三個子任務(wù)的特征、、

利用卷積得到AE-oriented features 和OE-oriented features ，考慮到的是這兩個任務(wù)與詞的臨近詞相關(guān)性很大。

為了得到SC-oriented features

首先從中利用CNN編碼上下文特征，然后將共享向量視為query方面，并用注意力機(jī)制計(jì)算query和上下文特征之間的語義關(guān)系，得到（利用的是實(shí)現(xiàn)的表達(dá)）

3.Propagating Relations for Collaborative Learning

是AE和OE之間的雙向關(guān)系，是OE向AE傳遞的部分，計(jì)算方法是和交互，利用表達(dá)。然后將交互部分同原來的面向AE的特征拼接在一起，經(jīng)過一個線性層和softmax就可以得到任務(wù)AE的分類結(jié)果。同理得到任務(wù)OE的分類結(jié)果。

此外，一個單詞不可以既是方面詞又是情感詞，因此加入了合頁損失作為正則項(xiàng)來約束和

R2是SC和之間的三元關(guān)系。注意直接使用注意力權(quán)重來相加的，而不是在最后階段。

R3是SC和OE之間的雙向關(guān)系，這表明，在對情感極性進(jìn)行預(yù)測時，需要對抽取出的觀點(diǎn)術(shù)語多加關(guān)注。為了建模R3，采用和R2同樣的方式，也就是對SC中的利用生成的 tag序列進(jìn)行更新，如下：

這樣的話情感詞在注意力機(jī)制中可以得到更大的權(quán)重，從而有利于情感分類。

得到上述方式完成交互后的后，我們可以按照式子4重新計(jì)算面向SC任務(wù)的特征，然后我們將和拼接在一起作為最后的SC的特征，并將它們經(jīng)過一個全連接層后去預(yù)測方面極性。

4.Stacking RACL to Multiple Layers以上是一個RACL模塊的輸出，本實(shí)驗(yàn)堆疊了多個模塊。具體來說，我們首先編碼第一層特征，，，在第二層將這些特征輸入到SC，AE和OE去生成，，。以此類推可以將RACL堆疊到L層。最后將各層的最終預(yù)測結(jié)果進(jìn)行平均池化的操作

這種shortcut-like的架構(gòu)可以促進(jìn)低層中的功能具有意義和信息量，反過來這也有助于高層做出更好的預(yù)測。

損失函數(shù)

最終RACL總的損失的 L 是所有子任務(wù)的損失之和加上正則項(xiàng)的損失，也就是，其中是系數(shù)，.

方法比較和Case分析

和不同的歷史方法作比較：

關(guān)于本文提出的方法的簡單變種的消融實(shí)驗(yàn)：

超參和的影響：

Case分析：

關(guān)于上面的可視化分析：

最后就是不同方法的計(jì)算量分析：