半監(jiān)督算法DocRE的新組件

今天給大家分享的是是ACL 2022上與實(shí)體關(guān)系抽取相關(guān)的部門(mén)論文范讀筆記。其中有一些小喵自己也在學(xué)習(xí)，后續(xù)會(huì)推出精讀筆記。

1. DocRE

論文概括：具有自適應(yīng)焦點(diǎn)損失和知識(shí)蒸餾的文檔級(jí)關(guān)系抽取

文檔級(jí)關(guān)系抽取要同時(shí)從多個(gè)句子中提取關(guān)系。針對(duì)這個(gè)任務(wù)，本文提出了一個(gè)半監(jiān)督算法 DocRE。DocRE 共有三個(gè)新組件：

第一，用軸向注意力模塊學(xué)習(xí)實(shí)體對(duì)之間的依賴關(guān)系。

第二，提出了一個(gè)自適應(yīng)的焦點(diǎn)損失來(lái)解決DocRE中類的不平衡問(wèn)題。

最后，利用知識(shí)蒸餾來(lái)克服人工標(biāo)注數(shù)據(jù)與遠(yuǎn)程監(jiān)督數(shù)據(jù)之間的差異。

現(xiàn)有問(wèn)題：現(xiàn)存的方法關(guān)注實(shí)體對(duì)的句法特征，而忽略了實(shí)體對(duì)之間的交互作用；目前還沒(méi)有工作可以直接地解決類的不平衡問(wèn)題?，F(xiàn)存的工作僅僅關(guān)注閾值學(xué)習(xí)來(lái)平衡正例和負(fù)例，但正例內(nèi)部的類不平衡問(wèn)題并沒(méi)有得到解決；關(guān)于將遠(yuǎn)程監(jiān)督數(shù)據(jù)應(yīng)用于DocRE任務(wù)的研究很少。

貢獻(xiàn)點(diǎn)：

軸向注意力：提升two-hop關(guān)系的推理能力；

自適應(yīng)焦點(diǎn)損失：解決標(biāo)簽分配不平衡的問(wèn)題，長(zhǎng)尾類在總的損失中占比較多；

知識(shí)蒸餾：克服標(biāo)注數(shù)據(jù)和遠(yuǎn)程監(jiān)督數(shù)據(jù)之間的差異。

DocRE

2. PL-Marker

論文名稱：《Packed Levitated Marker for Entity and Relation Extraction》

論文鏈接：https://aclanthology.org/2022.acl-long.337.pdf

代碼地址：https://github.com/thunlp/PL-Marker

論文概括：打包懸浮標(biāo)記用于實(shí)體和關(guān)系抽取

最近的命名實(shí)體識(shí)別和關(guān)系抽取工作專注于研究如何從預(yù)訓(xùn)練模型中獲得更好的span表示。然而，許多工作忽略了span之間的相互關(guān)系。本文提出了一種基于懸浮標(biāo)記的span表示方法，在編碼過(guò)程中通過(guò)特定策略打包標(biāo)記來(lái)考慮span之間的相互關(guān)系。對(duì)于命名實(shí)體識(shí)別任務(wù)，提出了一種面向鄰居span的打包策略，以更好地建模實(shí)體邊界信息。對(duì)于關(guān)系抽取任務(wù)，設(shè)計(jì)了一種面向頭實(shí)體的打包策略，將每個(gè)頭實(shí)體以及可能的尾實(shí)體打包，以共同建模同頭實(shí)體的span對(duì)。

PL-Marker

3. CRL

論文名稱：《Consistent Representation Learning for Continual Relation Extraction》

論文鏈接：https://aclanthology.org/2022.findings-acl.268.pdf

代碼地址：https://github.com/thuiar/CRL

論文概括：一致表示學(xué)習(xí)用于連續(xù)關(guān)系抽取

通過(guò)對(duì)比學(xué)習(xí)和回放記憶時(shí)的知識(shí)蒸餾，提出一種新穎的一致性表示學(xué)習(xí)方法。使用基于記憶庫(kù)的監(jiān)督對(duì)比學(xué)習(xí)來(lái)訓(xùn)練每一個(gè)新的任務(wù)，以使模型高效學(xué)習(xí)特征表示。為了防止對(duì)老任務(wù)的遺忘，構(gòu)造了記憶樣本的連續(xù)回放，同時(shí)讓模型保留在知識(shí)蒸餾中歷史任務(wù)之間的關(guān)系。

CRL

4. MCMN

論文名稱：《Pre-training to Match for Unified Low-shot Relation Extraction》

論文鏈接：https://aclanthology.org/2022.acl-long.397.pdf

代碼地址：https://github.com/fc-liu/MCMN

論文概括：預(yù)訓(xùn)練用于匹配統(tǒng)一少樣本關(guān)系抽取

低樣本關(guān)系抽取旨在少樣本甚至零樣本場(chǎng)景下的關(guān)系抽取。由于低樣本關(guān)系抽取所包含任務(wù)形式多樣，傳統(tǒng)方法難以統(tǒng)一處理。本文針對(duì)這一問(wèn)題，提出了一種統(tǒng)一的低樣本匹配網(wǎng)絡(luò)：

基于語(yǔ)義提示（prompt）范式，構(gòu)造了從關(guān)系描述到句子實(shí)例的匹配網(wǎng)絡(luò)模型；

針對(duì)匹配網(wǎng)絡(luò)模型學(xué)習(xí)，設(shè)計(jì)了三元組-復(fù)述的預(yù)訓(xùn)練方法，以增強(qiáng)模型對(duì)關(guān)系描述與實(shí)例之間語(yǔ)義匹配的泛化性。

在零樣本、小樣本以及帶負(fù)例的小樣本關(guān)系抽取評(píng)測(cè)基準(zhǔn)上的實(shí)驗(yàn)結(jié)果表明，該方法能有效提升低樣本場(chǎng)景下關(guān)系抽取的性能，并且具備了較好的任務(wù)自適應(yīng)能力。