01
—
方法介紹
Few-shot NER的三階段:Train、Adapt、Recognize,即在source域訓(xùn)練,在target域的support上微調(diào),在target域的query上測試。
如上圖,左邊(1-3)表示的是原型的loss1(訓(xùn)練目標(biāo)為各個原型分散分布),右邊(4-7)表示的是span的representation獲取,中間(8)是一個多層FFN(為了使得原型表示和span表示最終映射到同一個向量空間),中間(9-10)則是計算原型和span在同一個空間的loss2(為了使得實體span更靠近原型表示)
02
—
和過往工作相比
1、使得Adapt階段不只是通過對support集中的實體詞表示平均得到實體原型表示,而是能夠進行finetune(文中提到Ma et al. (2022) claim that the finetuning method is far more effective in using the limited information in support sets.)
2、過往的原型網(wǎng)絡(luò)的訓(xùn)練方法使得最終的原型表示較接近,本文通過構(gòu)造loss1(上一段提到的)使得原型表示分散開
03
—
實驗結(jié)果
這里僅挑選附錄部分的FEW-NERD實驗結(jié)果
從實驗結(jié)果來看,在INTRA上效果較好,在INTER上不如ESD。其中INTRA是指source和target之間的實體的粗粒度類型無交集,INTER則在粗粒度上有交集(細粒度上無交集)。(另外,2022年還有一篇SOTA文章Decomposed metalearning for few-shot named entity recognition,這里沒有進行對比)
04
—
消融實驗
1、使用token-level
2、缺少loss1(把原型打散的loss,方法介紹中有說)
3、使用cosine similarity而不是Euclidean distance來衡量span-prototype相似度
-
網(wǎng)絡(luò)
+關(guān)注
關(guān)注
14文章
7570瀏覽量
88833 -
Target
+關(guān)注
關(guān)注
0文章
13瀏覽量
8481
原文標(biāo)題:COLING2022 | 少樣本NER:分散分布原型增強的實體級原型網(wǎng)絡(luò)
文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論