0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Few-shot NER的三階段

深度學(xué)習(xí)自然語言處理 ? 來源:深度學(xué)習(xí)自然語言處理 ? 作者:深度學(xué)習(xí)自然語言 ? 2022-08-24 16:12 ? 次閱讀

01

方法介紹


Few-shot NER的三階段:Train、Adapt、Recognize,即在source域訓(xùn)練,在target域的support上微調(diào),在target域的query上測試。

baafda2a-22c5-11ed-ba43-dac502259ad0.png

如上圖,左邊(1-3)表示的是原型的loss1(訓(xùn)練目標(biāo)為各個原型分散分布),右邊(4-7)表示的是span的representation獲取,中間(8)是一個多層FFN(為了使得原型表示和span表示最終映射到同一個向量空間),中間(9-10)則是計算原型和span在同一個空間的loss2(為了使得實體span更靠近原型表示)

02

和過往工作相比


1、使得Adapt階段不只是通過對support集中的實體詞表示平均得到實體原型表示,而是能夠進行finetune(文中提到Ma et al. (2022) claim that the finetuning method is far more effective in using the limited information in support sets.)

2、過往的原型網(wǎng)絡(luò)的訓(xùn)練方法使得最終的原型表示較接近,本文通過構(gòu)造loss1(上一段提到的)使得原型表示分散開

03

實驗結(jié)果

這里僅挑選附錄部分的FEW-NERD實驗結(jié)果

bac556ca-22c5-11ed-ba43-dac502259ad0.png

從實驗結(jié)果來看,在INTRA上效果較好,在INTER上不如ESD。其中INTRA是指source和target之間的實體的粗粒度類型無交集,INTER則在粗粒度上有交集(細粒度上無交集)。(另外,2022年還有一篇SOTA文章Decomposed metalearning for few-shot named entity recognition,這里沒有進行對比)

04

消融實驗

1、使用token-level

2、缺少loss1(把原型打散的loss,方法介紹中有說)

3、使用cosine similarity而不是Euclidean distance來衡量span-prototype相似度

bad9b7dc-22c5-11ed-ba43-dac502259ad0.png

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 網(wǎng)絡(luò)
    +關(guān)注

    關(guān)注

    14

    文章

    7570

    瀏覽量

    88833
  • Target
    +關(guān)注

    關(guān)注

    0

    文章

    13

    瀏覽量

    8481

原文標(biāo)題:COLING2022 | 少樣本NER:分散分布原型增強的實體級原型網(wǎng)絡(luò)

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    基于將 CLIP 用于下游few-shot圖像分類的方案

    對比性圖像語言預(yù)訓(xùn)練模型(CLIP)在近期展現(xiàn)出了強大的視覺領(lǐng)域遷移能力,可以在一個全新的下游數(shù)據(jù)集上進行 zero-shot 圖像識別。
    的頭像 發(fā)表于 09-27 09:46 ?5335次閱讀

    CDMA_協(xié)議測試規(guī)范_第三階段(CDG3)

    CDMA_協(xié)議測試規(guī)范_第三階段(CDG3)
    發(fā)表于 11-03 09:13

    關(guān)于蓄電池的三階段充電疑點

    三段式充電:第一個階段叫恒流階段(即主充),第二個階段叫恒壓階段(即均充),第
    發(fā)表于 07-07 22:21

    三階段充電器的關(guān)鍵參數(shù)疑點

    最近在研究蓄電池的充電 看了一些資料學(xué)習(xí)三階段充電。三階段充電:恒流 恒壓 浮充其中恒流階段充電器的輸出電壓是怎樣的?恒壓階段充電器的輸出電流是怎樣的?浮充
    發(fā)表于 01-14 23:25

    中國聯(lián)通召開學(xué)習(xí)實踐活動第三階段工作會議

    中國聯(lián)通召開學(xué)習(xí)實踐活動第三階段工作會議 中國聯(lián)通于6月9日召開“深入學(xué)習(xí)實踐科學(xué)發(fā)展觀活動第三階段工作視頻會議”,常小兵同志傳達了中央領(lǐng)導(dǎo)及國資
    發(fā)表于 06-15 09:55 ?507次閱讀

    中芯國際將在2019年量產(chǎn)14納米FinFET,并勾勒28納米三階段藍圖

    在28納米制程上,中芯也提出三階段的規(guī)劃藍圖。趙海軍指出,第一階段的polySion制程已經(jīng)量產(chǎn),第二階段是第一代的HKMG制程(中芯稱為HKC制程)已經(jīng)在今年第2季開始產(chǎn)出,目標(biāo)是28納米突破10%營收,而第
    發(fā)表于 11-17 14:10 ?1814次閱讀

    5G第三階段測試規(guī)劃詳解

    目前,我國5G技術(shù)研發(fā)試驗第三階段測試已經(jīng)進入關(guān)鍵期,IMT-2020(5G)推進組即將于9月通信展上發(fā)布中國5G技術(shù)研發(fā)試驗的第三階段測試結(jié)果。
    發(fā)表于 09-25 08:49 ?3195次閱讀

    五大設(shè)備商的5G三階段測試進展對比

    另外備受關(guān)注的是,五大系統(tǒng)級設(shè)備商華為、中興、愛立信、諾基亞和中國信科集團的三階段測試結(jié)果也隨之公布,此外,星也作為第六家系統(tǒng)設(shè)備商新加入到三階段NSA測試中。
    發(fā)表于 10-28 07:38 ?5547次閱讀

    我國5G完成第三階段測試 離5G商用又近了一步

    隨著2018年第三階段測試結(jié)果公布,5G第三階段工作計劃迎來新的里程碑?;仡櫟?b class='flag-5'>三階段室內(nèi)測試內(nèi)容,徐菲表示,主要測試物理層基本功能,RRC協(xié)議基本功能、物理信道、鏈路自適應(yīng)與調(diào)度。
    發(fā)表于 10-08 15:26 ?1271次閱讀

    華為完成中國5G技術(shù)研發(fā)試驗第三階段測試 刷新業(yè)界紀(jì)錄

    1月23日,IMT-2020(5G)推進組在北京召開5G技術(shù)研發(fā)試驗第三階段總結(jié)暨第二屆綻放杯5G應(yīng)用征集大賽啟動會,并發(fā)布了第三階段測試成果。
    發(fā)表于 05-04 17:03 ?1002次閱讀

    京東方投34億元建12英寸OLED微顯示器件生產(chǎn)線,分三階段

    京東方今日發(fā)布公告稱,公司擬投資建設(shè)12英寸OLED微顯示器件生產(chǎn)線項目,項目總投資為34億元,分三階段實施。項目第一階段預(yù)計于 2021 年點亮,第二階段于 2022 年點亮,第三階段
    的頭像 發(fā)表于 12-27 11:14 ?3171次閱讀

    介紹兩個few-shot NER中的challenge

    此部分著重介紹了兩個few-shot NER中的challenge:limited information challenge和knowledge mismatch challenge。前者主要是指
    的頭像 發(fā)表于 08-24 10:01 ?862次閱讀

    UBBF 2023 | 邁向F5.5G,華為發(fā)布三階段全光目標(biāo)網(wǎng)架構(gòu)

    [阿聯(lián)酋,迪拜,2023年10月13日] ?在UBBF 2023期間,華為光產(chǎn)品線總裁靳玉志發(fā)表了題為“將F5.5G帶入現(xiàn)實,邁向智能世界的關(guān)鍵里程碑”主題演講,首次提出三階段建網(wǎng)理念,指明視頻驅(qū)動
    的頭像 發(fā)表于 10-13 23:55 ?425次閱讀
    UBBF 2023 | 邁向F5.5G,華為發(fā)布<b class='flag-5'>三階段</b>全光目標(biāo)網(wǎng)架構(gòu)

    邁向F5.5G,華為發(fā)布三階段全光目標(biāo)網(wǎng)架構(gòu)

    在UBBF 2023期間,華為光產(chǎn)品線總裁靳玉志發(fā)表了題為“將F5.5G帶入現(xiàn)實,邁向智能世界的關(guān)鍵里程碑”主題演講,首次提出三階段建網(wǎng)理念,指明視頻驅(qū)動百兆建網(wǎng)、體驗驅(qū)動千兆建網(wǎng)和智能驅(qū)動萬兆建網(wǎng)
    的頭像 發(fā)表于 10-17 17:01 ?1024次閱讀

    基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

    最近,上下文學(xué)習(xí)策略已被證明在沒有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進行zero-shot信息提取。不幸的是,推理的證據(jù)在思維鏈提示的構(gòu)建過程中沒有被考慮或隱式建模。
    的頭像 發(fā)表于 11-20 17:44 ?911次閱讀
    基于顯式證據(jù)推理的<b class='flag-5'>few-shot</b>關(guān)系抽取CoT