自監(jiān)督學(xué)習(xí)與Transformer相關(guān)論文

導(dǎo)讀

國際表示學(xué)習(xí)大會（TheInternationalConference onLearningRepresentations）是致力于人工智能領(lǐng)域發(fā)展的國際知名學(xué)術(shù)會議之一。ICLR 2021 將在明年5月4日舉行，目前，本次大會投稿已經(jīng)結(jié)束，最后共有3013篇論文提交。ICLR 采用公開評審機制，任何人都可以提前看到這些論文。

為了分析最新研究動向，我們精選了涵蓋自監(jiān)督學(xué)習(xí)、Transformer、圖神經(jīng)網(wǎng)絡(luò)、自然語言處理、模型壓縮等熱點領(lǐng)域，將分多期為大家?guī)硐盗姓撐慕庾x。

本期的關(guān)注焦點是自監(jiān)督學(xué)習(xí)與Transformer。

自監(jiān)督學(xué)習(xí)

Self-Supervised Variational Auto-Encoders

變分自編碼器（VAE）往往通過假設(shè)先驗分布為高斯分布來簡化計算過程，實際上真實數(shù)據(jù)的分布往往較為復(fù)雜，該假設(shè)會導(dǎo)致模型的過正則化并影響模型對真實分布的擬合能力；本文通過利用多個簡單分布對復(fù)雜真實分布進行建模，并采用自監(jiān)督方法對這些分布之間進行約束，進而提升VAE模型最終的效果。

論文鏈接：https://openreview.net/forum?id=zOGdf9K8aC

Self-Supervised Learning from a Multi-View Perspective

即使自監(jiān)督學(xué)習(xí)已經(jīng)取得了很好的效果，現(xiàn)有的方法依舊并不清楚自監(jiān)督學(xué)習(xí)帶來增益的主要原因；本文基于信息空間的考慮，認為自監(jiān)督學(xué)習(xí)通過減少不相關(guān)信息來幫助收斂；此外本文還提出將自監(jiān)督任務(wù)的兩個經(jīng)典方法——對比學(xué)習(xí)和預(yù)測學(xué)習(xí)任務(wù)進行合并，結(jié)合兩者優(yōu)點以增強自監(jiān)督學(xué)習(xí)的效果。

論文鏈接：https://openreview.net/forum?id=-bdp_8Itjwp

Contrast to Divide: Self-Supervised Pre-Training for Learning with Noisy Labels

現(xiàn)有的噪聲數(shù)據(jù)學(xué)習(xí)策略往往基于loss的噪聲識別與再過濾的框架，其需要模型在warm-up階段既能學(xué)習(xí)到足夠好的特征信息，同時不至于過分擬合噪聲數(shù)據(jù)的分布；改目的與對比學(xué)習(xí)任務(wù)非常契合，本文提出在warm-up階段采用對比學(xué)習(xí)幫助進行特征學(xué)習(xí)，并基于對比學(xué)習(xí)策略幫助區(qū)分噪聲數(shù)據(jù)。

論文鏈接：https://openreview.net/forum?id=uB5x7Y2qsFR

Improving Self-Supervised Pre-Training via a Fully-Explored Masked Language Model

現(xiàn)有的BERT等模型往往采用masked language model進行自監(jiān)督學(xué)習(xí)，但是其往往采用隨機的方法確定mask的word或者span；本文提出不合適的mask會導(dǎo)致梯度方差變大，并影響模型的效果，并分析原因在于同時mask的word之間具有一定的相似度；故本文提出一種特殊的mask機制，其考慮增大被mask的word之間的差異，進而削弱梯度方差大帶來的影響。

論文鏈接：https://openreview.net/forum?id=cYr2OPNyTz7

Bi-Tuning of Pre-Trained Representations

隨著預(yù)訓(xùn)練模型的快速發(fā)展，現(xiàn)有方法主要關(guān)注于如何進行pre-train，但是很少關(guān)注如何進行fine-tune；本文認為在fine-tune時模型很容易忘記預(yù)訓(xùn)練的信息并過擬合到當(dāng)前任務(wù)，因此提出了一種特殊的Bi-tune策略，即利用對比學(xué)習(xí)作為正則項約束模型的收斂情況，進而幫助提升模型的效果。

論文鏈接：https://openreview.net/forum?id=3rRgu7OGgBI

Erasure for Advancing: Dynamic Self-Supervised Learning for Commonsense Reasoning

為了解決預(yù)訓(xùn)練模型很難學(xué)習(xí)到更精準的 question-clue pairs 問題，本文提出DynamIcSelf-sUperviSedErasure (DISUSE)。其中包含 erasure sampler 和 supervisor，分別用于擦出上下文和問題中的多余線索，以及使用 self-supervised manner 進行監(jiān)督。

論文鏈接：https://openreview.net/forum?id=WfY0jNndSn3

Transformer

Addressing Some Limitations of Transformers with Feedback Memory

Transformer結(jié)構(gòu)因其并行計算的特性有很高的計算效率，但是這種特性限制了Transformer發(fā)掘序列信息的能力，這體現(xiàn)在底層表示無法獲得高層表示信息。作者提出一種Feedback Memory結(jié)構(gòu)，將所有歷史的底層和高層表示信息傳遞給未來表示。

論文鏈接：https://openreview.net/forum?id=OCm0rwa1lx1

Not All Memories are Created Equal: Learning to Expire

Attention機制往往需要長期的記憶，但是實際上并不是所有歷史信息都是重要的。因此，作者提出一種Expire-Span機制，動態(tài)地決定每一個時刻信息存活的時間長短，從而減少模型進行Attention操作耗費的空間開銷。

論文鏈接：https://openreview.net/forum?id=ZVBtN6B_6i7

Memformer: The Memory-Augmented Transformer

目前大部分Transformer變體模型在處理長序列時都會存在效率問題。作者提出一種利用Memory機制來編碼和保存歷史信息，使得時間復(fù)雜度下降到線性時間，空間復(fù)雜度變?yōu)槌?shù)。

論文鏈接：https://openreview.net/forum?id=_adSMszz_g9

Non-iterative Parallel Text Generation via Glancing Transformer

本文提出了一種基于 glancing language model 的 Glancing Transformer，通過 one-iteration 的生成方式提升 NAT 的性能。其中 Glancing language model，可以通過兩次 decoding 來降低學(xué)習(xí)難度以及加快生成速度。另外這種方法同樣可以應(yīng)用于其他基于 NAT 的任務(wù)。

論文鏈接：https://openreview.net/forum?id=ZaYZfu8pT_N

責(zé)任編輯：xj

原文標題：【ICLR2021必讀】 【自監(jiān)督學(xué)習(xí)】 & 【Transformer】相關(guān)論文

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。