Events
Events
CS Peer Talks

高效的自监督自然语言预训练

  • Linyuan Gong, Turing Class (Class of 2016)
  • Time: 2020-04-29 16:00
  • Host: PKU Turing Class Research Committee
  • Venue: Online Talk

Abstract

自监督自然语言预训练模型,如BERT, GPT等,自提出以来就受到了广泛关注。它在多个自然语言处理任务中有很好的表现,在诞生后极短的时间里就在工业界被广泛运用。但是这些模型也有训练所需时间长,消耗算力多,训练成本高等缺点,如何加速自然语言的自监督预训练也成为了一个重点问题,近期有很多工作都围绕这个问题展开,包括XLNet, RoBERTa, ELECTRA等。