【CS Peer Talk #2】高效的自监督自然语言预训练

Time: 2020-4-29 16:00

Venue: Online Talk 
Speaker: Linyuan Gong, Turing Class (Class of 2016)

 

Abstract:

自监督自然语言预训练模型,如BERT, GPT等,自提出以来就受到了广泛关注。它在多个自然语言处理任务中有很好的表现,在诞生后极短的时间里就在工业界被广泛运用。但是这些模型也有训练所需时间长,消耗算力多,训练成本高等缺点,如何加速自然语言的自监督预训练也成为了一个重点问题,近期有很多工作都围绕这个问题展开,包括XLNet, RoBERTa, ELECTRA等。