Events
Home >
Events >
CS Peer Talks
CS Peer Talks
高效的自监督自然语言预训练
- Linyuan Gong, Turing Class
- Time: 2020-04-29 16:00
- Host: PKU Turing Class Research Committee
- Venue: Online Talk
Abstract
自监督自然语言预训练模型，如BERT, GPT等，自提出以来就受到了广泛关注。它在多个自然语言处理任务中有很好的表现，在诞生后极短的时间里就在工业界被广泛运用。但是这些模型也有训练所需时间长，消耗算力多，训练成本高等缺点，如何加速自然语言的自监督预训练也成为了一个重点问题，近期有很多工作都围绕这个问题展开，包括XLNet, RoBERTa, ELECTRA等。
Biography
Online Talk: https://meeting.tencent.com/s/5M17fZzb927f