报告背景

本系列直播已于4月27日正式启动。在之前的报告中，我们回顾了Transformer相关技术，包括模型结构、训练推断等技术细节。事实上，最近一些备受瞩目的对话AI产品，如ChatGPT和Bard等，都是建立在基于Transformer的预训练模型的基础上，并采用了先进的参数调优方法。这些预训练模型和技术自2018年以来一直是NLP领域的研究热点，对预训练领域的发展产生了深远影响。因此，本次报告旨在介绍基础预训练模型及其技术。

报告时间、主题及嘉宾

2023年5月25日（周四）14:00，来自东北大学自然语言处理实验室的穆永誉将为您带来《预训练基础：编码模型》报告，带领大家更清晰、全面地了解预训练基础技术。

报告内容

本次报告将为您介绍编码类预训练模型，普及预训练基础技术及知识。我们将介绍预训练的基础概念、探讨这种方法的优势劣势、梳理其发展脉络。之后，我们将沿着编码类预训练模型详细展开，为您具体介绍以BERT为代表的预训练模型如何训练、如何推断并完成任务。报告主要内容包括：预训练的概念、发展脉络、编码类预训练语言模型（语言编码的实质、工作流程、语言编码思想剖析、发展趋势）。

报告流程

本次直播将分为两部分进行，第一部分为报告分享环节，第二部分为Q&A环节。在直播过程中，小伙伴可以把问题发送到直播间中，并在Q&A环节与本期嘉宾深入探讨；未被回复的问题也可私信留言，在直播结束后我们会进行解答。

报告安排

本系列直播作为公益知识分享活动，由东北大学自然语言处理实验室、小牛雅智、小牛翻译联合推出，向所有听众免费开放，无需注册和报名缴费。参会观众可以在【视频号（ID：小牛翻译云平台）、微博（ID：小牛翻译）、哔哩哔哩（ID：小牛翻译）、知乎（ID：小牛翻译云平台）、机器翻译学堂（https://school.niutrans.com/live）】观看直播。诚邀所有关注自然语言处理与大模型技术发展的朋友走进直播间，2023年5月25日（周四）14:00，我们期待与您的相遇！

hi，这里是小牛翻译~

想要看到更多我们的文章，可以关注下

机器翻译学堂（公号或网站）

笔芯~