DataWhale X tiny-universe——LLM基础架构

本文是DataWhale --- tiny-universe项目的学习记录，简略介绍LLM的基础架构(细节日后再补)。 目前LLM的架构大致分为两类，分别为Prefix LM和Casual LM（https://zhuanlan.zhihu.com/p/672257397）本文讲解的架构属于Casual LM。 Qwen的架构图： [图片] 首先是输入部分，由于LLM不能够直接处理文本信息，我们需要先将文本转化为计算机能够理解的数字语言，这个过程称之为编码（Encoding），这一过程分为两个步骤：使...【查看原文】