今天稍微讲讲这篇论文,主要是看到有些文章用“大模型里面也有脑区”作为噱头,但实际上还是有些区别的。 [图片] [图片] 1.SAE 本文研究的对象是稀疏自动编码器SAE,SAE的目标是有效提取数据中的重要特征。 SAE可以被用作理解大语言模型LLM内部机制的一种工具,所以说这篇文章能说明LLM中有脑区也不能算错。 之前的研究表明,SAE空间中已经有概念的点云(简单理解就是在SAE空间中很多概念都表示为一个点,这些点组成一个“云”),所以本文是来分析这些特征点云在不同空间尺度上的结构的 [图片] 2.三层结...【查看原文】