【花师小哲】当代炼金术（神经网络）前沿（70）——神经网络的“大脑”结构

今天稍微讲讲这篇论文，主要是看到有些文章用“大模型里面也有脑区”作为噱头，但实际上还是有些区别的。 [图片] [图片] 1.SAE 本文研究的对象是稀疏自动编码器SAE，SAE的目标是有效提取数据中的重要特征。 SAE可以被用作理解大语言模型LLM内部机制的一种工具，所以说这篇文章能说明LLM中有脑区也不能算错。 之前的研究表明，SAE空间中已经有概念的点云（简单理解就是在SAE空间中很多概念都表示为一个点，这些点组成一个“云”），所以本文是来分析这些特征点云在不同空间尺度上的结构的 [图片] 2.三层结...【查看原文】