【花师小哲】当代炼金术（神经网络）前沿（47）——忘记哈利波特？LLM中的知识研究

（为什么题目只能有40个字）虽然刚刚才更了专栏，但还是继续更。

按照之前动态说的，这篇来讲讲大语言模型（LLM）中的知识。其实这个话题也一直是拖着忘了讲的，这不影实6卷出来，伊塔的登场非常炸裂，其中就有关于记忆编辑的部分，这才让我想到LLM中的知识还没讲过。有恰巧，最近有一篇很有趣的论文，也一起讲一下。本篇专栏关注如下两篇论文：

1.大模型中知识相关研究

我们知道，像ChatGPT这样的LLM是没有一个外部知识库的，所有知识都是在训练过程中被记忆在模型参数之中的，这些知识不像外部知识库那样容易被人类直接理解和应用，并且很多知识也是交织在一起（毕竟从LLM的压缩视角来看，一定有很多知识共用了存储空间，就像计算机体系中的总线一样），所以想研究LLM中的知识并不是一件容易的事情。如图，关于LLM中的知识主要有以下一些研究方向：

（1）知识获取。即研究模型是如何学会知识的；

（2）知识表示。即研究知识如何参数化的存储在LLM内部。目前比较普遍的结论是，知识在LLM内部时分层存储的，一般是低层做初级表示，中层形成知识，高层决定输出；

（3）知识探测。即评估当前的LLM对特定类型的知识的影响，或者说对LLM内部知识做评估。

（4）知识编辑。即修改产品生命周期中不正确的知识或删除不良信息。有些知识是会不断更新的，例如美国总统是会变的，但是如果我们每次有知识变化就要重新训练模型，这个代价是难以接受的，所以我们需要知识编辑来以尽量小的代码来改变LLM中的一些特定知识，或者，遗忘一些特定知识（没错，下面要介绍的就是一种遗忘方法）。

（5）知识应用。即从LLM提取出知识以便于进一步的应用。

当然，知识并不是重点，在很多哲学家那里，“知识”离“理性”“智慧”等还是有很多差距的，但不得不说，掌握了知识确实很大程度上帮助ChatGPT和GPT-4成为强大的模型。

2.如何让LLM遗忘知识

第二篇论文的题目就很有意思，就是让LLM忘记哈利波特。也就是知识编辑的一个研究。

让模型遗忘很重要，因为大模型的训练语料不可避免的出现很多和隐私相关的内容，虽然有RLHF等方法，但仍然是潜在的风险，这时候我们就希望模型忘掉这些东西。

本文的方法并不复杂，简单来说就是覆写术，先让一个模型单独在《哈利波特》上训练（ChatGPT强在所有活基本都能做且效果都不错，但在具体领域上还是经常比不过一些小模型），来找到《哈利波特》中的特定表达的词语，例如“XX学院”之类的，然后替换成通用词语和通用标签，然后用这些新文本微调模型就可以了（通常需要微调很多个step，但也比从头训练快多了）。这种方法并不能让模型忘掉“哈利波特”“魔法”这些词，但是能够切断它们之间的联系，这样提到哈利波特，模型就不会首先“想到”魔法，而是“想到”健身之类的其他东西。

3.结语

总的来说，在LLM的知识相关研究方面，进展仍然比较缓慢，LLM究竟是如何压缩、使用知识的还有待进一步研究。这一块很多也和可解释性研究有关，也是帮助人们更好地理解LLM的运作机制。