张钹院士：解释清楚涌现 才有可能发展出中国特色的大模型｜大家谈AI第二期
整理｜景佑
今年，中国科学院院士、清华大学人工智能研究院名誉院长张钹，针对ChatGPT、大模型、下一代人工智能将走向何处等发表了许多真知灼见。他被誉为“中国人工智能的奠基人”之一，在中国人工智能领域创造了多个第一。
ChatGPT向通用人工智能迈出一步
7月6日，张钹院士在昇腾人工智能产业高峰论坛上，发表了主题演讲。在演讲中，他准确定义了ChatGPT与通用人工智能之间的关系，ChatGPT成功的原因。具体而言：
01
怎么样估计ChatGPT的成就？目前有两种说法，一种说法是ChatGPT是通用人工智能，还有一种说法它不是通用人工智能，哪个对呢？我的观点是哪个都不对。怎么样估计ChatGPT的成果呢？我认为最恰当的估计是向通用人工智能迈出一步。按照微软的说法是通用人工智能的火花，我赞成这种观点。
为什么呢？首先ChatGPT具有通用人工智能的以下两个特征：
第一个特征是在对话和聊天这个领域，它达到了人工智能的目标，或者说达到了行为主义主张的人工智能的目标。行为主义人工智能是人工智能的主流，背后的哲学是唯物主义、实用主义。它追求的人工智能目标是什么？使得机器的行为跟人类的行为相似，为什么说ChatGPT达到了这个目标呢？因为我们跟ChatGPT对话的时候，和与人类的对话很相近，因此它满足第一个通用人工智能的特征。
第二个特征，ChatGPT是开领域、多任务的，在对话这个问题里跟领域无关，这是一个重大的突破。大家知道人工智能经历过第一代知识驱动，第二代数据驱动，都只能在限定领域里面完成单个任务。ChatGPT变成开领域，走向通用。在通用人工智能最重要的两个特征上达到要求，即一个接近人类水平，一个跟领域无关。所以，我们可以说它向通用人工智能迈出一步。因为它只是在对话，或者讲得宽一点，是在语言处理这个领域里面达到这个目标，所以我们还不能把它称作通用人工智能。因为在别的人工智能领域里面，它是不是能通用呢？现在还说不清楚，所以我觉得这样的估计是非常恰当的。
02
ChatGPT为什么能够达到现在这样的水平，甚至很多地方使大家感到非常惊奇？主要是由于人工智能经过六七十年的努力，在三个问题上实现了突破，或者说是三个关键科技问题的突破。
第一个科技问题，基于词嵌入的文本语意表示。
第二个科技问题，是大家非常熟悉的转换器，就是基于注意机制的转换器，也就是大模型，我们现在说的大模型就是大转换器。
第三个科技问题，就是基于“预测下一个词”的自监督学习，我们应该说ChatGPT是经过人工智能领域里或者多个领域里大量的科学家和工程师，经过六七十年共同努力的结果，因为经过六七十年这三个问题才得到突破。这三个科技问题的突破，使得机器在处理文本上起到了本质的变化，过去我们在处理文本的时候，我们往往把它称作处理数据，到现在为止，大家还是用的这个词，但是这个词在ChatGPT里不成立。
因为ChatGPT是在我们找到了文本语意表示这个条件下再处理文本，所以它处理的不是文本的形式，不是把文本当成数据来处理，而是把文本当成知识来处理。
所以，ChatGPT成功并不是仅仅归功于三个要素，也就是数据、算力和算法。我觉得应该强调四个要素，分别是知识、数据、算法和算力。也就是说，我们有了三个关键问题的突破，就使得我们能够从大量的文本，所谓“数据”，从大量的数据中获取知识，只有出现这个转变才有现在的ChatGPT，如果我们还是停留在那个认识上肯定是错的。
解释清楚涌现，才有可能发展出中国特色的大模型
9月6日，在百川智能Baichuan2开源大模型发布会上，张钹院士谈了很多的值得关切的关键问题与判断。比如搞清楚“涌现现象”，才有可能发展出中国特色的大模型；以及ALignment（对齐）、大模型“幻觉”以及生成质量之间的辩证关系。
01
将来是不是把GPT语言完全对齐到人类的自然语言？我认为可能性不大。要把GPT语言对齐到完全跟人类的自然语言一样，必须解决一个问题——让GPT有自我意识，让计算机具有意识。一个硅基的机器有没有可能具有意识，目前来讲，科学上没有条件讨论这个问题，现在只存在哲学上的争论。
从哲学争论来讲，现在有两条路。按照唯物主义学派或行为主义学派的观点来讲，只追求行为主义上的相似形，而不追求内在机制的一致性。现在人工智能绝大多数走的是这条道路，是人工智能的主流。另一个少数派是唯心主义，认为唯有内在系统达到跟人类一样，才有可能达到真正的智能。这个很难做到或者做不到，硅基的机器是不是会做成跟人类碳基的智能一样，这在哲学上说不通，在科学上更说不通。
人工智能绝对不是去追求做一个机器跟人类一样，这个必要性绝对不需要，大家在这个方面的争论意义不大。目前来讲最重要的是要研究、了解GPT语言，只有彻底了解，才能更好地发展它、使用它，或者说从产业的角度来讲，才能发展出更健康的人工智能产业。
02
到现在为止，全世界对大模型的理论工作原理、所产生的现象都是一头雾水，所有的结论都推导产生了“涌现现象”。所谓“涌现”就是给自己一个退路，解释不清楚的情况下就说它是“涌现”。实际上这反映了我们对它一点不清楚。这个问题必须搞清楚，我们才有可能发展出有中国特色的大模型。
03
对大模型的研究必须要回答它为什么能够产生出来非常连贯的、多样化的人类语言。OpenAI当初冒着很大风险，它也不清楚，用这么大规模的文本去训练，究竟能不能收敛，收敛完以后效果怎么样，最后出现Humnan like tokens（类人语言），这是非常惊奇的事情。
这个问题的解决主要靠三个措施。一个是文本的语义表示，把文本里的词、句、段落全变成向量，给构造连续的拓扑空间创造了条件。二是转换器，注意机制可以保证上下文的一致性；最后是下一个词的预测。这三个条件训练出来的一定是human like tokens，不可能出来别的东西。这需要我们数据究竟达到多少能够形成，如果掌握了这个问题，我认为我们今后不需要这么多的数据。
04
大模型为什么会产生幻觉？这涉及到ChatGPT跟人类自然语言不同的生成原理，最根本的是人类是意图控制、内部驱动，而ChatGPT生成的语言是外部驱动，内容的正确性和合理性不能保证。
只有经过ALignment（对齐）才能解决这个问题，现在国内这块做的工作太少，不如国外，GPT-3.5到GPT-4，几个月的时间有那么多的变化，主要就是ALignment的功劳，他们是世界上最优秀的团队来做这个事情，我们不够重视。
做ALignment就是做治理，希望它不产生问题，但是治理以后，它的质量、多样性肯定下降，而追求多样化也必然会产生错误。这是一个问题的两个方面，治理的时候必须要跟质量做平衡，这也需进一步研究。
通用智能机器人（具身智能）有望迎来发展机遇
8月15日，在“大模型时代，AI赋能产业升级与引领”论坛上，张钹谈到：从AI的视角来看，ChatGPT至少实现了两大突破，虽向通用人工智能迈出了一大步，但仍不能被成为通用人工智能。
他预言“AI大模型+机器人”结合将使得通用智能机器人（具身智能）迎来突破。同时以ChatGPT为例，人工智能产业应边开放边治理，治理的最终目的是为了加快推进人工智能产业发展和迭代升级。
01
基于人工智能视角，ChatGPT至少实现了两大突破：首先，以ChatGPT为代表的大语言模型，转变了传统的只处理文本形式的缺陷，使机器具备了处理文本语义的能力，并能与人进行自然对话。其次，在ChatGPT出现之前，人工智能仅能在限定领域里完成单个任务，没有实现通用人工智能，而ChatGPT在对话领域实现了通用性，不受领域限制，因此可以说ChatGPT向通用人工智能迈出了一步。
02
ChatGPT仅在语言处理领域达到了预期目标，目前还不能被称为通用人工智能。同时，作为一种基于深度学习的自然语言处理模型，ChatGPT在结果输出上具有一定随机性，不大适合应用于不确定、多变、关键和复杂的环境，以及存在质量不一致、不可控、自我解释能力差、常识和推理能力不足等缺陷，这也使得人工智能治理的重要性凸显。
因此，人工智能治理既包括对模型本身的治理，也包括对模型使用者的治理。其中，对模型的治理可通过人工智能对齐（AI Alignment），由人类帮助它通过监督学习（supervised learning）、使用人类反馈的强化学习（RLHF）等方式进行治理。对模型使用者的治理则重点需要防止滥用、误用。总的来看，人工智能产业的开放与治理应同时进行，边开放边治理，治理的最终目的是为了加快推进人工智能产业发展和迭代升级。
03
随着基础模型的突破，作为“AI大模型+机器人”结合的通用智能机器人（具身智能）有望迎来发展机遇。
附件：
中科院院士张钹：GPT时代AI产业发展与治理应同时并进
https://new.qq.com/rain/a/20230821A0A86S00
张钹院士：GPT不太可能具备意识，AI没必要追求做出和人类一样的机器
https://www.sohu.com/a/718267844_115565
张钹院士：对大模型的研究很迫切，不能解释不清楚就说“涌现”
https://www.163.com/dy/article/IDVTU1030512D3VJ.html
张钹：发展第三代人工智能，推动产业化创新应用及产业发展
https://new.qq.com/rain/a/20230717A07RK900
*本号系创业家&i黑马人工智能领域垂直号。黑智，人工智能领域产业服务平台，专注AI行业报道，探讨AI商业价值。
人工智能领域垂直号黑智
了解更多AI产业资讯
👇👇👇