当前位置:首页|资讯|OpenAI|ChatGPT

OpenAI最新研究:减轻ChatGPT幻觉,要靠一步一步“过程监督”

作者:学术头条发布时间:2023-06-02

原标题:OpenAI最新研究:减轻ChatGPT幻觉,要靠一步一步“过程监督”

近年来,大型语言模型在进行复杂的、多步推理方面取得了很多进展。然而,即使是最先进的模型仍然会产生逻辑错误,这通常被称为幻觉(hallucinations)。减少幻觉是构建对齐的通用人工智能(AGI)的关键一步。

6 月 1 日,OpenAI 在最新研究中提出了一种减轻ChatGPT幻觉、实现更好的对齐的新方法——通过“过程监督”来提高 ChatGPT 等 AI 大模型的数学推理能力。

更详细一点,“过程监督”通过奖励每个正确的推理步骤,而不仅仅是奖励正确的最终答案(即“结果监督”),在解决数学问题方面达到了最先进水平。

据介绍,除了得到高于结果监督的性能表现外,过程监督或许也有助于解决对齐难题(它直接训练模型产生一个被人类认可的思维链)。

相对于结果监督,过程监督在对齐方面有几个优势。过程监督直接奖励按照对齐的思维链进行推理的模型,因为每个步骤都接受了精确的监督。过程监督更有可能产生可解释的推理,因为它鼓励模型遵循经过人类批准的过程。相比之下,结果监督可能会奖励一个不对齐的过程,并且一般更难审查。

具体到实际问题,OpenAI 的研究人员使用 MATH 测试集中的问题来评估过程监督和结果监督奖励模型。对于每个问题,他们生成了多个解决方案,然后选择每个奖励模型排名最高的解决方案。

下图显示了所选解决方案达到正确最终答案的百分比,作为所考虑的解决方案数量的函数。

结果表明,过程监督的奖励模型不仅在整体上表现更好,而且随着考虑每个问题的解决方案数量增加,性能优势也在扩大。这表明过程监督的奖励模型更加可靠。

目前,OpenAI 的研究人员尚不清楚这些结果能否应用在数学领域之外,但认为未来探索过程监督在其他领域中的影响的研究将非常重要。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1