当前位置:首页|资讯|GPT-4|ChatGPT|OpenAI|编程|人工智能

用GPT-4“自我纠错” OpenAI推出新模型CriticGPT

作者:21世纪经济报道发布时间:2024-06-28

21世纪经济报道记者孔海丽、实习生刘清怡 北京报道

在“自我批评”这件事上,AI也要超越人类了。

北京时间6月28日,OpenAI 在其官网发布最新模型CriticGPT。

该模型基于GPT-4训练而成,用于识别ChatGPT生成代码中的错误。

传统上,人工智能开发人员使用一种称为“从人类反馈中强化学习”(RLHF)的方法来帮助人类审查员评估大模型的输出结果。

OpenAI研究员纳特·麦卡利斯(Nat McAleese)表示,RLHF的问题在于,随着模型变得越来越聪明,这项工作也越来越困难。人类需要超越RLHF的东西来校准更先进的系统。

OpenAI想到的解决方案是人工智能。

OpenAI的研究人员训练了一个名为CriticGPT的模型来评估ChatGPT的反应。研究人员通过手动将错误插入ChatGPT编写的代码中并提供反馈示例,教会了CriticGPT如何识别最常见的和一些不太常见的编码错误。

对于为何要人为添加错误然后编写反馈示例,而不是直接筛选出错误的代码,OpenAI认为,如果使用原始、未经修饰的答案,许多答案并不存在严重问题,这会降低数据对于改进批评意见的价值。而且如果不控制错误的类型,CriticGPT就会输出自由形式且模糊不清的审查意见。

另外,人类也很难发现CriticGPT遗漏的重要问题,偏好率也可能受到风格因素的影响,并会高估模型性能。

训练结果显示,在发现人为插入的错误代码方面,人类审核员只能找到25%左右,而CriticGPT的成功率在75%以上,而且CriticGPT给出的审查意见也更全面。在评估自然产生的错误代码方面,63%的情况下,CriticGPT编写的审查意见比人工编写的审查意见更受青睐。

不过,人类审查员给出的意见严重失误最少,无用的“挑剔”也最少,这一点是目前CriticGPT难以超越的。

CriticGPT仍存在一些不足之处。CriticGPT是基于ChatGPT较短的响应训练而成的,这意味着它还难以评估更长、更复杂的任务。此外,CriticGPT不能显示所有错误,并且在某些情况下会误报,导致人类注释者在标记数据时出错。

OpenAI计划将CriticGPT集成到其RLHF管道中,这意味着openAI的开发人员将拥有自己的生成式人工智能助手,来帮助他们审查人工智能的输出结果。

值得一提的是,OpenAI 团队根据CriticGPT训练成果发布的论文中,出现了 Jan Leike 的名字,后者曾共同领导了 OpenAI超级对齐团队。当OpenAI 联合创始人、首席科学家 Ilya Sutskever 在5月初离职后,Jan Leike 也随即离开,转投到OpenAI 的竞争对手Anthropic 。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1