快科技6月28日消息,OpenAI公布了一个基于GPT-4训练的模型CriticGPT,主要用于捕捉ChatGPT代码输出中的错误。
简单来说,通过这一模型,人类训练者可以利用GPT-4查找并改进GPT-4自身的不足,OpenAI的实验显示,在CriticGPT的辅助下,训练师发现错误的能力提升了60%。
CriticGPT的工作机制包括对ChatGPT提供的代码进行评审,并提出改进建议,尽管CriticGPT的建议并非总是完美无缺,但它的引入显著提升了训练师在发现模型问题上的能力。
OpenAI表示,因为没有更好的工具,所以人们目前难以评估高级AI的表现,而CriticGPT意味着,OpenAI向能够评估高级AI系统输出的目标迈进了一步。
OpenAI也坦诚地指出了CriticGPT的局限性,包括对长任务理解的不足、幻觉错误的产生、分散错误的识别难题,以及在面对极端复杂任务时的评估局限。
CriticGPT的发布也引发了热烈讨论,有网友用“左脚踩右脚上天”来形容这一自我改进的过程。