ChatGPT编程语言错误率超过50% 还可能误导三分之一的提问者
2023-08-09 09:27:15 作者：姚立伟
自生成式人工智能ChatGPT问世以来，众多开发者试图将其应用于编程辅助工具。然而，近期美国普渡大学的一项研究发现，ChatGPT在回答编程问题时的错误率超出预期。 据了解，ChatGPT在回答软件编程问题时的错误率超过了50%，且这些错误巧妙到足以误导三分之一的提问者。研究团队对ChatGPT在Stack Overflow网站上回答的517个问题进行了分析，评估了其正确性、一致性、全面性和简洁性，并对12名志愿者进行了问卷调查。 研究结果显示，尽管ChatGPT的回答语言风格良好，但52%的回答是错误的，77%的回答过于冗长。同时，只有在回答中存在明显错误时，参与实验的志愿者才能察觉到问题，而在其他情况下，他们往往会被AI的友好且细致的语言风格所误导。 这一发现无疑表明，对于开发者来说，当前阶段的生成式AI作为编程辅助工具还有很长的路要走，甚至可能产生反效果。然而，值得注意的是，OpenAI早前已在官网上告知用户，AI的回答可能会产生关于人、地点或事实的不准确信息。
