逢考必过？新版ChatGPT通过美放射学委员会考试
【CNMO新闻】说起ChatGPT，想必大家并不陌生，此前许多朋友可能或多或少都被ChatGPT刷屏了，它是由OpenAI开发的一个人工智能聊天机器人程序。仅上线两个月，ChatGPT的活跃用户已经超过1亿人，火爆全球。今年3月份，OpenAI正式发布了其最新一代大型语言模型GPT-4。5月18日，CNMO注意到，加拿大科学家在近日出版的《放射学》杂志上刊登新论文称，最新版本的ChatGPT通过了美国放射学委员会的考试。
ChatGPT
据了解，为评估ChatGPT在美国放射学委员会考试问题上的表现并探索其优势和局限性，多伦多大学研究人员首先测试了基于GPT-3.5的ChatGPT的表现。具体来看，研究团队使用了150道选择题，这些选择题与加拿大皇家学院和美国放射学委员会考试的风格、内容和难度相当。
对此，研究人员发现，基于GPT-3.5的ChatGPT的正确率为69%，接近70%的及格线。该模型在低阶思维问题上表现相对较好，正确率为84%，但回答高级思维问题时的正确率仅为60%。
与此同时，性能更优异的GPT-4的正确率为81%，并且在高阶思维问题上的正确率为81%。不过需要注意的是，GPT-4在低阶思维问题上的正确率仅为80%，答错了12道题，而GPT-3.5全部答对了这些题目，这引发了研究团队对GPT-4收集信息的可靠性的担忧。