ChatGPT通过2022年临床医学国考，“获得”罗马智慧大学录取资格
ChatGPT通过2022年临床医学国考
“获得”罗马智慧大学录取资格
意大利教育中心根据《晚邮报》2023年3月3日报道，意大利卡利亚里大学研究人员最近进行的实验表明，ChatGPT在模拟参加意大利2022年临床医学和口腔医学“国考”中总分获得46.3分，已经超过罗马智慧大学（Sapienza）的录取标准。
ChatGPT在生物学和阅读理解两项得分最高，但在逻辑推理方面较为吃力。即使面对非常复杂的题目和特别精确的答题要求，ChatGPT也能展现出令人惊讶的答案。事实上，它可以解决物理、化学、数学的问题，并建议使用不同的编程语言的代码行（Righe di Codice）。当然，技术性越强、背景越具体，聊天就越需要用户的仔细监督，以避免有时也会出现的微小错误。这个聊天机器人（Chatbot）的真正创新之处是，它不仅提供信息，而且还可以根据对文本和背景的理解来做出非常清晰的答案。这引起了关于该系统的风险和潜力的激烈辩论，近几个月来，许多学者和好奇者对聊天机器人的能力进行了测试，但它总是会有令人惊讶的表现。
实验设计
让ChatGPT模拟参加意大利医学专业考试的想法来自意大利卡利亚里大学的专家小组，由逻辑学家、哲学家和机器学习研究专家组成，研究小组成员分别为：Marco Giunti、Roberto Giuntini、Giuseppe Sergioli、Simone Pinna和Fabrizia Giulia Garavaglia。他们首先构思并实施了实验，源于以下问题：如果ChatGPT参加医学和口腔医学国家入学考试，结果会如何？这个问题很有趣，因为入学考试的目的不仅是要评估候选人的知识技能，而且还要评估候选人的逻辑推理和解决问题的能力。要成为一名好医生，必须具备处理和分析复杂信息和数据的技能，以及确定正确的科学路径的能力。为此，研究小组让ChatGPT回答 2022年意大利临床医学国考的所有60道题目，最终得分46.3分，答题正确率可达到62%（37 /60 个），这个成绩的确令人惊讶。根据2022年参加考试的考生的全国排名，最低入学分数为33.4分。因此，ChatGPT获得的分数甚至可以进入罗马智慧大学，该大学去年的最低录取分数为 45.5 分，在意大利所有设立临床医学专业的51所大学中排名第6。
ChatGPT的考试结果
2022年意大利参加临床医学国考的人数为56775人，达标率仅有50.7% ，值得注意的是，ChatGPT 已经跻身“优秀考生”之列。卡利亚里大学学者在Research Gate平台中发表了题为“ChatGPT作为未来的医学院学生”（ChatGPT prospective student at Medical School）的研究报告。从报告中的数据可以清楚地看出，ChatGPT在阅读理解（4 道题全对）方面的能力几乎无与伦比，在生物学部分测试中表现也非常出色（16/23）。在逻辑推理部分（1 /5）、化学（9 /15 ）、物理和数学（7 /13 ）方面表现较差。
与其他考试的比较
该研究报告中还包含与剑桥评估入学考试BMAT 2021（生物医学入学考试，BioMedical Admission Test)）的比较分析。BAT考试在全球范围内用于评估生物医学专业候选人的基本技能，与意大利医学“国考”相似。在BAT考试中，考试结果也显示出ChatGPT的“思维能力”（16/25）与“科学知识和应用”的问题（7/22）相比是不平衡的。正如作者自己所说，这项初步研究需要在更大的范围内应用以得到证实。事实上，它可以提供一个有用的指示，说明ChatGPT在哪些领域表现突出，同时也指出了这个强大和创新系统当前存在的局限性，但这些局限性肯定会得到改善。
建议
实验的结果和数据的分析可能会引出一些新的问题，涉及到入学考试本身的结构和设计，以及更广泛的、关于目前准备进入大学的学生应该具备哪些知识和技能。特别是，目前考试中所要求的知识和技能是否足以确保高中毕业后的正确选择。学校是否为年轻人的选拔做了具体的准备和指导，最重要的是是否为他们提供了真正的知识基础，使他们能够在与智能系统（如ChatGPT）的互动越来越频繁和不可避免的情况下，维持学术研究的复杂性？而目前这场辩论只是处于起步阶段。
以上内容由意大利教育中心编译