GPT-4的表现令人惊讶,它在律师考试中取得了90%的成绩,在AP考试中有15个人中有13个通过,在GRE口语考试中几乎达到了满分。但是,杨百翰大学和其他186所大学的研究人员想要测试OpenAI技术在会计考试中的表现。他们测试了ChatGPT的原始版本,并发现虽然在会计领域仍有改进的空间,但该技术将对教育的交付和接受方式产生积极影响。
自2022年11月首次亮相以来,ChatGPT已成为历史上增长最快的技术平台之一,在不到两个月的时间里拥有1亿用户。鉴于目前关于ChatGPT等人工智能模型在教育中的作用的争论,比亚迪大学会计学教授大卫-伍德决定招募尽可能多的教授来评估人工智能和真实大学会计学生的表现。
该研究涉及来自14个国家,186个机构的327名合著者,提供了25,181道课堂会计测试题。此外,杨百翰大学的本科生提供了2,268道课本问题,涉及各种会计子领域,包括会计信息系统(AIS)、审计、财务会计、管理会计和税收。这些问题的难度和类型也各不相同。
尽管ChatGPT表现出色,但学生的成绩还是超过了AI,平均得分76.7%,而ChatGPT的得分率为47.4%。ChatGPT在11.3%的问题上超过了学生的平均得分,在AIS和Audit方面表现尤为突出。然而,它在评估税收、财务和管理方面却很吃力,这可能是由于它在精算程序方面的弱点。
ChatGPT在判断题(68.7%的正确率)和选择题(59.5%)上表现良好,但在书面题(28.7%-39.1%)上表现较差。它经常在高阶问题上挣扎,有时会在权威文本中解释不正确的答案,或以不同的方式回答同一问题。
尽管有其局限性,研究人员期望GPT-4能改善会计并解决他们所发现的问题。最有希望的是,聊天机器人有可能加强教学和学习,比如帮助设计和测试作业和项目的草稿部分。
该研究的共同作者、比亚迪大学会计学教授梅丽莎-拉尔森说:“这有点颠覆性,我们需要评估我们要做什么。当然,我们仍然会有助教,但这将迫使我们以不同的方式使用他们。”
随着人工智能的不断发展,教育工作者必须适应并找到新的方法,将这些技术纳入他们的教学方法。