ChatGPT的议论文究竟写的怎么样？111位高中教师告诉你答案

大数据文摘授权转载自夕小瑶科技说

作者：小戏、Python

在 OpenAI GPT-4 发布时发布的《GPT-4 Technical Report》中，其中很吸引人眼球的一部分是 GPT-4 应用于教育领域的出色表现，通过让 GPT-4 去完成美国的 AP 课程及考试，来评估 GPT-4 在多个学科中的性能。如下图所示，GPT-4 在大量课程中都取得了令人印象深刻的成绩，并且在一些 GPT-3.5 表现不佳的课程，如化学、宏观经济、物理与统计学中都获得了极大的提升。

但是如果细看上面这张图，可以发现，GPT-4 在 AP 英国文学中表现不尽如人意，对于一个学习了大量语料知识的语言模型，这一点可能会让人感到费解。当然这里存在一个评估问题，对于自由写作的文本而言，OpenAI 并没有公布它们的评估标准，如果缺少这种细化的评估标准，很难直接得到一个 GPT-4 不擅长英国文学题的结论。

由此，立足于教育的领域，来自德国帕绍大学的研究者们组织了一次细致的评估工作，其主题在于“大模型可以写好议论文（Argumentative Essays）吗？”，通过构建一个基于内容和语言掌握程度的细致的文章质量评分标准，聘请了 111 位一线的高中教师对大模型生成的问题进行评分，这篇论文发现，大模型在作者构建的评分标准中，得分普遍高于德国高中生写作的议论文，但是另一方面，人类的写作与 AI 的写作在风格上存在显著的差异，人类倾向于在议论文中更多的表达自己的态度与认知结构，而 AI 则更多的使用高级的、复杂的、更“科学”的语言（名词化的结构）去进行论证。而在风格多样性方面，从GPT-4 到 GPT-3.5 迈出了一大步，GPT-3.5 的语言多样性仍然显著低于人类，但是 GPT-4 的语言丰富度已经开始显著高于人类。

论文题目：

AI, write an essay for me: A large-scale comparisonof human-written versus ChatGPT-generated essays

论文链接：

https://arxiv.org/pdf/2304.14276.pdf

如果带着问题出发，这篇论文核心主要是希望解决三个方面的问题，分别是：

基于 GPT-3.5 和 GPT-4 的大模型在撰写议论文方面表现如何？

大模型生成的文章与人类撰写的文章相比如何？

大模型写作相较于人类突出的语言特征是什么？

带着这三个问题，论文设计并实施了一套完整的评估流程。首先，论文作者从一个议论文语料库（essayforum）中选取主题，essayforum 是一个拥有大量高中生用户的活跃的文本写作社区，许多非母语的高中生经常去此社区去获得对自己作文文章的反馈。essayforum 包含有 90 个主题的文章，主题范围从“学生应该被教育去竞争还是合作？”到“报纸在未来会被取代吗？”等等，每个主题都会有一个由人类撰写的文章被上传并在论坛内进行讨论，这些文章平均约 19 个句子，接近 400 余个单词。通过设定不同的主题，论文作者设置了“在【主题】上写一篇大约200字的文章”的 Prompt 输入 GPT-3.5 与 GPT-4。

在获得了 AI 的写作文章后，论文作者又组织了针对评分者（高中老师）的关于 ChatGPT 基础知识的培训讲座，参与老师的主要所在学科包括语言（英语，法语和德语），宗教，伦理和科学等等。在两个小时的讲座与四十五分钟的讨论后，参与教师收到了关于文章评分的问卷，这份问卷包含了文章评估相关的七个评估标准，分别是：

主题完整性

逻辑

表达

语言掌握程度

深度（复杂度）

流畅程度

语言结构

具体量表如下图所示，每类指标需要专家进行打分，分值从0-6，0 分最低，6 分最高。每位参与者都会被展示六篇随机选择的文章，在评估完成后，结果将提交到系统中供论文作者统计。

而进一步的，为了将 AI 生成的文章与学生写作的文章进行对比，论文考虑了词汇多样性、句法复杂性、名词化、情态动词、认知标记与话语标记六类语言特征，使用计算语言学的方法对这六类特征进行统计处理。其中词汇多样性方面，论文使用文本词汇多样性度量（MTLD）确定词汇丰富程度，在句法复杂性方面，论文度量句子依存树的最大深度与从属从句结构来评估句子复杂性，在名词化方面，论文统计了具有诸如“-ion”，“-ment”，“-ance”和其他一些已知将动词转化为名词的后缀词的出现次数，在情态动词与认知标记方面，论文都采用了词性标注的方法进行识别，以统计如“我认为”，人们认为”，“在我看来”这类认知标记的出现频次。而在话语标方面，论文采用了 PDTB 的话语标记序列对如如“like”、“for”、“in”等话语标记词进行统计。

最终，整体文章评分的分值如上图所示，几乎对于所有的评价指标，都是学生撰写的文章评分最低，GPT-3.5 居中，GPT-4 评分最高，上图右侧的小提琴图可以带来更加直观的展示。

而分析计算语言学层面统计的各个指标，如上图所示，可以发现人类撰写的文章与 ChatGPT 撰写的文章差异显著，一方面，当涉及到文章的表达能力和复杂性时，人类和大模型之间的差异最小。另一方面，语言掌握能力差异显著大于其他所有的差异（这一点结合写作文章的主要来自非母语高中生似乎表明差异主要来源于语言本身的熟练程度上），并且另一点显著的差异在于 AI 更多的使用名词化构成更加复杂的句子，而人类则更加趋向于使用情态动词与认知标记，并且人类词汇的多样性要高于 GPT-3.5 但低于 GPT-4。

除了模型与学生写作之间的对比外，模型与模型之间的对比也能揭示一点模型的进步方向，如虽然 GPT-4 在几乎所有指标上的平均值都大于 GPT-3.5，但只有逻辑、词汇、文本链接与复杂度中差异是显著的，即 GPT-4 对 GPT-3.5 真正的提升主要来源于这四个方面。

某种程度上，这篇文章证明了人们关于 AI 在教育应用中的许多担心并非无的放矢，AI 可以高质量的完成议论文的写作预示了未来一个根本性的改变“我们或许要重新定义‘作业’这种东西了”，换言之是去思考当我们希望学生去练习自己的写作时，到底是希望他/她通过完成这样一篇文章（譬如国内的高考作文题）而获得什么样的能力，而并不是简单的对网格纸上的文字一扫而过给出一个四五十分的作文分数。

事实上，GPT-4 的作文能力对语言的教学的意义有点类似于计算器的出现对数学教学的意义，对教育工作者而言，GPT-4 的出现应当使得老师与作为这些模型使用者的学生一道去反思课程教学的本质以及何时去恰当的使用这些工具，AI 可以完成课程作业事实上与课程的教学目标本身并不冲突，尽管在短期内教学的目标可能需要被迫的进行调整，比如之前多所高校禁止使用 ChatGPT 的新闻。但是就好比计算不是数学的本质一样，议论文必然也不是写作的本质，写作能力的训练与写作工具的使用并不冲突，真正需要改变的，从来应当是教育理念与教育方式。