ChatGPT连科学家也能骗过了？

由美国西北大学牵头的一个团队利用 OpenAI所研发的文字产生软件，以一份真正的科研文章为基础，根据五种医学杂志的格式，产生50篇文章的概要。

4位研究人员被分成两个小组，每个小组都有两个人参与。该测试采用了一种电子投掷的方法，以确定将由人工智能产生的总结提交给每个小组的哪个评审人员。一个研究者得到了正确的总结，而另外一个则得到了错误的总结。每人审查了25份科研论文。

审核人员可以从 AI中找出68%的错误文摘，而86%则从真正的文章中提取出原文。也就是说，他们能够顺利地把32%的由 AI产生的文摘变成正确的文摘，而真正的文摘则变成了错误的文摘。

这项报告的第一作者卡瑟琳·高是西北大学肺部疾病专家兼博士，她表示，这项发现显示了“ChatGPT”非常有说服力。她在一项陈述中说：“我们的审核人员都很谨慎，因为他们知道他们的报告有一部分是伪造的。”

“实际上，我们审核人员仍然遗漏了32%的内容，说明这个总结确实不错。我想，即使是那些无意中读到的人，也未必会认出这是一个 AI。”

大的语言模式如 ChatGPT，利用从因特网获取的海量文字来进行培训。在学习之后，他们可以根据所给出的语句，判断哪个单词更容易产生，并产生正确的文法。难怪连学术人士都被欺骗了，认为由 AI产生的概要是正确的。

ChatGPT这种大型语言模型善于产生清晰的结构和图案，而科技的总结往往也会使用相似的形式，并且会比较含糊。

Gao说：“我们的评审人员指出，很难分辨出这些内容的真实性和真实性。ChatGPT产生的概要很有说服力，在计算数据的时候，连病人数量都是一清二楚的。”举例来说，一份有关高血压的虚假总结，包含了成千上万的受试者，相比之下，猴子痘苗的调查就没有那么多病人。

Gao相信，类似“ChatGPT”之类的手段会让那些依靠发表科研结果而盈利的造纸企业更加易于编造不实的科研报告。她还说，“如果有人在做这种错误的实验时，就会有很大的风险。

但是，利用这些方法还是很有用的。该报告的合作者是芝加哥大学的一名医学院的副教授亚历山德·皮尔森，她说，这些数据能够让那些不讲英语的人更好的书写和交流自己的作品。

在侦测计算机文字方面， AI要优于人。举例来说，一个自由GPT-2的输出者可以在50个以上的可信度范围内猜测33个。研究者们相信，他们所递交的报告应当经过检波器的检验，而科学家们也应当将其公之于众。

Gao对 Register说：“我们没有在编写自己的概要或者论文中采用 ChatGPT，这是由于在学术界尚无明确界限。举例来说，国际机器学习会议就制订了一条禁令，尽管他们也表示，这个问题还在进行中，并且明确表示，“修改或者修改”是可以的。

然而，也有很多组织用来帮助他们的创作，甚至有人将其列入了合作作者名单。我觉得可以利用 ChatGPT来帮助你写文章，并且清楚地标明 ChatGPT协助撰写的原稿。未来是否利用 LLM协助写作，这要看最后的科学意见了。”