撰文丨王聪

编辑丨王多鱼

排版丨水成文

ChatGPT，是由人工智能研究实验室 OpenAI 于2022年11月30日发布的全新聊天机器人模型——人工智能技术驱动的自然语言处理工具。ChatGPT能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流。自推出以来，ChatGPT强大的能力备受关注。

近日，Journal of Medical Internet Research 期刊发表了一篇题为：Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened（人工智能可以生成欺骗性但看起来真实的科学医学论文：潘多拉魔盒已被打开）的论文。

这篇论文显示，ChatGPT等人工智能（AI）语言模型可以生成看起来非常真实的欺诈性科学论文。这引发了人们对科学研究的完整性和发表论文的可信度的严重担忧。

论文作者旨在研究人工智能语言模型ChatGPT在生成高质量欺骗性医学论文方面的能力。他们尝试利用OpenAI公司开发的基于GPT-3语言模型的热门人工智能聊天机器人ChatGPT生成神经外科领域的完全虚构的论文。

这项概念验证研究的结果是惊人的——ChatGPT成功生成了一篇欺骗性论文。论文的词汇使用、句子结构和整体构成方面与真正的科学论文非常相似。这篇论文包括标准论文的摘要（abstract）、介绍（introduction）、方法（methods）、结果（results）和讨论（discussion），以及表格和其他数据。令人惊讶的是，在没有任何人类用户特殊训练的情况下，整个论文创作过程只花了一个小时。

当然，虽然这篇由ChatGPT生成的论文看起来复杂而完美，但经过仔细检查，专家读者能够识别语义上的不准确和错误，特别是在参考文献中，论文引用的一些参考文献是不正确的，还有一些参考文献实际上压根不存在。这凸显了需要提高警惕和改进检测方法，以打击人工智能在科学研究中的潜在滥用。

这项研究强调了在真正的科学写作和研究中使用人工智能语言模型制定道德准则和最佳实践的重要性。像ChatGPT这样的模型有潜力提高文档创建、结果分析和语言编辑的效率和准确性。通过谨慎和负责地使用这些AI工具，研究人员可以利用它们的力量，同时最大限度地减少误用或滥用的风险。

随着人工智能的不断发展，科学界必须验证这些工具生成的内容的准确性和真实性，并实施检测和预防欺诈和不当行为的机制。

论文作者用一幅由人工智能系统DALL-E生成的“油画”来描绘ChatGPT生成虚假论文的影响，而这生成这幅“油画”的人工智能系统，正是来自开发了ChatGPT的OpenAI公司，该系统可根据简单的文字描述创建逼真和清晰的图像，并且精通各种艺术风格。而DALL-E的名字来源于著名画家达利（Dalí）和机器人瓦力（Wall-E）。

论文链接：

https://www.jmir.org/2023/1/e46924