准确率仅有26％？OpenAI发布AI检测器，可检测文本是否由ChatGPT生成

最近，OpenAI 发布了一款工具，可以检测一段文本是否是由其人工智能系统 ChatGPT 生产的。但是，如果你认为这样就可以高枕无忧，恐怕现实会让你失望了。

一些教育工作者、记者和创作者认为，在没有任何方法来检测 ChatGPT 产生的文字的情况下，OpenAI 仍选择将其发布是欠考虑的。因此，OpenAI 发布了这款工具作为回应。然而，这仍然是一项正在进行中的工作，而且它是非常不可靠的。OpenAI 表示，其人工智能文本检测器的准确识别率仅有 26%。

虽然 OpenAI 在改进工具方面还有很多的工作要做，但它能做的其实很有限。想要做出一个能以 100% 准确率发现人工智能生成文本的工具，几乎是不可能的。

加拿大英属哥伦比亚大学研究自然语言处理和机器学习的穆罕默德·阿卜杜勒-马吉德（Muhammad Abdul-Mageed）教授表示，检测人工智能生成的文本真的很难，因为人工智能语言模型追求的就是生成流畅和类人化的文本，模型就是在模仿人类创建的文本。

阿卜杜勒-马吉德补充说，我们正在进行一场军备竞赛，以建立能够与最新、最强大的模型相抗衡的检测方法。新的人工智能语言模型更强大，更擅长生成流畅的语言，这很快就会使我们现有的检测工具过时。

（来源：STEPHANIE ARNETT/MITTR）

OpenAI 通过创建一个类似于 ChatGPT 的全新人工智能语言模型来构建它的检测器，该模型被训练得可以检测像它自己这样的语言模型所输出的文本。尽管披露的技术细节很少，但该公司显然会用人工智能生成的文本和人类写出来的文本来训练该模型，然后要求它分辨哪些文本是人工智能生成的。我们希望获得更多信息，但 OpenAI 没有回应。

上个月，我写了另一种检测由人工智能生成的文本的方法：水印。这些水印信号存在于人工智能产生的文本中，可以被当作一种秘密信号，允许计算机程序检测到它。

马里兰大学的研究人员开发了一种巧妙的方法，将水印应用到人工智能语言模型生成的文本中，他们已将相关技术免费开放。这些水印可以让我们几乎完全确定地指出哪些文本是人工智能生成。

问题是，这种方法要求人工智能公司从一开始就在其聊天机器人中嵌入水印。OpenAI 正在开发类似的系统，但还没有任何产品中加入它们。其中一个原因可能是，为人工智能生成的文本加上水印，并不是一个完美的方法。

最有可能用到 ChatGPT 的一个产品是电子邮箱，它可以作为一种帮助人们撰写电子邮件的工具，或者作为一个更好用的拼写检查器。这种用途没什么问题，但对所有人工智能生成的文本加入水印并进行相关检测，则会自动标记这些文字内容，并可能导致错误的或有误导性的指控。

OpenAI 推出的人工智能文本检测器只是众多工具中的一个，在未来，我们可能不得不使用一系列工具来识别人工智能生成的文本。

另一个名为 GPTZero 的新工具测量了文本段落的随机程度。人工智能生成的文本倾向于使用更多相同的单词，而人类写出来的文字有更多的变化。阿卜杜勒-马吉德说，与医生的诊断一样，在使用人工智能检测工具时，使用两种甚至三种工具是个好主意。

ChatGPT 带来的最大变化，可能是我们评估书面文本的方式的转变。人工智能初创公司 Lightning AI 的人工智能研究员塞巴斯蒂安·拉奇卡（Sebastian Raschka）表示，在未来也许学生不会再从零开始写东西，而将重点放在提出原创的想法。当人工智能系统的“想法“耗尽时，ChatGPT 生成的论文和文本最终会变得极其相似，因为它受到其代码和训练集中数据的限制。

拉奇卡说：“写出语法正确的文本变得更容易了，但原创性不会变得容易。”

支持：Ren

原文：

https://www.technologyreview.com/2023/02/07/1067928/why-detecting-ai-generated-text-is-so-difficult-and-what-to-do-about-it/