堪萨斯大学的科学家周三发表了一篇论文,详细介绍了一种算法ChatGPT spotter,他们说这种算法可以检测来自 ChatGPT 的学术写作,准确率超过99%。
随着 AI 聊天机器人的内容开始充斥世界,最大的担忧之一是能否可靠地发现机器人和真人之间的差异。已经有一些尝试构建ChatGPT 检测器,并且有数十家公司正在竞相构建 AI识别技术。但到目前为止,没有一个项目是比较可靠的,即使是OpenAI构建的项目,也无法做到。现有的工具非常低效,以至于它们基本上毫无用处。
论文中描述的 ChatGPT spotter仅适用于特定环境,研究人员表示他们已经确定了人工智能写作的迹象。该研究选择了一组64篇由人类作者撰写的科学研究文章,涵盖从生物学到物理学的各个学科。他们将该数据提供给 ChatGPT,并用它来生成包含128篇 AI 文章的数据集,其中总共有1,276段聊天机器人废话。科学家们使用这些伪造的段落来构建他们的 ChatGPT 检测算法。然后他们整理了一个新的数据集来测试他们的算法,其中包含30篇真实文章和60篇 ChatGPT 撰写的文章,共计1,210段。
研究人员声称他们的算法在100%的时间内检测到ChatGPT撰写的整篇文章。虽然不太准确,但算法发现了92%的AI段落。研究人员希望其他人能利用他们的工作来根据自己的行业和用途定制检测软件。