当前位置:首页|资讯|OpenAI|大语言模型

网站可以阻止OpenAI网络爬虫 避免数据用于训练 GPT 模型

作者:站长之家发布时间:2023-08-08

原标题:网站可以阻止OpenAI网络爬虫 避免数据用于训练 GPT 模型

本文概要:

1. OpenAI 现允许网站屏蔽其网络爬虫,以防止其抓取网站内容训练 GPT 模型的。

2. 阻止 GPTBot 可能是 OpenAI 允许互联网用户选择不让其数据用于训练其大型语言模型的第一步。

3. 在获取用于训练 AI 的数据方面存在争议,一些网站和作者提出限制 AI 公司使用其内容的要求。

站长之家(ChinaZ.com)8月8日 消息:OpenAI 现在允许网站屏蔽其网络爬虫,以帮助网站运营商防止其内容被用于训练 GPT 模型。

具体来说,网站可以通过在其 Robots.txt 文件中明确禁止 GPTBot 爬虫程序的出现,或者阻止其 IP 地址来实现屏蔽。

OpenAI 表示,通过使用 GPTBot 抓取的网页可能会用于改进未来的模型,但也会进行过滤以删除需要付费访问、包含个人身份信息或违反政策的内容来源。

阻止 GPTBot 可能是 OpenAI 允许互联网用户选择不让其数据用于训练大型语言模型的第一步。之前有一些尝试创建标记来排除训练内容的举措,例如去年 DeviantArt 提出的 "NoAI" 标签。然而,阻止 GPTBot 并不会从 ChatGPT 的训练数据中删除之前从网站上抓取的内容。

获取用于 AI 训练的数据已经成为一个越来越具有争议的问题。一些网站,包括 Reddit 和 Twitter,一直在努力限制 AI 公司对用户发布内容的免费使用,同时一些作者和创作人也因涉嫌未经授权使用其作品而提起诉讼。议员们在上个月的几次 AI 监管听证会上也关注了数据隐私和同意问题。

在获取数据方面,OpenAI 并未确认是否通过社交媒体帖子、受版权保护的作品或者互联网的哪些部分来获取数据。

据Axios报道,一些公司,如 Adobe,提出了通过反冒充法律来标记数据为不可用于训练的想法。包括 OpenAI在与白宫签署的协议中同意开发一种水印系统,以让人们知道某个内容是否由 AI 生成,但并未承诺停止使用互联网数据进行训练。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1