OpenAI和Anthropic同意让美国人工智能安全研究所率先测试和评估新模型

鞭牛士报道，8月30日消息，据外电报道，随着业界对人工智能的安全性和道德问题的担忧日益加深，两家估值最高的人工智能初创公司 OpenAI 和 Anthropic 已同意让美国人工智能安全研究所测试他们的新模型，然后再向公众发布。

该研究所隶属于美国商务部国家标准与技术研究所（NIST），它在一份新闻稿中表示，它将在各公司的主要新模型公开发布之前和之后获得这些模型的使用权。

该组织是在拜登-哈里斯政府于2023年10月发布美国政府史上首个有关 人工智能的行政命令后成立的，该命令要求对人工智能的安全进行新的评估、公平和民权指导，并对人工智能对劳动力市场的影响进行研究。

OpenAI 首席执行官 Sam Altman 在 X 上的一篇文章中写道：我们很高兴与美国人工智能安全研究所达成协议，对我们未来的模型进行预发布测试。

OpenAI 周四还向 CNBC 证实，在过去一年里，该公司的每周活跃用户数量从去年年底翻了一番，达到 2 亿。Axios是第一个报道这一数字的媒体。

此前一天，有报道称 OpenAI 正在洽谈一轮融资，估值超过1000 亿美元。据一位不愿透露姓名的知情人士透露，Thrive Capital 将领投此轮融资，投资金额将达 10 亿美元。

Anthropic 由前 OpenAI 研究高管和员工创立，最近估值为 184 亿美元。Anthropic 拥有亚马逊作为主要投资者，而 OpenAI 则得到微软的大力支持。

根据周四发布的消息，政府、OpenAI 和 Anthropic 之间的协议将促进就如何评估能力和安全风险以及如何减轻这些风险进行合作研究。

OpenAI 首席战略官 Jason Kwon 在一份声明中告诉 CNBC 称，我们坚决支持美国人工智能安全研究所的使命，并期待共同努力，为人工智能模型提供安全最佳实践和标准。

Anthropic 联合创始人杰克·克拉克 (Jack Clark) 表示，该公司与美国人工智能安全研究所的合作利用了他们广泛的专业知识，在广泛部署之前对我们的模型进行严格测试”并“增强了我们识别和减轻风险的能力，推动了负责任的人工智能发展。

许多人工智能开发者和研究人员对日益盈利的人工智能行业的安全和道德 问题表示担忧。

OpenAI 现任和前任员工于 6 月 4 日发表了一封公开信 ，描述了人工智能快速发展以及缺乏监督和举报人保护的潜在问题。

他们写道：人工智能公司有强烈的经济动机来避免有效监管，我们认为定制的公司治理结构不足以改变这一现状。

「他们补充说，人工智能公司“目前只有很弱的义务与政府分享部分信息，而与民间社会则没有任何义务」，而且不能「指望它们自愿分享这些信息」。

这封信发布几天后，一位知情人士向 CNBC 证实，美国联邦贸易委员会和司法部将对 OpenAI、微软和 Nvidia展开反垄断调查。

联邦贸易委员会主席 Lina Khan 将其机构的行动描述为对人工智能开发商和主要云服务提供商之间正在形成的投资和合作关系的市场调查。

周三，加州立法者通过了一项备受关注的人工智能安全法案，并将其送至加州州长加文·纽瑟姆的办公桌上。

纽瑟姆是一名民主党人，他将在 9 月 30 日之前决定否决该法案或将其签署成为法律。该法案将强制要求对具有一定成本或计算能力的人工智能模型进行安全测试和其他保障措施，但一些科技公司认为该法案可能会阻碍创新，因此提出了异议。