OpenAI 成立团队准备应对人工智能的"灾难性风险"，如生物和核威胁
OpenAI 成立团队准备应对人工智能的"灾难性风险"，如生物和核威胁
文｜Britney Nguyen
事件概要
OpenAI周四表示，它正在组建一个名为“做好准备” （Preparedness）的团队，以监督和评估它所谓的“前沿人工智能模型”的发展——它将其归类为具有潜在危险性的高性能模型，以防范网络安全和核威胁等类别的“灾难性风险”。
OpenAI 团队将监督和评估高功能人工智能模型的开发。图片来源：NURPHOTO VIA GETTY IMAGES
关键事实
该团队是OpenAI的一部分，将负责监控该公司的人工智能模型，以确保它们符合该公司承诺的安全准则。
该公司在一篇博客文章中列举了一些风险的例子，例如人工智能模型可能会通过语言说服人类用户，并自主完成任务。
该公司还希望防范一些人工智能专家所说的“灭绝”级威胁，如大流行病和核战争。
“做好准备”团队将由亚历山大·马德里(Aleksander Madry)领导，他是麻省理工学院可部署机器学习中心（Center for Deployable Machine Learning）的主任，但现在正休假在OpenAI工作。
该团队的另一项任务是创建和维护所谓的 "风险知情开发政策"，该政策将概述公司应如何处理人工智能模型在发展和接近 "通用人工智能"（或接近人类的智识水平）时带来的风险。
OpenAI还举办了一项挑战赛，让公司外部的人士就人工智能可能被如何滥用并在现实世界造成危害的方式提出想法。
关键背景
今年5月，包括首席执行官山姆·阿尔特曼(Sam Altman)、首席科学家伊利亚·苏斯克维尔(Ilya Sutskever)和首席技术官米拉·穆拉蒂(Mira Murati)在内的OpenAI领导人与其他人工智能专家一起签署了一封公开信，呼吁优先解决先进人工智能模型的风险问题。今年3月，包括埃隆·马斯克(Elon Musk)在内的众多人工智能专家和科技高管也发表了一封联名信，对人工智能的快速发展提出了质疑，并呼吁暂停这项技术的开发6个月。阿尔特曼此前在3月份接受美国广播公司新闻采访时表示，他“特别担心”先进的人工智能模型“可能被用于大规模的虚假信息制造”，但他重申了自己的信念，即开发这项技术对人类很重要。自去年11月发布以来，OpenAI的聊天机器人ChatGPT因其通过考试和撰写论文的能力而席卷全球，但它和其他类似的聊天机器人一样，也曾传播错误的信息和进行奇怪的对话。
译自https://www.forbes.com/sites/britneynguyen/2023/10/26/openai-launching-team-preparing-for-ais-catastrophic-risks-like-biological-and-nuclear-threats/?sh=292deb197638