内部员工发警告信，对OpenAI技术安全质疑加剧

人工智能技术加速爆发，技术伦理引发了从业者质疑。按照这些质疑，OpenAI需要放慢技术研发、商业变现的步伐。然而，OpenAI没有违反法律法规，这些质疑也被认为超前且奢侈

文｜徐文璞

编辑｜吴俊宇

美国西部时间6月4日，明星AI创业公司OpenAI、谷歌DeepMind的一批员工联合发布了一份名为《对先进人工智能发出警告》的公开信。

公开信预警，人工智能技术存在加剧不平等，操纵和误导信息，失去控制并威胁人类的风险。人工智能公司技术迭代的同时产生了大量安全相关的非公开信息，它们没有主动披露的动机。监管部门对此难以形成有效制约，只能由现任或前任员工要求它们向公众负责。

上述员工在公开信中对包括OpenAI在内的人工智能公司提出了四点呼吁：其一，不强迫员工签订禁止批评公司的协议；其二，为公司现任和前任员工提供匿名的安全反馈机制；其三，允许现任和前任员工向董事会、监管机构、其他安全机构提出对公司技术安全的担忧；其四，公司不对公开分享风险相关机密信息的现任和前任员工进行报复。

（来源：《对先进人工智能发出警告》的公开信）

这封公开信是对OpenAI强迫员工签署“不同意非贬低协议”以及安全团队核心员工接连离职的反应（详见《财经》5月25日文章《OpenAI再爆信任危机，安全团队核心人员离职》）。OpenAI的“不同意非贬低协议”，也被称为“封口协议”。它指的是禁止离职员工发表对公司负面言论，否则公司可以收回员工已有股权。离职员工也不得对外公开这些协议内容。

OpenA创立于2015年，是一家非营利性的研究组织。它的核心研究目标之一是AGI（具备与人类同等智能，或超越人类的人工智能）。2019年萨姆·奥尔特曼 (Sam Altman)成为公司CEO。由于缺少研究经费，奥尔特曼在当时改变了OpenAI的组织架构——在非营利公司下设置了有“利润上限”的可营利子公司。OpenAI的商业化因此加速。

OpenAI承诺要发展“安全且有益的AGI”。但一些安全团队成员认为，OpenAI技术研发、商业变现过于激进，与其初衷已经背道而驰。

随着人工智能加速爆发，OpenAI的技术伦理引发了从业者的质疑。如果遵循这些质疑，OpenAI应该放慢技术研发、商业变现的步伐，加大技术安全的投入。然而，另一派观点认为，OpenAI没有违反法律法规，企业数据安全、个人隐私安全的保护举措也相对完善。因此，对OpenAI提出更高的安全要求不合理。这些质疑超前且奢侈。

安全质疑不断

2024年4月以来，OpenAI多次被前员工公开指责对安全问题重视不够。

4月，OpenAI前员工爆料，该公司要求离职员工签署“不同意非贬低协议”——该协议禁止离职员工发表对公司的负面言论，否则公司可以收回员工价值数百万甚至上千万美元的已有股权。离职员工也不得公开这些协议内容。这引发了舆论风波，OpenAI受到广泛批评。

5月中旬，OpenAI的超对齐团队因为核心员工离职而被解散。超对齐团队核心成员之一简·雷克（Jan Leike）离职后在社交媒体上表示，“过去几年，OpenAI的安全文化和流程已让位于光鲜的产品”。5月OpenAI前董事会成员海伦·托纳（Helen Toner）和塔莎·麦考利（Tasha McCauley）联合撰文称，OpenAI的安全自治机制在巨大的利润诱惑下会失效。

“超对齐”指的是用技术引导、控制AI，让AI系统的行为与人类社会价值观、利益保持一致。2023年7月超对齐团队成立时，OpenAI认为超级智能将在十年内降临，超对齐团队计划用四年时间解决相关安全问题。按照OpenAI的原计划，公司20%的算力资源要用于这项工作。但公司并没有兑现承诺。这导致了安全专家的不满。他们认为公司激进推动AI技术，对安全问题不够重视。超对齐团队原本是OpenAI的三大安全部门之一。目前OpenAI内不再有专门的团队负责超对齐任务，相关职责由其他部门成员以松散的研究小组形式行使。

面对上述争议，奥尔特曼曾在5月19日公开回应公司正在改变相关不合理协议条款。他还重申了公司对技术安全的重视。5月22日OpenAI公布了正在实施的十大安全措施：模型测试与评估、持续的安全与对齐研究、监控模型滥用行为、模型全生命周期的安全措施、保护儿童、选举安全、影响评估和政策分析、隐私安全与访问控制、与政府合作、安全决策与董事会监督。

OpenAI还和谷歌、亚马逊、微软等16家公司做出自愿承诺，保证在开发最前沿的AI技术时注重安全。如果发现某些极端风险无法控制，它们会停止AI模型的开发。

5月28日，OpenAI宣布在董事会成立安全与保障委员会，计划用90天时间评估公司的安全流程。90天后，委员会的安全建议会逐步落地。但该委员会由包括奥尔特曼在内的3位领导人负责，10位成员中仅有两位外部安全专家。

一种声音认为，OpenAI技术全球领先，它很可能是第一家实现AGI的公司。因此不应该仅仅以商业公司的标准要求它，它应该从态度到行动都对安全问题更谨慎。

2015年成立之初，“非营利组织”的OpenAI曾明确安全优先的技术发展准则。2019年是OpenAI从非营利研究组织转向商业化公司的开端。那年萨姆·奥尔特曼 (Sam Altman)成为OpenAI首席执行官，他在公司非营利性主体下设置了有“利润上限”的营利子公司，并开始接受外部投资。

随着设置营利子公司，引入投资人，发布新产品，加速商业化，OpenAI非营利组织的性质在改变，它正在逐渐成为一家商业公司。

一位国内大模型厂商人士解释，OpenAI中的一派希望公司投入更多资源确保AI安全可控。他们提出的超对齐方案并非单一技术，而是一套系统工程。这需要从数据拣选、模型训练、参数调整、智能体监督等方面入手，会分散公司的算力、研发、人力资源。但奥尔特曼属于另一派，他希望优先发展先进的AI技术，兼顾技术安全。

一家中国人工智能基础软件供应商的创始人曾表示，OpenAI现在必须考虑商业化的问题。它只能将有限的资源用于提高产品和技术的竞争力，实现模型突破，才能给市场、投资者带来信心。安全问题成了OpenAI技术迭代和商业变现的阻碍。

商业化进程加速

2022年11月，OpenAI推出ChatGPT。两个月后，其用户突破一亿。经过一年多的探索，OpenAI的商业策略已经逐渐清晰——通过免费应用吸引客户，面向个人用户和协作团队收取会员费，面向机构客户提供API（接口）调用服务。目前，OpenAI在销售、财务、人力资源等企业场景已有落地案例。

2023年11月，OpenAI公布称，每周有1亿人使用ChatGPT。2024年4月，OpenAI披露，有超过60万用户注册使用ChatGPT企业版。

OpenAI虽然技术领先，但始终面临来自竞争对手的穷追猛打。2023年12月以来，谷歌、AI明星初创企业Anthropic和Mistral AI等接连升级大模型产品，OpenAI的技术优势正在缩小。其他知名AI创业公司也在不断获得融资。

2023年12月，媒体报道OpenAI在以超过1000亿美元的估值进行融资。但在2024年2月-4月，OpenAI与投资人谈判，以860亿美元估值回购员工股票。目前，OpenAI 最新融资信息仍未披露进展。

为了加速商业化，OpenAI组建了约200人的销售、技术团队。有媒体报道，OpenAI 2024年底收入将超过20亿美元，2025年营收将超过40亿美元。

但这与大模型技术研发、算力投入成本相比，仍是杯水车薪。此前微软已向OpenAI投资超过130亿美元。2024年3月底，媒体报道OpenAI与微软计划投资1000亿美元打造数据中心，以满足生成式AI技术发展对算力的要求。投资人愿意持续重金押注OpenAI的原因在于，它是本轮AI浪潮中的领军企业。只有保持产品技术的领先，它才对投资人有持续的吸引力。

OpenAI在2024年5月后加速了商业化进程。一个普遍的观点是，OpenAI的发展路径是，拓展更多用户，让公司获得更高的估值和融资，进而持续迭代产品技术，并率先实现AGI。

为进一步扩大用户群，OpenAI的产品开放策略更激进了。5月14日，OpenAI免费向所有人开放了有使用限制的新一代旗舰模型GPT-4o。还免费开放了搜索联网、文档上传与分析总结、数据分析、GPT商店等能力。此前OpenAI还取消了必须注册才能使用ChatGPT的限制。

为了获得优质训练数据，扫除公司大模型研发领域的合规障碍，2024年5月以来OpenAI接连宣布与社交论坛Riddet、新闻集团（旗下包括《华尔街日报》《纽约邮报》《泰晤士报》《太阳报》等媒体）、Vox传媒、《大西洋月刊》等内容平台达成合作协议。

OpenAI还在拓展合作伙伴生态。5月30日普华永道成为OpenAI最大企业客户和首个经销商。普华永道是四大会计师事务所之一，该公司内部已确定3000多个生成式AI的用例。

5月28日，OpenAI宣布已开始训练下一代旗舰模型，并预计这将离AGI技术更近一步。

责编｜张雨菲