OpenAI“超级对齐”团队解散 盈利与安全如何平衡

[ 为应对人工智能的伦理和挑战，目前全球监管机构都在针对由ChatGPT引爆的生成式AI设立监管标准，其中欧盟议会已经批准了首个全面的人工智能法案，而中国也已经发布了《生成式人工智能服务管理办法（征求意见稿）》。 ]

[ AI大模型带来的安全问题正在发生。中国科学院院士何积丰公开表示，大模型当前面临的安全问题主要涵盖两方面，分别是隐私保护和价值观对齐两大难题。 ]

OpenAI内部不同阵营对AI的安全性分歧正在逐步暴露。

在OpenAI宣布向公众免费提供迄今为止最强大的人工智能模型GPT-4o后，OpenAI首席科学家苏茨克维尔（Ilya Sutskever）及“超级对齐”团队负责人Jan Leike于上周相继宣布辞职，理由是不认可OpenAI领导层的“核心优先事项”，且近几个月来，团队“资源不足”，完成研究变得越来越困难。

“建造比人类更聪明的机器本质上是一项危险的工作，但在过去的几年里，安全文化和流程已经让位于闪亮的产品。”Leike在社交平台X上写道。“对齐”或“超级对齐”是人工智能领域中使用的术语，指训练人工智能系统在人类需求和优先事项范围内运行的工作。

在Leike辞职前，苏茨克维尔已经宣布离职，这也宣告OpenAI的“对齐”团队正式解散。OpenAI表示，团队成员将被整合进其他研究小组，以更好地帮助OpenAI实现其超级对齐目标。

构建AI本质上是一项“危险工作”

去年11月，OpenAI上演“宫斗剧”时，就曾传出罢免CEO奥尔特曼（Sam Altman）的人正是苏茨克维尔。

当时双方的矛盾在于，以奥尔特曼为代表的一群“激进派”人士认为人工智能的快速发展，尤其是公共部署对于AI的压力测试和完善技术至关重要；而以苏茨克维尔为代表的另一方则认为，最安全的前进道路是先在实验室里全面开发和测试人工智能，以确保它对人类来说是安全的。

这样的争论在自动驾驶诞生时已经存在。人们究竟应该让自动驾驶在密集的城市道路上释放能力，以便充分掌握自动驾驶汽车的功能和缺陷，还是应该谨慎测试自动驾驶汽车，以防范不可知风险，这一分歧至今尚无答案。

苏茨克维尔曾被奥尔特曼称为“世界上最受尊敬的研究人员之一”。特斯拉CEO马斯克评价苏茨克维尔，说他是一个正直的人，而且心地善良。

苏茨克维尔不像奥尔特曼有那么高的曝光率，他更内向，沉浸在自己的世界里。他说自己的生活很简单，除了工作几乎很少干别的，不是待在家里就是在办公室。

英伟达创始人兼CEO黄仁勋也与苏茨克维尔认识有十年之久。他称，苏茨克维尔十几年前经常开车从多伦多越过边境到纽约去买一种叫作GTX 580的GPU芯片，英伟达有严格的政策，每人只能买一块，但不知为何苏茨克维尔获得了一个后备厢的芯片。“他用装满了GPU的后备厢改变了世界。”黄仁勋表示。

但苏茨克维尔谦虚地表示：“我想只要取得哪怕一点点的真正进步，我就会认为这是成功的。”

寻求阻止“超级智能”失控的方法

在OpenAI，苏茨克维尔称他的优先事项不是“构建下一个GPT版本”，而是找出如何阻止超级人工智能“失控”的方法。他认为，ChatGPT可能是有“意识”的。他认为，世界需要认识到这种技术的真正力量，因为有一天，一些人类可能会选择与机器融合。

这些看似疯狂的话，现在听起来并不像一两年前那么疯狂。ChatGPT已经改变了很多人对即将发生的事情的期望，将“永远不会发生”变成“会比你想象的更快发生”。

苏茨克维尔师从人工智能“教父”、计算机科学家杰弗里·辛顿（Geoffrey Hinton）。辛顿是图灵奖得主，他在过去的十多年里帮助谷歌开发AI技术。

2012年，苏茨克维尔与辛顿等人构建了一个名为AlexNet的神经网络，他们训练该网络来识别照片中的物体，其效果远远好于当时的任何其他软件，甚至超过人类。这项研究被视为“深度学习的大爆炸时刻”。

后来，谷歌收购了辛顿的公司DNNresearch，苏茨克维尔与辛顿一同加入谷歌。一年多后，苏茨克维尔离开谷歌，与奥尔特曼一起创立了OpenAI。

辛顿去年也离开谷歌，转而成为AI技术的“吹哨人”，抛出“AI末日言论”的观点。他担心人工智能技术的“未来版本”会对人类构成威胁，因为“它们经常从分析的大量数据中学习到意想不到的行为”。例如，AI系统被允许不仅可以生成自己的计算机代码，而且实际上还可以自己运行该代码，这就会变得非常可怕。

在谈到关于“超级智能”时，苏茨克维尔认为，具备超级智能的通用人工智能（AGI）可能会变得无法控制，从而导致灾难。这也是关注“有效利他主义”社会运动的科技工作者的担忧，他们认为，人工智能的进步应该造福人类。

在苏茨克维尔看来，AGI可以帮助人类做很多令人感到不可思议的事情，比如自动化医疗保健，成本可以便宜到千分之一，效果可以提升一千倍。他认为，“超级人工智能”会更深入地看待事物，会看到人类看不到的东西，但人类并不确定这到底意味着什么。

为了让人工智能模型做人类希望它完成的事情，苏茨克维尔与OpenAI的科学家Jan Leike等人领导团队，致力于人工智能的“超级对齐”，目标是提出一套用于构建和控制这种未来技术故障的安全程序。Leike与苏茨克维尔一起辞职，并称“OpenAI将闪耀的产品置于安全性之上”。

盈利和安全风险如何平衡

大部分人工智能科学家认为，AI大模型尚未对人类产生即刻的风险，但人类必须从现在开始就要做好准备。谷歌首席科学家杰夫·迪恩（Jeff Dean）就表示：“不仅要关注大型语言模型的潜在机遇，还要关注其风险和缺点，这一点非常重要。”

牛津大学互联网研究院（OII）互联网研究教授、贝利奥尔学院研究员威廉·达顿（William Dutton）接受第一财经专访时表示：“关于人工智能潜在风险的炒作非常多，但人们必须搞清楚到底何为风险、何为机会。这意味着我们需要更多的国际协同来了解人们对AI的想法。”

贝恩公司全球总裁曼尼·马瑟达（Manny Maceda）近日在复旦管理学院管理大师论坛上表示：“新的经济模式正在出现，凸显了监管和政策协调的重要性，以确保技术能够被安全、负责任地部署，从而造福社会。”

他认为，无论是什么领域的企业，想要用好生成式人工智能技术并从中受益，需要进行两手抓：一方面，要确定用例的优先顺序，企业要充分考虑实施的复杂性和成本以及潜在影响；另一方面，企业要注重安全、隐私和知识产权。

清华大学国强教授、智能产业研究院首席研究员聂再清对记者表示：“感觉大模型技术的发展比想象中快，现阶段AI没有对人类造成即刻威胁，但确实需要更多关注如何保证机器能够一直服务于人，而不会反过来被坏人利用。”

聂再清表示，相关工作和讨论应该关注大模型安全机制设计，同时关注如何在资本和商业化过程中确保这些安全机制的执行。“学界和工业界都需要开始投入部分精力到相应的工作中，最后达成某种共识和有效的方式。”他说道，“底线是确保大模型服务于人类。但他同时强调，在设计好AI的安全机制之后，继续开发AI的能力还是非常重要的。

为应对人工智能的伦理和挑战，目前全球监管机构都在针对由ChatGPT引爆的生成式AI设立监管标准，其中欧盟议会已经批准了首个全面的人工智能法案，而中国也已经发布了《生成式人工智能服务管理办法（征求意见稿）》。

上海交通大学行业研究院“人工智能+”行业团队负责人史占中教授对第一财经记者表示：“生成式AI的安全性和伦理规范值得高度关注，需要建立和完善监管制度。如果相关监管制度逐步跟上，相信生成式AI会造福更多人类。”

史占中认为，从政府的层面来讲，要加快AI相关领域的立法，特别在金融、安全、健康等领域严格监管，厘清AI的设计者、使用者、内容生成者的权责关系，完善AI决策的问责机制，保护大众合法权益；而从社会层面来讲，应加强AI技术的监管，推进AI研发者遵守伦理准则与规范AI的发展。

隐私保护问题正在发生

AI大模型带来的安全问题正在发生。

中国科学院院士何积丰公开表示，大模型当前面临的安全问题主要涵盖两方面，分别是隐私保护和价值观对齐两大难题。

亚信安全高级副总裁陈奋表示，AGI工具将黑客生成新威胁的时间由之前的“数个月”缩减至几小时甚至几分钟；同时，攻击者开始利用大模型迅速发现软件与服务中存在的漏洞；通过人脸深度伪造来实施网络诈骗犯罪的案例也越来越多。更严重地，攻击者的目标正由传统的数字资产转向AI算力基础设施和大模型。

“在安全监测中，短短一年时间，针对大模型的攻击手段已涌现出数十种不同的类型。”陈奋表示，攻击者的步伐总是快防御者一步，他们可以快速通过AGI工具生成病毒代码，挖掘漏洞。未来防御检测需要由AI原生驱动，也许现在没有做到百分之百，但会尽力实现全面集成。

大模型时代的安全攻击目标范围也相应发生了变化，攻击者已经在慢慢增加或转移攻击目标，如攻击AI算力基础设施，2024年便有一处美国几千万算力集群被黑客攻击，攻破之后算力被用来挖掘比特币。同时，可能受攻击的群体也包括了家庭个人用户，从传统个人桌面、手机逐渐演化到智能家居、智能汽车，甚至未来每个家庭都有一个人工智能，这些人工智能该如何进行保护，也是需要提前防护的范围。

对于AI伦理，陈奋对记者表示，AI safety更多是大模型算法公司，以及产业界共同努力的成果，不是单靠一家公司能够实现的。对该领域更多是技术发展规范的思考，对技术底层的要求，而不是单一商业化的事情。

不论是AI技术防护还是AI伦理问题，都需要产业链上下游的共同努力。亚信安全高级副总裁兼CDO吴湘宁对记者表示，大模型产业链非常长，最终落地过程中会发现有更多企业参与进来，尤其是以大模型为基础的周边业态会更加丰富。真正做大模型的主要集中在几个头部，但整个利用大模型的企业或行业会越来越多，这就对整个AI安全生态提出新的要求，仅把大模型安全做得好没有用。

但在当下的节点，建立全产业链针对AI安全的联盟组织在吴湘宁看来难度有点大，行业目前也暂时没有想清楚究竟该如何落地，各个位置均有自身的落地思路与探索过程，但参与方会尽力参与相关标准的制定规划。