生成式AI——技术的“向善”到“为善”
今天，大家都在担忧生成式人工智能带来的风险，希望通过治理来避免这些风险。国内的治理探索目前体现在刚刚颁布的《生成式人工智能服务管理暂行办法》当中。与此同时，域外由企业主导的自律治理更加注重发挥技术本身的潜力。确保生成式人工智能向善很重要，生成式人工智能“为善”的潜力同样重要。结合价值对齐、共识生成和集体智能三个领域的进展，生成式人工智能本身就能帮助我们生成好的治理。以OpenAI为代表，全球学术界和产业界都在不懈地探索。未来，个人、企业和社会都有望从好治理的生成当中受益。
人工智能能够帮助生成好的治理
人工智能帮助生成好的治理不是像自动售货机一样，提出美好理想就立马吐出“商品”。这个过程需要设计，需要能够容纳“七嘴八舌”的观点。或者说，人工智能需要让一群观点可能非常不同的人聚在一起，每个人都可以接触和辩论更多的不同观点，每个人的观点也可以更多地反映到治理当中。价值对齐、共识生成和集体智能三个方向的研究进展，共同保障了这一愿景的可行性。
价值对齐的目的是让人工智能和人类价值实现对齐，而非背离。实现价值对齐之后，经过对齐的生成式人工智能就有潜力化身为人的“嘴替”。或者说，按照一个人的价值观去接触、归纳更多的观点，也带着这个人的价值观去和更多的观点辩论。价值对齐工作近一两年来有不少的进展：人工智能不仅能够更加准确地对齐人的价值，也能更好地顾及现实生活的各种不同的场景。[1]这是人工智能生成好治理的出发点：既让人更好地去倾听，也能让人更好地来表达。
共识生成是最近几个月引起比较多的关注的方向。简要来说，在大家接触和辩论观点以后，人工智能可以通过两种方式来帮助大家达成共识。第一种是从每个人的观点里，找出最有可能受到大多数人支持的观点。第二种方式里人工智能承担的角色更多一些，要根据每个人的辩论，来直接生成最有可能受到大多数人支持的观点。这个“中人”的角色，人工智能可以做得和人一样好。[2]
在价值对齐的基础上可以生成初步的共识。这些共识是否真的是大家的共识，这些共识又如何进一步转化为能够落地的治理方案，很多时候就是集体智能的研究方向。为了确保人工智能找到或者生成的观点确实来自人，保障人的参与和主体性，集体智能为此设定了规范的边界。为了让经常是比较抽象的共识变成可以落地的要点，集体智能为此将共识进一步“蒸馏”为是或否、怎么做的要点。[3]经过上述的过程，一开始非常庞杂的价值分歧，逐步转化为共同决策的治理方案。
OpenAI如何探索生成好的治理
人工智能帮助生成好的治理不止是理论上的想象，也不止是可行的实践，而是最近几个月以来正在发生的改变。OpenAI等人工智能的头部企业正在探索通过这个方式，生成好的人工智能治理，解决具体的治理问题。接下来就以OpenAI为例子，简要地描述和评析正在发生的改变。大致分为三个层面。首先描述目前的进度，其次前瞻后续的进展，最后再列举其他一些实例。
OpenAI正在推进一个“全球性的、雄心勃勃的”项目。[4]大概来说，这个项目希望通过透明的程序，来让一大群有代表性的个人交换观点、深入思辨，在此基础上集体决定人工智能治理的大问题。OpenAI还提供了一个浓缩其愿景的样例。样例想要解决的问题是：生成式人工智能个性化的限度应该在哪里？大量的个体在GPT-4的支持下，辩论了加以限制、加以提示等不同观点。最后达成了有限范围的共识：生成式人工智能的个性化标准应该有所差异，特别是对于儿童要有所差异。
OpenAI正在与各方合作填充这一项目的细节。许多细节要到今年年底之前才会完全展开。尽管如此，目前还是可以看到一些受到特别关注的要点。这许多的个体应该从哪里选择，组成如何？讨论从哪里开始，适用什么样的议事规范？生成式人工智能参与总结和辩论的具体方式如何，规范边界在哪里？这些细节上的问题，都需要通过价值对齐、共识生成和集体智能方面的研究来充实。
如何评价人工智能帮助生成的治理是否真是好的治理？OpenAI提出了八个指标。其中一些我们相对熟悉，好的治理需要有包容性和代表性。辩论过程中的内容要有适当的过滤机制，避免“有毒”的言论。好的治理得到的答案需要能够落地。其中还有一些，则是人工智能生成治理时需要评价的新指标。既包括地域和规模上的可扩展性，能够包括尽可能多的个体。也要在技术上简明易懂，不能用另一个“黑箱”治理“黑箱”。项目能否实现雄心，很重要的就是满足这些特性。
OpenAI的尝试不是孤例，而是一个更大的、国内外并行的探索潮流里的一部分。另外一些知名的人工智能初创企业，例如Anthropic也在推进类似的项目。通过将重要的伦理价值、用户协议和少数群体的视角融为一体，能够训练得到具备一定伦理判断能力的模型。基于这一模型，又可以为人工智能治理面临的法律和伦理“诘问”给出足够稳妥的答案。这些答案再成为下游生成式人工智能大模型强化训练的“人类反馈”的来源，模型也就具备了一定的判断力。这是更加彻底的意义上的生成。[5]国内也正在开始出现例如智善·如流等具备一定的伦理判断能力的模型。
人工智能将会生成越来越多的好治理
以上说明了人工智能能够生成好的治理，也介绍了正在发生的改变。立足个人、企业和社会的角度，可以预期未来人工智能将会生成越来越多的好治理。从个人的角度看，生成式人工智能带来了更多真切的参与。从企业的角度看，人工智能治理能够很自然地嵌入、甚至原生到技术发展当中。针对这一趋势当然也有一些批评，但这些批评都可以设法应对和解决。
先看个人的角度。之前让大家来参与治理的很大一部分困难，是知识和时间等方面上资源的门槛。生成式人工智能通过两种方式打破了这里的门槛。一是通过前面提到的“嘴替”。用简明易懂的方式，总结和展示让人许许多多不同的观点。二是同时充当搜索引擎，介绍治理议题上必要的背景知识。两种方式的共同作用不足以让人速成为治理的专家，但足以成为合格的参与者。当然，前提是观点的总结需要准确，知识的介绍不能出现“幻觉”。为此，需要充分应用技术领域的进展。
再看企业的角度。企业正在从很多角度出发，努力了解个人对治理问题的偏好。无论是企业开展用户研究，还是由用户或者治理专家组成委员会来参与，在视角和覆盖面上都存在局限。通过生成式人工智能将广泛的个人用户带入治理，在视角和覆盖面上都能有所扩展，实现和用户之间的“同频共振”。在这个意义上，企业得以和尽可能多的个人一起来解决最尖锐、最微妙的治理难题。由此，企业不再需要“孤独”地肩负各方都还只是“共同无知”、远没有标准答案的问题。
最后是社会的角度。随着个人参与治理的方式更加友好，企业也能“跑通”大家共同来解决问题的方案，众多需要由个人和企业来共同商谈、承担的社会责任问题，同样可以由这个路径出发去探索。当前头部企业对于人工智能帮助治理的关注，还是用于解决人工智能本身的治理问题，包括个性化的限度、人工智能是否提供情感支持、是否提供医学/财务/法律意见等问题。如果后续探索形成的方案确实有代表性、可落地、可扩展，除了人工智能治理以外的其他技术治理难题，同样可以使用这样的方案。在这个意义上，技术不再仅仅是“向善”，而是迈向更加自主地“为善”。
作者：同济大学法学院助理教授，上海人工智能社会治理协同创新中心助理研究员
[1] 例如，参见Konya, Andrew, et al. "Elicitation Inference Optimization for Multi-Principal-Agent Alignment." NeurIPS 2022 Foundation Models for Decision Making Workshop. (2022)和Rafailov, Rafael, et al. "Direct preference optimization: Your language model is secretly a reward model." arXiv preprint arXiv: 2305.18290 (2023).
[2] 例如，参见Bakker, Michiel, et al. "Fine-tuning language models to find agreement among humans with diverse preferences." Advances in Neural Information Processing Systems 35 (2022): 38176-38189和Ding, Shiyao, and Takayuki Ito. "Self-agreement: A framework for fine-tuning language models to find agreement among diverse opinions." arXiv preprint arXiv: 2305.11460 (2023).
[3] 一般地，参见Ovadya, Aviv. "'Generative CI' through collective response systems." arXiv preprint arXiv: 2302.00672 (2023).
[4] 参见OpenAI. "Democratic inputs to AI." (2023).
[5] 参见Bai, Yuntao, et al. "Constitutional ai: Harmlessness from ai feedback." arXiv preprint arXiv:2212.08073 (2022)和Anthropic. "Claude’s Constitution." (2023).
本文来自微信公众号“腾云”（ID:tenyun700），作者：朱悦，36氪经授权发布。