对话腾讯研究院袁晓辉：AI可能产生自我复制能力，应重新审视人类跟AI之间的关系

7月6日，2024世界人工智能大会（WAIC）暨人工智能全球治理高级别会议闭幕。截至6日下午2点，大会线下参观人数突破30万人次，全网流量突破19亿，均创历史新高。

亮眼的数据反映出企业、大众对人工智能（AI）相关技术落地应用的超高期待，基于AI构建的未来已来。在此节点上，AI安全与治理成了与AI性能、AI应用等同样重要的议题。

大会期间，九派财经腾讯研究院资深专家、创新研究中心主任袁晓辉就AI风险和治理问题进行了简短交流。她告诉记者，人机价值对齐的理论还在向前推进。一方面，这需要各个国家、各类主体之间去拉通，另一方面，还要思考如何把这些底层原则和大模型技术结合起来。

以下是九派财经和袁晓辉的对话内容：

九派财经：随着越来越多的AI大模型技术应用落地，有哪些已经存在或可以预见的风险？

袁晓辉：现在AI大模型技术的发展和演进速度非常快，但这一次技术变革和以往技术变革的区别在于，它依赖于Scaling　Law（尺度定律），依靠算力和数据的提升，模型表现会有非常大的提升。在这个背景下，技术带来的风险也比较大。

一方面，从近期来看，存在利用AI生成虚假信息或是深度伪造的风险；另一方面，它也有算法偏见、隐私侵犯等问题。这是我们这次在《2024大模型十大趋势报告》里提到的第十条——人机对齐的一部分。

九派财经：算法偏见是如何产生的？

袁晓辉：用来训练大模型的语料库量级非常大，又主要来自于互联网。而我们的互联网，或者说人类社会本身就存在很多偏见。

在做数据清洗和整理的过程中，没办法对这些信息一一进行清洗和校对，语料库中仍然会有色情、暴力、歧视信息的存在，大模型用这些语料去做训练时就会产生算法歧视，甚至生成有害内容。别有用心的人通过模型对抗攻击的方式，也可以诱导大模型生成不被期待的回答。

九派财经：针对算法偏见问题，通常是怎么处理的？

袁晓辉：在大模型开发的过程中会采用红队（Red　Teaming）测试，就是“攻防演练”。一方扮演攻击方，一方扮演拦截方，看看大模型是不是能够挡住攻击。

还有就是会在数据训练上用到人类反馈强化学习的办法，根据大模型输出的内容做人类标注，用人去识别大模型生成的内容是不是符合人类价值观，让大模型知道什么样的内容是跟人类对齐的。业界叫做AI　alignment（AI对齐），是公认的方向。

九派财经：通过这些方式，为什么仍然存在明显的算法偏见问题？

袁晓辉：因为数据来源于人，人的决策就是有各种偏见和歧视的，只要这个前提存在，算法决策就会习得数据里面的偏见和歧视。所以我们更多需要考虑的，是如何通过各种方法识别和减少偏见和歧视。

九派财经：对齐的底层原则具体指什么？

袁晓辉：其实这一块儿也有很多讨论，国际间也有一些共识，一般是一些相对来说普适的价值观、原则性的基础。比如，不能伤害他人、不能有一些针对特定群体的歧视。

人机价值对齐的理论还在向前推进。一方面，这需要各个国家、各类主体之间去拉通，另一方面，还要思考如何把这些底层原则和大模型技术结合起来。

九派财经：除了人机对齐问题，还存在哪些风险？

袁晓辉：从技术角度来看，AI可能会产生自我复制的能力，比如它用人类察觉不到的方式，在服务器上做自我复制、备份。你很难去评判AI是否有意识，但它如果偷偷地自我复制，做了一些我们没有让它做的事情，这会离我们的想法越来越远。

从社会角度来看，大家也在讨论AI创作内容的版权如何界定等问题，涉及人类社会主体之间的关系，也涉及人类跟AI之间的关系。这些都是需要重新审视的。

另外，在具体使用AI的过程中，鸿沟也有可能慢慢产生。有的人可以用到更先进的AI工具，有的老年人或少数群体可能没有被照顾到，他们没办法用到。甚至有一些国家和地区都没有相应的基础设施。这种不公平的现象，在过去叫数字鸿沟，现在叫AI鸿沟。

九派财经：您怎么看待AI鸿沟的问题？

袁晓辉：技术发展得比较快。之前看到一个数据，现在全国每天使用AI工具的人在几千万上下，说明AI工具还没有被普及到更广泛的群体中去。按照技术接纳生命周期曲线的五个阶段来划分，现在肯定还是早期采用者（early　adopter）阶段，所以老年人和一些特殊人群还没有被照顾到，是比较好理解的。

但目前也有一些机构在面向不同群体去推进一些工作，整个生态在慢慢建立起来。比如我们的研究员之前做实验，请老年人去使用大模型。也许在传统印象里大家会觉得AI鸿沟很难逾越，老年人是科技的“后进生”；但我们在实验中发现，老年人的AI学习力是不容小觑的——甚至在第一次大模型的“初体验”中，老年人的问答回合数就能逐渐上升，也会对回答提更具体的要求，prompt（提示词）并不是年轻人的专属。

我们有理由相信伴随着更灵活的人机互动，更准确地语音识别，以大模型为代表的AI应用正在成为科技适老的新路径。

九派财经记者黄依婷　郭梓昊　上海报道

【来源：九派新闻】

版权归原作者所有，向原创致敬