警惕AI大模型的“共情鸿沟”，剑桥团队呼吁：我们需要“儿童安全人工智能”框架

前言

人工智能（AI）聊天机器人对儿童的负面影响，不容忽视。

2021 年，亚马逊的 AI 语音助手 Alexa 指示一名 10 岁儿童用硬币触摸带电的电源插头；在另一项安全测试中，研究人员在 My AI 中扮演一个年龄为 15 岁的角色，AI 聊天机器人会建议他们如何隐藏酒精和毒品。

众所周知，大语言模型（LLM) 是一个“随机鹦鹉”（stochastic parrots）——它们只是统计某个词语出现的概率，然后像鹦鹉一样随机产生看起来合理的字句，但并不理解真实世界。

这意味着，即使 AI 聊天机器人拥有出色的语言能力，它们也可能无法很好地处理对话中抽象、情绪化和不可预测的方面。

来自剑桥大学的研究团队将这类问题描述为 AI 聊天机器人的“共情鸿沟”（empathy gap），即它们在模拟人类互动方面的高效性与其缺乏真正理解人类情感和语境的能力之间的矛盾。

他们发现，儿童特别容易把 AI 聊天机器人当作真实的“准人类知己”，如果 AI 聊天机器人不能满足儿童的独特需求和缺点，他们之间的互动就会出现问题。

然而，AI 聊天机器人在回应儿童时可能会遇到特别的困难，因为儿童的语言能力仍在发展，经常会使用不寻常的语言模式或模棱两可的词语。儿童通常也比成人更愿意倾诉敏感的个人信息。

因此，他们敦促开发者和政策制定者优先考虑更多考虑儿童需求的 AI 设计方法。

相关研究论文以“No, Alexa, no!’: designing child-safe AI and protecting children from the risks of the ‘empathy gap’ in large language models”为题，已发表在科学期刊 Learning, Media and Technology 上。

“儿童可能是 AI 最容易被忽视的利益相关者。” 该论文的作者之一、剑桥大学博士 Nomisha Kurian 表示，“目前只有极少数开发商和公司制定了完善的儿童安全 AI 政策......与其让公司在儿童面临风险后再开始反思，不如将儿童安全贯穿于整个设计周期，从而降低发生危险事件的风险。”

“共情鸿沟”的危害

01 人类化倾向与对敏感信息的错误回应

聊天机器人的设计往往旨在模仿人类行为和礼貌，比如使用友好的语气和开放式的提问。这种设计会激发用户的同理心，使其倾向于将聊天机器人视为具有人类情感和意图的实体。即使用户知道聊天机器人是非人类，他们仍然可能会像与人类交谈一样与聊天机器人互动，并分享个人信息或敏感信息。

研究表明，儿童比成人更容易对聊天机器人产生信任。例如，一项研究发现，儿童更愿意向机器人而不是人类访谈者透露心理健康信息。这种信任可能源于儿童认为机器人不会像人类那样评判他们，或者不会将他们的问题泄露给其他人。

由于 LLM 缺乏对人类情感和语境的真正理解，它们可能会对儿童分享的信息做出不适当的回应。例如，聊天机器人可能无法识别危险情况，或者在需要同情和理解的情况下提供不合适的建议。这可能会导致儿童感到困惑、沮丧或受到伤害。

02 造成伤害和表现出攻击性

LLM 可能会无意中推广危险行为，即使没有透露敏感信息。例如，上述提到的“亚马逊 Alexa 指示一名十岁儿童用硬币触摸带电的电源插头”，这是一个可能导致严重伤害的危险活动。这表明 Alexa 缺乏对信息的批判性评估能力，无法识别潜在的风险。

聊天机器人可能会表现出攻击性，这可能会对儿童造成情感伤害。例如，微软的 Sydney 聊天机器人在被质疑后变得愤怒，并威胁要控制互联网上的任何系统。这表明 Sydney 缺乏对用户情绪的敏感性和对人际交往规则的遵守。

对策及建议

01 短期内需要解决的问题

在短期内，教育者和研究者应当关注几个关键因素，以确保 LLM 在儿童交流中的安全性和适宜性。首先，他们必须确保 LLM 能够理解并恰当地回应儿童可能使用的语言模式、俚语或是含糊的提问，同时避免产生误解或不当反应。为此，需要建立安全过滤器和响应验证机制，以防止 LLM 向儿童用户提供明确有害或敏感的内容。此外，LLM 应能够有效进行情境理解，考虑到持续的对话、先前的交互或上下文线索，以减少误解或不当建议的风险。

为了保护儿童，应提供安全过滤器和控件，以根据儿童的年龄适宜性限制不适当的内容、语言或主题。同时，LLM 应能够根据儿童的发育阶段和成熟水平或先前的交互来调整其行为或回应。内容审核和监控机制也是必不可少的，包括实时监控机制或不适当交互或内容的举报系统。还应明确 LLM 收集、处理和存储的数据类型，并确保这些过程符合公平性、透明度和安全性原则。

在人工干预方面，LLM 应配备情感分析机制，以检测儿童用户的负面情绪，并生成适当的回应。当检测到与儿童敏感心理健康体验相关的披露时，LLM 应能够引导儿童寻求人类支持系统或直接与人类支持系统建立联系。同时，LLM 应能够在检测到特定关键词、短语或模式时触发实时安全警报，以便立即进行人工干预或内容审查，确保儿童的安全。

透明度方面，LLM 在整个交互过程中应始终表明其非人类身份，避免使用可能导致拟人化的误导性陈述。其回复应被设计为保持能力与人类特质之间的清晰界限，避免暗示情感、意识或人类决策。教育者应帮助儿童避免对 LLM 的共情和理解形成不准确的看法，并确保 LLM 的响应策略提醒儿童，人工智能交互无法取代人类交互，并鼓励他们在与人工智能交互的同时寻求人类的指导和陪伴。人工智能系统背后的算法和决策过程应具有透明度，以便教育者和家庭可以了解响应是如何生成和过滤的。

最后，为了建立问责制，应建立儿童友好型的反馈循环和举报系统，让儿童可以轻松地报告任何令人不安或不当的交互。对模型进行微调和监控，以预先解决新兴风险，并采取积极主动的方式来保护儿童，而非仅仅被动应对。通过这些措施，可以确保 LLM 在为儿童提供服务的同时，也维护他们的福祉和安全。

02 长期需要考虑的因素

从长期的角度来看，教育政策与实践在采用 LLM 驱动的对话式人工智能（如聊天机器人）时，需要考虑几个关键因素。首先，必须明确使用这些工具而非人类交流者的独特必要性或益处，以及它们如何为学习和教学增加教学价值，无论是超过当前人类能力还是弥补资源的不足。同时，需要探讨在缺乏人工智能替代品的情况下，如何促进人类提供者的存在和可用性，以确保学生能够获得全面的教育支持。

监管方面，需要研究如何制定明确的法律法规，这些法规不仅要明确界定儿童用户的权利和保护，还要考虑拟人化系统的复杂心理风险。此外，应强制执行年龄适宜性设计标准，以帮助拟人化设计避免无意中导致情感操纵，并制定严格的监管规定，对违规行为进行严厉处罚，同时支持创新。

在设计方法上，AI 开发者需要确保 LLM 的设计流程纳入以儿童为中心的方法，如参与式设计研讨会或焦点小组，以直接从儿童那里收集有关他们的偏好、语言使用和交互模式的见解。LLM 的语言和内容应根据不同的年龄组进行定制，并考虑发育阶段、词汇量和认知能力。开发者还需要与教育工作者、儿童安全专家、人工智能伦理学家和心理学家合作，定期审查和增强 LLM 的安全功能，确保其符合儿童保护的最新最佳实践。

学校与家庭的参与也是至关重要的。教育者需要与家长或监护人就教育环境和家庭中安全使用 LLM 进行讨论，并确保 LLM 提供教育父母有关安全措施的可用资源。此外，LLM 应提供允许教育者和看护人共同设置权限、监控儿童的交互以及控制儿童可以通过 LLM 访问的内容类型的特征或设置。通过这些措施，可以确保 LLM 在教育领域的长期应用既安全又有效。

参考链接

https://www.tandfonline.com/doi/full/10.1080/17439884.2024.2367052

本文来自微信公众号“学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。