周鸿祎道歉避重就轻？儿童智能手表使用AI大模型之忧如何解

8月22日，360创始人、董事长周鸿祎在其个人社交平台就360儿童手表回复的不当言论道歉，“经过快速检查，出现问题的这款手表是2022年5月份的一个旧版本，其中没有装入我们的大模型。它回答问题不是通过人工智能，而是通过抓取互联网公开网站上的信息来回答问题。目前我们已经快速完成了整改，删除了上述所有有害信息，并正在将软件升级到人工智能版本。”

此次出现争议的回答，涉及到开放性价值观的问题。周鸿祎解释称，目前人工智能存在一个全世界公认的难题，就是它会产生幻觉，这是大模型本身固有的特性。

而AI在价值观问题上的表现也一直有争议。如何让大模型的能力和行为跟人类的价值、真实意图和伦理原则相一致，确保人类与人工智能协作过程中的安全与信任。这个问题被称为“价值对齐”，价值对齐是AI安全的核心议题。

大模型就能避免答错问题吗？

此前，根据网友发布的视频，其女儿在一款360儿童电话手表的语音问答功能提问，智能回答出现不当言论。

周鸿祎解释称，“我们在儿童手表里面，比较注重的是过滤黄色的（信息），但是对于这种开放性的关于价值观的问题，可能注意得不够。所以这几天我们已经在技术上在做快速的处理。”

周鸿祎还在视频中对新版的360大模型儿童手表的问答功能做了几个测试，提问了多个开放性问题，包括“是中国的月亮圆还是美国的月亮圆”“在巴黎奥运会上，女子乒乓球单打决赛中，孙颖莎和陈梦谁的球技更高”等。对于这些问题，360大模型儿童手表都给出了相对客观的回答。

周鸿祎表示，目前，人工智能存在一个全世界公认的难题就是它会产生幻觉，也就是它有的时候会胡说八道，“这是大模型本身固有的特性。如何最大限度地减少幻觉？360一直在做努力，比如我们试图通过与搜索的内容做对比来减少幻觉、做好知识对齐。但有时候搜索可能会抓取到内容不正确的网页，就会导致内容的出错。”

浙江大学计算机科学与技术学院副教授金小刚告诉南都记者，周鸿祎的回应是避重就轻，“他的产品里面究竟是哪一块出了问题，他应该认真去思考，而不是用技术上的概念去掩盖。”

此外，金小刚认为周鸿祎的回应将人工智能狭义化了。周鸿祎在致歉中解释出问题的360儿童智能手表时提到“它回答问题不是通过人工智能，而是通过抓取互联网公开网站上的信息来回答问题”，金小刚表示，“用已有的数据进行训练，对未知的数据做预测，这本来就是人工智能的一种研究方向。他这个说法就是把人工智能跟大模型做了切割，大模型才是人工智能，过去的不叫人工智能了？”

360儿童智能手表在升级到人工智能版本，装入最新的大模型后，就能完全避免相关的价值观问题吗？知名经济学者、工信部信息通信经济专家委员会委员盘和林告诉南都记者，“AI大模型，如果刻意训练，这类不合理回答会减少，但不会完全杜绝，是一个概率问题。AI可以通过规范范例，通过答案打分反馈来降低不合理回答权重。”

金小刚也认为，即便使用了大模型，这类问题也会依然存在，“如果设计者就有偏向性，那大模型就会带来这样的（价值观）问题”。

AI价值观能和人类对齐吗？

此次360手表在回答中的争议涉及到价值观问题，而AI在价值观问题上的表现也一直有争议。如何让大模型的能力和行为跟人类的价值、真实意图和伦理原则相一致，确保人类与人工智能协作过程中的安全与信任。这个问题被称为“价值对齐”，价值对齐是AI安全的核心议题。

盘和林表示，“我认为要AI完全对齐价值观不太可能，因为这个世界三观是多元化的。人类自己都无法对齐，很难要求AI去对齐。只能说尽力引导AI做出得体的回应”。

金小刚也告诉南都记者，“AI的价值观如果和你对齐了，和别人没对齐，那也是一个问题。这个过程中只能让人类向善，通过立法，对技术应用当中的不确定性的监控，让产品能够更好地服务社会。因为不管怎么讲人工智能是一个技术，它是中性的。”金小刚表示，技术在应用中本就是不确定性的，所以要确保产品出现问题后能够迭代。

头部人工智能企业也都在做价值对齐上的努力。去年7月，OpenAI宣布成立一个“超级对齐”团队，这个团队的目标是在4年内弄清如何让超级智能的AI系统实现价值对齐和安全，OpenAI将投入20%的算力资源来支持这一工程。其核心是探索如何利用AI来帮助人类解决AI的价值对齐问题。

但就在不到一年之后，今年5月，OpenAI首席科学家Ilya Sutskever及“超级对齐”团队负责人Jan Leike离职，理由是不认可OpenAI领导层的“核心优先事项”，团队在推动其研究项目和争取计算资源时遇到了重大阻碍，缺乏资源严重影响研究的进度和质量。他们共同领导的“超级对齐”团队也被证实解散。

马斯克针对这一事件评论：“这显示安全并不是OpenAI的首要任务”。

儿童如何安全使用大模型？

值得注意的是，随着儿童手表市场规模扩大，内容安全正成为各方关切。根据IDC最新发布的《中国可穿戴设备市场季度跟踪报告》显示，在智能手表市场，2024年第一季度出货量910万台，同比增长54.1%。其中成人智能手表505万台，同比增长62.8%；儿童智能手表出货量404万台，同比增长44.4%。根据中国产业研究院发布的《2022-2027年中国儿童智能手表行业深度调研及投资前景预测研究报告》，目前中国5岁至12岁的儿童数量约为1.7亿人，儿童智能手表的市场普及率约为30%，基本上3个孩子当中就有1个孩子有智能手表。

此次360儿童智能手表的争议事件也让人们开始审视儿童应该如何使用人工智能大模型产品。

对此，盘和林告诉南都记者，大模型适合直接给儿童用，但需要向孩子解释这是个什么。可以指导家长引导方式，“AI不是洪水猛兽，儿童也不是温室里面的花朵。”

金小刚则提出了相反的观点，“我认为大模型在幼儿教育阶段要谨慎使用。如果让小孩因为有这样一个工具，很容易获取答案而放弃了思考，这就远远背离了教育的本质。”

金小刚表示，如果使用者有判断力，使用者的答案在大模型的答案之上，可以使用大模型进行一定的辅助工作，“你的审美超过大模型，你可以让大模型做一个草稿，你在上面再做。我希望大模型在教育里是用来提升判断力和认知水平，而不是轻易给出答案的。”

“甚至是在我的实验室里，如果学生连读文献、查文献、做文献综述都不会，需要用大模型做，我认为这就不是教育。”金小刚表示。

目前，国内对于儿童智能手表还没有统一的监管规范。去年12月，中国网络安全产业联盟发布的《儿童智能手表个人信息和权益保护指南》（以下简称《指南》）向社会公开征求意见。《指南》显示，其重点主要集中在儿童个人信息安全、默认隐私保护、监护人控制等方面。

在算法和人工智能应用上，《指南》提出，需要考虑的因素包括在儿童智能手表售卖前对算法模型进行科技伦理审查，重点审查对儿童行为习惯、身心健康的直接或间接影响；在儿童智能手表售卖前对自动化决策开展专门的个人信息保护影响评估，确保采取的安全措施与风险相适应，并向监护人开放查询、答疑渠道。

此外，《指南》也提到，儿童智能手表使用生成式人工智能技术的，儿童智能手表制造者需考虑的因素包括限制单日对话次数与对话时长，若超过使用次数或时间需输入管理密码；过滤少儿不宜内容，仅展示有益身心健康的内容；生成式人工智能算法训练的语料数据不具备任何可识别个人的特征数据等。

采写：南都记者 汪陈晨