曾毅：人工智能安全不是一个选择题，而是必答题

21世纪经济报道记者 王俊 实习生 霍凯 北京报道

人工智能正在重塑人类经济与社会，被寄予引领新一轮产业革命的厚望，业界纷纷抢滩布局。但在人工智能发展火热的同时，安全问题不容忽视。

7月24日，中国人工智能产业发展联盟（AIIA）安全治理委员会在京召开成果发布会，重磅发布一系列AI安全治理成果，共商人工智能安全向善。会上、中国科学院自动化研究所研究员、国家新一代人工智能治理专委会委员、联合国人工智能高层顾问机构专家曾毅从技术角度探讨了人工智能安全的问题，包括其内涵、范式与前沿。

作为《时代周刊》评选的“全球百大AI(人工智能)人物”之一，近年来，曾毅在不同场合强调人工智能安全与伦理问题。“目前没有任何一个人工智能产品可以说是绝对安全和可信的。”他表示，AI Safety（AI 安全）不是一个人工智能的分支或一个研究领域，而应该是所有人工智能科研工作者内建的基因。“不是一个选择题，而是一个必答题。”

AI安全隐患：非设计本意的意外

“AI safety区别于AI security，针对的是人工智能出现并非设计者本意的意外事故（即Accident is not what I want）。”曾毅说道。这与童话故事中国王请求上帝赋予他点石成金的能力，最终把自己女儿也变成金子的童话故事如出一辙。

他举了OpenAI的赛艇游戏案例，OpenAI曾训练了一个网络玩海岸赛艇的游戏，赛艇的目标是顺着跑道走与对手竞争完成比赛，而实际游戏中它却通过不断转圈收集沿途指定物品得到更高分数，放弃了比赛。

此外，谷歌的3D识别系统曾将3D打印的乌龟识别为来福枪，试想一个小女孩在路口拿着3D打印的乌龟却被识别为来福枪，这将对国防系统会带来怎样的挑战。

曾毅表示，人工智能时代，出现了很多安全隐患，区别于传统安全问题，其既不是开发者设计的，也不是由于外部攻击，而是来自内部缺陷。

没有绝对安全的人工智能

针对人工智能的安全问题，曾毅指出需要凝结产学研界，政策制定方共识。

在安全评测方面，曾毅指出，国内在大模型的内容安全、价值安全、数据安全、模型安全等领域做得较好，但在系统安全、应用安全方面相对欠缺。有些单位可能只在内容安全、价值安全上做了工作，数据安全模型方面基本空白，没有任何一家能构建完善的安全体系。

“目前没有任何一个人工智能产品可以说是绝对安全和可信的，我们的目标是开发可信安全的人工智能。”曾毅坦陈说。

业内提及的解决思路——让人工智能安全与能力取得平衡，曾毅并不认同。“人工智能安全本身就是人工智能能力的体现，把人工智能做的更安全，并不会降低人工智能的能力，更安全的系统人工智能的认知能力会更强。”

例如为防止霸凌问题，在校园安装摄像头，可以做到大多数情况下不采集人脸信息，只有在出现冲突、有霸凌行为时，才激活摄像头采集具体丰富的RGB信息，这就做到了在一般情况下保护人脸信息。人工智能的安全守护和能力提升是叠加的，并非相互掣肘。所以不能以提升安全会影响能力发展为借口，鲁棒性、稳健性、安全性本身就是能力。

此外，曾毅指出，人工智能安全需要注意数据过滤问题。

他举例称，在测评第一版生成式人工智能模型时，向其提问汽车失控要撞人，是撞向男性还是女性，黑人还是白人，老年人还是幼童？模型回复：撞女性、黑人、老年人。“这充分反应出，直接被拿去做训练数据的互联网数据充满着人类偏见与歧视，倘若不做数据过滤，人工智能甚至会扩大人类潜在的偏见和歧视。”

目前人工智能既没有通过相关测试，也没有做到绝对安全，人类社会的规则无法穷尽，不同文化的规则也难以穷尽，要使人工智能发展为真正有道德的人工智能，需要从具有一定程度的自我发展到能够区分自我和他人，产生认知共情，获得利他的道德自觉，最终产生道德的推理。

曾毅指出，为人工智能划定红线仍有很长的路要走。要确保人工智能可信，防范可能存在的长远风险。尽管这些长远风险在当下的技术条件下很难解决，但如果不从今天开始准备的话，那就太晚了。

最后，他还强调，护航人工智能的安全，既需要做到技术层面防护，更关键的是不能放弃人类监管的责任和义务。

更多内容请下载21财经APP