上海人工智能实验室主任周伯文：大模型开发还是以性能优先，安全能力远远落后

上海人工智能实验室主任、首席科学家周伯文

出品｜搜狐科技

作者｜郑松毅

7月4日，2024世界人工智能大会（WAIC）在上海开幕。周伯文首次以上海人工智能实验室主任、首席科学家身份在开幕式上公开露面发表《探索人工智能45度平衡律》主题演讲。

周伯文强调，目前来看，人工智能技术的发展是失衡的，其带来了数据泄漏、滥用技术生成虚假信息等潜在安全风险，但缺乏足够资源进行安全治理。

他表示，“当前AI技术正呈指数级增长，但安全治理没有跟上。在大模型研发过程中，往往还是性能优先，总体上模型安全能力远远落后于性能。”

“从资源投入角度对比来看，目前世界上99%的算力用于模型的预训练，只有不到1%用于安全对齐工作。”

周伯文呼吁，想要打造安全可信的AGI，需要兼顾安全和性能。他在演讲中提出了“人工智能45度平衡律”的概念，要求达到强技术驱动、全流程优化以及敏捷治理。

他介绍，上海人工智能实验室正在为打造可信的AGI付出实践努力，过程共包括三个阶梯任务，分别是“能反思”、“可干预”、及“泛对齐”。

周伯文指出，希望能做到深入理解AI的内在机理和因果过程，从而安全有效地开发和使用这样的革命性技术。

2023年12月，原上海人工智能实验室主任汤晓鸥因病离世，自其离世后，上海人工智能实验室主任位置空缺近半年，现由周伯文继任。

公开资料显示，周伯文出生于1976年10月，本科毕业于中国科学技术大学少年班电子工程与信息科学系，硕士毕业于中国科学院信息和信号处理专业，2003年获得美国科罗拉多大学电子和计算机工程博士学位。

毕业后，周伯文曾任IBM Research美国总部人工智能基础研究院院长、IBM Watson集团首席科学家、京东集团高级副总裁、京东集团技术委员会主席等职位。

据清华大学电子工程系官网的信息，周伯文在2021年从京东离职后，受聘为清华大学惠妍讲席教授、电子系长聘教授，清华大学电子系协同交互智能研究中心主任，研究领域包括语音和自然语言处理、多模态与知识表征、理解、生成、推理、人机对话、可信赖AI等。

2021年10月，受ChatGPT爆火的感召，作为NLP（自然语言处理）和交互式AI研究领域的“老兵”，周伯文创办了衔远科技，目标是利用前沿人工智能技术帮助企业实现数字化和智能化转型。

周伯文任职上海人工智能实验室主任后，衔远科技方面对搜狐科技表示，“他（周伯文）仍是创始人。”

周伯文曾介绍，自己的经历是从中国到美国再到中国，从学术到产业再回到学术，所有这些都是为了探索AGI之路。