支持语音、图像和视频，全球首个“全模态”大模型来了
6月16日上午，人工智能框架生态峰会在上海举办。在峰会现场，包含18家AI头部企业、高校、科研机构、开源社区等共同发布了“共建人工智能框架生态，繁荣中国人工智能产业”联合倡议，倡议通过政产学研用的共同努力，支撑中国人工智能框架生态走向新高度，推进中国人工智能产业新发展。
本次峰会上，中国科学院自动化研究所正式发布了全球首个全模态大模型“紫东.太初2.0”，该大模型在语音、图像和文本之外，加入了视频、传感信号、3D点云（3D Point Cloud）等更多模态，支持多轮问答、文本创作、图像生成、3D理解、信号分析等跨模态任务。
在会后的媒体沟通会上，中科院自动化所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥介绍称，目前业内ChatGPT为代表的大模型虽然也号称是多模态，但实际对外开放的主要还是语言模态，其他模态普通用户并不能体验，而紫东太初2.0是基于国产化的全栈基础软硬件打造的多模态大模型，属于多模态产业联合体，形成了一个大模型开放服务平台。
本次峰会上，国内人工智能框架社区昇思MindSpore还宣布，正式成立昇思社区理事会，首批成员单位包括AI芯片企业、AI应用企业、高校与学术机构共计18家单位。资料显示，作为国内头部的AI生态平台，截至2023年5月底，昇思开源社区下载量已突破474万，社区贡献者1.3万，服务企业数量5500家，与240家科研院所展开合作，开源模型达400多个，发表顶会论文超过900篇。
为了进一步促进国内AI产业发展，本次峰会上海人工智能研究院、上海市闵行区政府、临港集团、昇思开源社区联合启动了上海昇思AI框架&大模型创新中心（简称创新中心）。据市界了解，目前上海人工智能实验室、上海交通大学、中国商飞上海飞机设计研究院、中国科学院上海药物研究所、云从科技等首批22家单位已经正式入驻创新中心。
（撰文 | 曾广 编辑 | 李原）
