当前位置:首页|资讯|生成式AI|人工智能|深度学习

The Innovation | 大规模生成式仿真智能:生成式AI的下一个研究热点

作者:TheInnovation创新发布时间:2023-11-17

The Innovation | 大规模生成式仿真智能:生成式AI的下一个研究热点

导 读

生成式人工智能(GenAI)是当前人工智能领域的研究热点,其利用大数据、深度学习模型和强大的计算能力,创造性地生成文本、图像、视频等内容。随着新趋势的不断涌现,尤其是大模型的推动,生成式AI正在对社会产生广泛的影响。本文将深入探讨GenAI如何与大规模仿真结合,并率先提出生成式仿真智能的框架来推动技术革命,引导未来研究方向的抉择。

图1 LS-GenAI的实际考虑和路线图。左边是LS-GenAI的效用,右边是通过双生成范式实现的路线图。

深度生成模型赋予GenAI一系列超越AIGC的实用功能,图1A列出了三种效用:数据压缩、表示解耦和因果推断。数据压缩将存储和传输信息所需的位数最小化,这在有内存限制的时间敏感型服务中非常重要。表示解耦用于推断独立潜在变量,这些潜在变量解释了数据生成的不同方面,比如风格和颜色。具备因果推断的GenAI能够进行反事实预测,从而呈现特定干预带来的潜在后果。

尽管该领域存在很多实用优点,但仍存在一些棘手问题:(i) 是否可以通过生成模型实现完全的表示解耦?(ii) 在小规模数据集和许多未观测混杂因素的情况下,如何识别具有因果关系的生成模型?

实验设计对GenAI的适应性和鲁棒性具有重要影响。任务的多样性有助于模型适应各种情境,然而,增加任务多样性需要更大的模型和更多的计算资源。以图1B为例,掩码场景的数量会随着数据的增加呈指数级增长。这带来了两个关键问题:(i) 如何在性能和适应性之间找到平衡,特别是在处理具有长尾分布的数据时?(ii) 如何自动设计任务分布以提高泛化性能?

几何先验成为推动 GenAI 发展的强大归纳偏置。人类认知系统可以捕捉信号的旋转、平移、反射和缩放,意味着概念的合理抽象对这些变换是等变的,如图1C所示。另一种应用几何先验的方法是在数据空间中施加变换来进行数据增强,意味着数据本身可以成为归纳偏置。这引发了两个问题:(i) 是否存在自动生成几何先验的通用程序,适用于GenAI应用?(ii) 如何减轻来自约束或数据增强的计算负担?

为了全面评估生成模型性能,GenAI需要建立多视角评估系统。具体而言,该系统需要考虑多样性、保真度和安全性三个方面,见图1D。多样性是为了确保模型能够生成多样化的样本。保真度在风险敏感应用中具有重要作用,一般通过对数似然或散度等指标进行衡量。此外,GenAI需要能够与开放环境进行交互,因此从数据层面保护生成模型免受攻击已成为当务之急。

大规模生成式仿真智能即将到来。GenAI在自然语言处理和计算机视觉方面取得了重大突破,但考虑到学习资源有限和过度依赖科学发现经验主义等挑战,本文提出大规模生成式仿真智能(LS-GenAI)是GenAI发展的下一个热点。如图1所示,LS-GenAI的路线图采用仿真和决策的双生成范式。通过部分观测生成可识别的仿真系统或场景(Component #1),同时决策模块在时间敏感的场景中提供快速适应性能(Component #2)。LS-GenAI在机器人和生命系统中也有特殊用途,降低现实采样的复杂性,加速科学进步,促进新发现。LS-GenAI的一个主要例子是在临床研究中,高保真生物医学模拟系统可以检查患者的治疗效果并减少对专家经验的依赖。

总结与展望

LS-GenAI将大模型拓展到实际应用场景时具有显著优势,然而,其开发过程也面临着相应的挑战。海量的真实世界数据需求以及高保真世界模型的缺乏为构建决策系统增添了复杂性。为了满足LS-GenAI中的实用程序,需要集成更复杂的仿真和学习工具。此外,除了构建高保真的仿真环境或世界模型,还需要支持针对不同决策任务的定制。LS-GenAI的主要目标是协助进行有意义的实验设计,并能够快速适应所学技能。实现上述目标将极大地拓展GenAI在更广泛的现实场景中的影响力。

责任编辑

韩永明   北京化工大学

谭又华   香港理工大学

本文内容来自Cell Press合作期刊The Innovation第四卷第六期以Commentary发表的“Large-scale generative simulation artificial intelligence: The next hotspot” (投稿: 2023-07-22;接收: 2023-09-13;在线刊出: 2023-09-19)。

DOI: https://doi.org/10.1016/j.xinn.2023.100516

引用格式:Wang Q., Feng Y., Huang J., et al. (2023). Large-scale generative simulation artificial intelligence: The next hotspot. The Innovation. 4(6), 100516.

作者简介

王 琦,国防科技大学数学系助理研究员,从事随机优化与智能博弈的研究。长期担任AI顶级会议审稿人,受邀组织NeurIPS EcoRL2021 Workshop。以第一作者在ICML、NeurIPS和ICLR上发表多篇文章,提出了一系列条件生成模型、元强化学习模型和近似推断算法,获得ICML2022 Travel Grant、NeurIPS2022 Scholar Award和2023年中国多智能体系统优秀博士论文奖。目前主持国家级与省部级科研课题3项,受邀在中国科学院数学与系统研究院、中国科学院理论物理所、清华大学、南开大学、山东大学等知名研究机构作学术报告。

黄金才,国防科技大学研究员,博士生导师,爱丁堡大学高级访问学者,中国人工智能学会理事,机器学习专委会副主任。主要从事人工智能技术、运筹学、智能博弈技术等方面的研究,主持完成国家自然基金等项目20余项。获省级科技进步奖9项,吴文俊人工智能科技进步一等奖1项,出版专著和教材7部,发表SCI检索论文60余篇。

高小山,中国科学院数学与系统科学研究院研究员,主要研究数学机械化、自动推理、人工智能数学理论。曾获国家自然科学二等奖、吴文俊应用数学奖、吴文俊人工智能杰出贡献奖、国际计算机学会ISSAC杰出论文奖、香港求实杰出青年学者奖,获国家杰出青年基金。曾担任3个973项目的首席科学家、国家基金委创新群体学术带头人。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1