国际表征学习大会(International Conference on Learning Representations,简称 ICLR)是深度学习领域的顶级会议,关注有关深度学习各个方面的前沿研究,在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。
AMiner通过AI技术,对 ICLR2023 收录的会议论文进行了分类整理,今日分享的是Generative Model主题论文,共29篇,我们在这里展示十篇最受欢迎的论文,欢迎下载收藏!
1.Blurring Diffusion Models
作者:Emiel Hoogeboom,Tim Salimans
AI综述(大模型驱动):我们提出了一种基于极性消歧的合成建模的新传播方法。在本文中,我们证明了通过非极性噪声将blurring定义为与极性光谱消歧相关的等价物。在这项工作中,我们打破了反熵和表示传播之间的边界,并指出了来自这种建模选择的诱导偏差。最后,我们提出了一组通用化的传播模型,该模型优于标准的矩阵消歧和反熵。
论文链接:https://www.aminer.cn/pub/6321467190e50fcafdb9b304/
2.Efficient Planning in a Compact Latent Action Space
作者:Zhengyao Jiang,Tianjun Zhang,Michael Janner,Yueying Li,Tim Rocktäschel,Edward Grefenstette,Yuandong Tian
AI综述(大模型驱动):图表压缩算法是一种基于规划的序列建模方法,它扩展到高维。我们提出了图表自动编码规划器(TAP),一种基于规划的对数线性规划器方法,该方法将扩展到了高维,并在高维空间中寻找最优潜在字符串序列。使用一个条件条件向量化变换变换器(VQ-VAE),TAP对当前状态的条件分布进行建模。当作为对数线性的RLagent部署时,TAP避免了步骤两步地进行规划,但通过波束搜索寻找最可能的潜在序列序列,从而保持了对数线的不断增长。我们的实证评估还表明,与不断增长的特征量相比,图表的性能越来越强。
论文链接:https://www.aminer.cn/pub/6304456c90e50fcafd130295/
3.Quantized Compressed Sensing with Score-Based Generative Models
作者:Xiangming Meng,Yoshiyuki Kabashima
AI综述(大模型驱动):我们考虑了从噪声计数测量中恢复高维信号的一般问题。计算往往导致严重信息丢失,因此对未知信号的好先验知识非常有用。受基于分数的生成模型(SGM、也称传播模型)在捕捉自然信号丰富结构的能力驱动,我们提出了一种无监督的数据驱动方法,称为量化压缩感知。为了进行后处理采样,引入了一个名为《声音扰动的偏好得分》的小错误概率分数,并将该小错误与之前训练好的SGM的相似度相结合。提出的方法应用于任意一组量化字符串的任意数量。实验表明,该提案的QCS SGM显著优于现有最先进的算法。此外,作为过滤结果的替代方法,该提案可以很容易地用于获得重新排序或误差估计。
论文链接:https://www.aminer.cn/pub/637ee0ee90e50fcafd0f704e/
4.GOGGLE: Generative Modelling for Tabular Data by Learning Relational Structure
作者:Tennison Liu,Zhaozhi Qian,Jeroen Berrevoets,Mihaela van der Schaar
AI综述(大模型驱动):深层生成模型学习高度复杂和非线性表示来生成真实的合成数据。虽然他们在计算机视觉和自然语言处理方面取得了令人印象深刻的成功,但在表情化领域相比,类似的进步相对较少地显示了出来。这主要是因为表情化建模涉及到一个特定的挑战,包括具有异构关系、少量的样本以及加入先验知识的困难。此外,与图形和序列领域相反,深层生成模型几乎只使用完全连贯的成分,这些成分对输入之间的关系编码强弱的诱导偏差。在本文中,我们学习并利用基本数据结构来改进变量依赖性,并作为对关系进行规则化的自然手段进行说明。具体来说,我们介绍了谷歌,这是一个终端信息发送方案,该方案结合学习语义角色结构和相应的函数关系为生成合成样本提供了基础。
论文链接:https://www.aminer.cn/pub/63dcdb422c26941cf00b6277/
5.Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling
作者:Huayu Chen,Cheng Lu,Chengyang Ying,Hang Su,Jun Zhu
AI综述(大模型驱动):在无监督学习中,权重归纳是确保学习的政策与行为政策保持一致的一种常用方法。在这项工作中,我们表明,由于政策模型的分布表达能力有限,以前的方法可能仍然选择看不见的动作,这取决于它们最初的动机。为了解决这个问题,我们采用一种生成性方法,将学到的政策分成两个部分:一个表达式生成性行为模型和一个行动评估模型。关键感知是这种分割避免了以明确指定的约束形式学习决策模型。通过这样做,我们可以利用现有的生成建模技术,如传播基于方法,来模拟不同的行为。作为对策评估,我们将该方法与试点准备技术的相结合,进一步避免从试点操作中选择不可见的动作,并提高计算效率。实验结果表明,我们的方法优于之前有竞争力或更高水平的单向策略。
论文链接:https://www.aminer.cn/pub/63365e7c90e50fcafd1a2dce/
6.Imitating Human Behaviour with Diffusion Models
作者:Tim Pearce,Tabish Rashid,Anssi Kanervisto,Dave Bignell,Mingfei Sun,Raluca Georgescu,Sergio Valcarcel Macua,Shan Zheng Tan,Ida Momennejad,Katja Hofmann,Sam Devlin
AI综述(大模型驱动):融合模型是用于模仿人类行为的推理器。人类行为随机化且多样性,与动作等价物之间的结构相关联。与此同时,标准建模选择在模式标注中存在有限的表达能力和可能嵌套约束。我们开始说明这些选择的缺点。然后,我们提出了一种新的方法来改进对应关系的传播模型。我们引入了几个创新,以使分布式模型适合顺序环境,包括设计适当的架构、研究引导角色和开发可靠的收集策略。实验结果表明,当使用动态规划算法进行预测时,分布式模型具有更好的表现能力。
论文链接:https://www.aminer.cn/pub/63d340e990e50fcafd910ce2/
7.Flow Matching for Generative Modeling
作者:Yaron Lipman,Ricky T. Q. Chen,Heli Ben-Hamu,Maximilian Nickel,Matt Le
AI综述(大模型驱动):我们介绍了基于持续规范传播的生成建模的新范式,允许我们在以前前所未有的规模上训练CNF。具体来说,我们提出了循环对应关系(CRF),这是一种仅基于固定条件概率路径的回归推理方法。CRF与典型的方差概率路径相匹配,提供了更鲁棒和可靠的生成模型替代物。
论文链接:https://www.aminer.cn/pub/633f98d290e50fcafd78df0d/
8.PV3D: A 3D Generative Model for Portrait Video Generation
作者:Eric Zhongcong Xu,Jianfeng Zhang,Jun Hao Liew,Wenqing Zhang,Song Bai,Jiashi Feng,Mike Zheng Shou
AI综述(大模型驱动):在本文中,我们提出了一种新的生成机制,可以将多维图像的隐式神经表示扩展到视频领域。具体来说,我们的方法通过将3D隐式神经表示推广到视频域来扩展目前的静态3D感知图像GAN。此外,我们还开发了一个运动生成器,通过堆叠多个运动层来产生运动特征。为了消除对摄像机/人类运动的影响,我们提出了一个简单的但有效的照相条件策略,用于捕捉和限制三维图像的可行性。这些精心设计的设计使得PV3D能够支持许多下流应用,如动画建模平面图并显示一致的视频运动编辑。
论文链接:https://www.aminer.cn/pub/63993edc90e50fcafdf5a443/
9.Generative Modeling Helps Weak Supervision (and Vice Versa)
作者:Benedikt Boecking,Nicholas Roberts,Willie Neiswanger,Stefano Ermon,Frederic Sala,Artur Dubrawski
AI综述(大模型驱动):监督机器学习的许多有前景的应用面临着标记数据的足够数量和质量。为了克服这些限制,研究了几种不依赖于地面事实标签的技术,包括弱监督和生成建模。然而,它们的效果似乎很好地结合在一起,但如何构建连接这些技术之间的网络尚未知晓。在本文中,我们提出了一种将程序性松散监控与生成敌对网络的模型相结合的方法。该方法利用了数据中的局部潜在变量以及从弱监督归纳的标签估计一起捕获的数据。这使得它能够改进采样依赖性建模,提高未发现标签的估计,并通过使用合成样本进一步改善最终模型性能。
论文链接:https://www.aminer.cn/pub/63dcdb422c26941cf00b64f4/
10.Fast Sampling of Diffusion Models with Exponential Integrator
作者:Qinsheng Zhang,Yongxin Chen
AI综述(大模型驱动):最近几年来,对无监督投影模型在生成建模任务中产生很高精度样本的取得了很大的成功。然而,这种方法的一个主要缺点是它的速度太慢,通常需要数百甚至数千次迭代缩放步骤来达到所需的精确性。为了实现这一点,我们提出了一种快速分离器采集方法,该方法不需要少量的步骤,而保留了高质量的样品质量。因此,我们的最终目标是开发一种低频率分离器方法,同时保持高标记质量。通过认真检查无监督投影过程,我们提出无监督增量结合器采集器(DEIS)。它基于用于隐藏普通二乘半径解析器的扩展算法,并利用感知传播过程中学习的半边形结构来降低分离误差。
论文链接:https://www.aminer.cn/pub/626f3dd05aee126c0f8f74fb/
想查看全部Generative Model强化学习论文,可以点击下方链接:
https://www.aminer.cn/conf/5ea1d518edb6e7d53c0100cb/ICLR2023