ICLR2023 自监督学习论文合集

国际表征学习大会（International Conference on Learning Representations，简称 ICLR）是深度学习领域的顶级会议，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

AMiner通过AI技术，对 ICLR2023 收录的会议论文进行了分类整理，今日分享的是自监督学习主题论文，共51篇，我们在这里展示十篇最受欢迎的论文，欢迎下载收藏！

1. Masked Frequency Modeling for Self-Supervised Visual Pre-Training

作者：Jiahao Xie,Wei Li,Xiaohang Zhan,Ziwei Liu,Yew Soon Ong,Chen Change Loy
AI综述（大模型驱动）：我们提出了基于统一频率域的无监督图像建模方法,它基于对图像进行建模的独立频率领域。它首先假设输入图的频率部分,然后预测缺失的频段。我们的关键洞察是,在频率范畴中预测模糊部分对于揭示基本图形模式而不是揭示空间中隐藏的模糊斑点是理想的。我们的发现表明,与合适的模拟配置和预测策略相结合,各种高频组件和各种低频组件的结构信息以及低频邻接之间的低频统计信息在学习好表示方面都非常有用。我们首次表明,即使不需要额外数据、额外模型或额外特征,一个简单的非夏威夷框架也能学习 meaningful表示,即使使用所有这些:(i)额外系统、(ii)额外的模型。
论文链接：https://www.aminer.cn/pub/62aa9fb55aee126c0fa5cbf2/

2. MocoSFL: enabling cross-client collaborative self-supervised learning

作者：Jingtao Li,Lingjuan Lyu,Daisuke Iso,Chaitali Chakrabarti,Michael Spranger
AI综述（大模型驱动）：我们提出了一种基于合并联邦学习和Momentum Contrast(MoCo)的私人监督学习框架。在该框架中,大底部模型被分成一个小型客户侧模型和一个大型服务器侧模型,并且只使用最小的数据集进行局部处理。我们提出了一种新的评估方法来衡量这项技术在云计算应用中的性能。结果表明,与当前最先进的方法相比,该框架可以显著提高对隐私威胁和通讯噪声的抵御能力。最后,我们引入了一种新的 TAResSFL模块,它大大改善了对隐私威胁和通讯噪声的抵御能力。 
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b609a/

3. On the duality between contrastive and non-contrastive self-supervised learning

作者：Quentin Garrido,Yubei Chen,Adrien Bardes,Laurent Najman,Yann Lecun
AI综述（大模型驱动）：基于相似性和不相似性度量,我们研究了一种新的基于相似的和不相似的度量方法,并将其与流行的方法进行了比较。我们将相似性的理论和量化方法与流行的度量偏好进行比较,以表明这些方法在某些情况下可以很好地对应。
论文链接：https://www.aminer.cn/pub/629ec1f95aee126c0fb703f6/

4. A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

作者：Yuqi Nie,Nam H. Nguyen,Phanwadee Sinthong,Jayant Kalagnanam
AI综述（大模型驱动）：我们提出了一种高效的基于变形器的时间系列预测和自我监督表示学习模型的新型设计。
论文链接：https://www.aminer.cn/pub/6385788490e50fcafdf4998e/

5. Bridging the Gap to Real-World Object-Centric Learning

作者：Maximilian Seitzer,Max Horn,Andrii Zadaianchuk,Dominik Zietlow,Tianjun Xiao,Carl-Johann Simon-Gabriel,Tong He,Zheng Zhang,Bernhard Schölkopf,Thomas Brox,Francesco Locatello
AI综述（大模型驱动）：机器学习算法赋予了人类自然将其环境分解为实体并在适当的抽象层次实施行为。迫使机器学习技术将这种分解归纳为无监督的方法变得至关重要。然而,目前的方法仅限于模拟数据或需要运动或深度的信息来发现对象。在本文中,我们证明了从模型中归纳特征的重新建模是充分的训练信号,可以以完全无监督的方式生成对象对称的表示。DINOSAUR是概念简单而表现出竞争性能的。
论文链接：https://www.aminer.cn/pub/63365e7d90e50fcafd1a30c3/

6. Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization

作者：Mingxuan Ju,Tong Zhao,Qianlong Wen,Wenhao Yu,Neil Shah,Yanfang Ye,Chuxu Zhang
AI综述（大模型驱动）：图生成神经网络的自我监督学习已经引起了人们对基于图的机器学习系统的发展越来越大的关注。本文介绍了ParetoGNN,这是一个多任务欧元标记的学习框架。该框架由观察多个信仰来引导学习,并在学习过程中最大化潜在冲突时有效地从每个原始文本任务中学习。此外,我们发现,通过学习来自不同信仰的不同思想来提高单个任务的性能,该框架不仅有助于学习,而且大大改善了单个任务的泛化。 
论文链接：https://www.aminer.cn/pub/633e476490e50fcafde5915a/

7. Self-supervised learning with rotation-invariant kernels

作者：Léon Zheng,Gilles Puy,Elisa Riccietti,Patrick Pérez,Rémi Gribonval
AI综述（大模型驱动）：我们提出了一种通用核框架,该框架允许将嵌入分布与超图中上下文线性分布相近。我们的框架使用超图上指定的旋转变换核来设计一种通用的规范化损失,该损失促进了嵌入者分布的相对平行性,与最大似然不相似度伪度量进行比较。我们表明,这种灵活的核方法涵盖了几个现有的自我监督学习方法,包括基于统一的和信息最大化方法。最后,通过实验研究几个核选择,我们的实验表明,使用一种带有旋转的变换核可以获得与最先进的方法相比的竞争结果,并表明我们的方法优于核 trick来降低计算复杂性。
论文链接：https://www.aminer.cn/pub/62ea18e05aee126c0fca2ab8/

8. LexMAE: Lexicon-Bottlenecked Pretraining for Large-Scale Retrieval

作者：Tao Shen,Xiubo Geng,Chongyang Tao,Can Xu,Xiaolong Huang,Binxing Jiao,Linjun Yang,Daxin Jiang
AI综述（大模型驱动）：词汇权重归纳的重新训练框架在广泛的语料库检索中取得了有竞争力的结果,但仍然存在一个关键的缺口,即语言建模和词汇计数重叠词。为了打破这个问题,我们提出了一种新的学习算法,即词汇瓶颈隐马尔可夫解码器(LexMAE),学习重要意义意识的词汇表示。
论文链接：https://www.aminer.cn/pub/6310233e90e50fcafdc2f743/

9. Towards the Generalization of Contrastive Self-Supervised Learning

作者：Weiran Huang,Mingyang Yi,Xuyang Zhao
AI综述（大模型驱动）：自我监督学习是一种流行的自举学习方法,在实践中表现得很好。然而,自举学习的理论理解其在下流任务上推广的能力尚未研究好。因此,我们提出了一种理论解释如何将对比性自我监督训练模型应用于下流任务。具体地说,如果将输入数据嵌入特征空间,并有区别的班级中心和间隙班级的样本,则该模型具有通用性的推广能力。最后,我们还探讨了SimCLR和巴洛双胞胎,它们是两个典型的相干自举方法之一。 
论文链接：https://www.aminer.cn/pub/6180ac445244ab9dcb793e4e/

10. On the Data-Efficiency with Contrastive Image Transformation in Reinforcement Learning

作者：Sicong Liu,Xi Sheryl Zhang,Yushuo Li,Yifan Zhang,Jian Cheng
AI综述（大模型驱动）：图像增强学习一直是数据效率的必需问题。作为 Agent,它不仅学习决策,还从图中提取有意义的表示。与数据增加相关的线性激励学习显示出显著的改进。然而,很难保证最佳变体转换,即扩充的数据很容易被agent识别为完全不同的状态。因此,我们提出了一种相反的替代变体转换(CoIT),这是一种简单但令人兴奋的方法来提高样本效率。具体来说,可分离的CoIT端到端将原始样本和扩展的样本合并起来,从而提高了样本效率。我们评估了我们的方法在DeepMind控制套件和Atari100K上。实验结果验证了使用CoIT的进步,允许它在各种任务上优于最新水平。 
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6445/

想查看全部自监督学习论文，可以点击下方链接：

https://www.aminer.cn/conf/5ea1d518edb6e7d53c0100cb/ICLR2023