ICLR2023 对比学习论文合集

国际表征学习大会（International Conference on Learning Representations，简称 ICLR）是深度学习领域的顶级会议，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

AMiner通过AI技术，对 ICLR2023 收录的会议论文进行了分类整理，今日分享的是对比学习主题论文，共30篇，我们在这里展示十篇最受欢迎的论文，欢迎下载收藏！

1.Simple Yet Effective Graph Contrastive Learning for Recommendation
作者：Xuheng Cai,Chao Huang,Lianghao Xia,Xubin Ren
AI综述（大模型驱动）：在本文中,我们提出了一种简单的 yet有效的图形对比性学习范式LightGCL。我们的模型仅使用单一的属性分解来捕获最先进的特征集成。实验表明,该方法优于基线建议者的一般性和鲁棒性。进一步分析表明,与数据稀疏和流行误导相比,LightGCL比基线建议者具有更好的可靠性。 
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6152/

2.SemPPL: Predicting pseudo-labels for better contrastive representations
作者：Matko Bošnjak,Pierre H. Richemond,Nenad Tomasev,Florian Strub,Jacob C. Walker,Felix Hill,Lars Holger Buesing,Razvan Pascanu,Charles Blundell,Jovana Mitrovic
AI综述（大模型驱动）：我们提出了一种新的半监督学习方法,即语义积极性通过pseudo标签(SemPPL),它将标记和未标记数据相结合来学习有意义的表示。我们的方法扩展了自我监督对比学习,其中表示由区分两个样本是否代表相同的基线假设来塑造。为了丰富一组积极性的集合,我们利用现有的少数基本正确标记预测器来预测缺失的部分,并使用带有同样错误的标记的邻居分类器的启发式算法来预测缺失的部分。我们联合学习表示和预测基于bootstrapping的正负面符号。这创造了一个复兴的过程。 
论文链接：https://www.aminer.cn/pub/63c0cc6490e50fcafd2a8e32/

3.LiftedCL: Lifting Contrastive Learning for Human-Centric Perception
作者：Ziwei Chen,Qiang Li,Xiaofeng Wang,Wankou Yang
AI综述（大模型驱动）：人机对称感知的目标是理解人类面部、形状和分割。该模型在大型数据集上先前训练,并在特定的任务上精心调整。最近,自我监督学习方法已经重新研究了相反的学习来达到各种下流任务的最高性能。当处理人机对称感知时,仍有无法逃脱的潜力,因为3D人的结构信息在预后培训中被忽视了。本文提出了拉起倾斜学习(LateCra)以获得3D可信的人机对称表示,这些表示能够捕捉到3D人的结构信息。特别地,为了诱导学习过程,由随机抽样的一组3D骨骼被逐次投射给3D人的生物医学先验。
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b61e0

4.What Do Self-Supervised Vision Transformers Learn?
作者：Namuk Park,Wonjae Kim,Byeongho Heo,Taekyung Kim,Sangdoo Yun
AI综述（大模型驱动）：我们提出了比较研究了如何和为什么对比性学习(CL)和隐藏图建模(MIM)在下流任务中表现和性能的不同。特别是,基于自我监督的视角转换器(ViTs)有以下特质:(1) CL训练了自我注意力来捕捉物体或对象的形状,与密切相关的特征相反,维特在其表示空间中将图像分离为线性。这种特性使得维特对整个头部、深处和查询标记集进行统一性,从而产生了一个更好的可扩展性和细粒度预测性能。通过这些分析,我们发现,最简单的协调可以享受两种方法的优点。 
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6398/

5.Towards the Generalization of Contrastive Self-Supervised Learning
作者：Weiran Huang,Mingyang Yi,Xuyang Zhao
AI综述（大模型驱动）：自我监督学习是一种流行的自举学习方法,在实践中表现得很好。然而,自举学习的理论理解其在下流任务上推广的能力尚未研究好。因此,我们提出了一种理论解释如何将对比性自我监督训练模型应用于下流任务。具体地说,如果将输入数据嵌入特征空间,并有区别的班级中心和间隙班级的样本,则该模型具有通用性的推广能力。最后,我们还探讨了SimCLR和巴洛双胞胎,它们是两个典型的相干自举方法之一。 
论文链接：https://www.aminer.cn/pub/6180ac445244ab9dcb793e4e/

6.Unbiased Supervised Contrastive Learning
作者：Carlo Alberto Barbano,Benoit Dufumier,Enzo Tartaglione,Marco Grangetto,Pietro Gori
AI综述（大模型驱动）：我们首先提出了一个基于边界的理论框架,这允许我们解释为什么最近的近似损失(InfoNCE、SupCon等)会失败。然后,我们发现了一种新的监督相干损伤方法(EPIC)、提供更精确的控制权衡距离的最小误差。此外,由于我们的理论框架,我们还提出了费尔KL,一种新的相干规范化损失,它即使是极度偏见的数据也能很好地工作。我们评估了这些投影数据集上的投影性能,达到了许多有偏见的投影数据集上最新最先进的性能水平。 
论文链接：https://www.aminer.cn/pub/636dbe6990e50fcafd79aa6f/

7.Contrastive Learning for Unsupervised Domain Adaptation of Time Series
作者：Yilmazcan Ozyurt,Stefan Feuerriegel,Ce Zhang
AI综述（大模型驱动）： 无监督领域自适应(UDA)旨在学习使用标记的源域表现出优异的、不标记的目标域。我们开发了一个称为克劳达的新框架,该框架利用了多个变体时间系列中不同特征的比较学习算法。特别地,我们提出了一种比较学习框架来学习多项式时间系列中上下文表示,以此来保留预测任务中的标签信息。在我们的框架下,我们还通过选择最靠近邻接的相似性学习来捕捉来自源和目标域之间的变化。为了最好的理解,我们是第一个学习领域不变、上下文表示的框架。 
论文链接：https://www.aminer.cn/pub/62a7fc645aee126c0ff5e5bb/

8.Rethinking the Effect of Data Augmentation in Adversarial Contrastive Learning
作者：Rundong Luo,Yifei Wang,Yisen Wang
AI综述（大模型驱动）：我们对现有的自我评估系统进行了改进,并将其应用于挑战性学习。然而,与监督任务(at)相比,独立监控的稳健性存在很大差异。为了解决这个问题,我们提出了一种简单的解决方案——称为DynACL(动态敌对反击学习)。特别是,我们提出了一个增援计划,该计划逐渐将强度从强烈的增援扩展到薄弱的增援,以最大限度地受益于两个极端的情况。
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b65f7/

9.Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning
作者：Sheng Zhang,Hao Cheng,Jianfeng Gao,Hoifung Poon
AI综述（大模型驱动）：我们提出了一种有效的命名实体识别(NER)双信噪声解码框架,该框架应用了对比学习来将候选文本跨度和entity类型映射到相同的向量表示空间。以前的工作主要将NER视为一个度量学习问题,该问题最大化了entity提及和其类型的向量的相似性。这使得它易于处理连贯和立方体NER一样,并且可以更好的利用静态自诊断信号。我们提出了一组实验,证明了该方法在监督和远程监督下都优于以前的方法。
论文链接：https://www.aminer.cn/pub/6310233d90e50fcafdc2f5b3/

10.The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning
作者：Zhenmei Shi,Jiefeng Chen,Kunyang Li,Jayaram Raghuram,Xi Wu,Yingyu Liang,Somesh Jha
AI综述（大模型驱动）：在本文中,我们研究了一种新的近似学习算法,即基于对数线性推理的学习。该方法利用了一个理论数据模型来提供分析,并表明,尽管更多的训练数据会产生不同的特征,但它只侧重于任务特定的特征,从而导致更高的投影复杂度,使下流监督任务变得更具表现力。我们提出了一种改进的近似规范化方法,以提高这两个愿景之间的权衡。 
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b619f/

想查看全部对比学习论文，可以点击下方链接：

https://www.aminer.cn/conf/5ea1d518edb6e7d53c0100cb/ICLR2023