ICLR2023 语言模型论文合集

国际表征学习大会（International Conference on Learning Representations，简称 ICLR）是深度学习领域的顶级会议，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

AMiner通过AI技术，对 ICLR2023 收录的会议论文进行了分类整理，今日分享的是语言模型主题论文，共50篇，我们在这里展示十篇最受欢迎的论文，欢迎下载收藏！

1. GLM-130B: An Open Bilingual Pre-trained Model

作者：Aohan Zeng,Xiao Liu,Zhengxiao Du,Zihan Wang,Hanyu Lai,Ming Ding,Zhuoyi Yang,Yifan Xu,Wendi Zheng,Xiao Xia,Weng Lam Tam,Zixuan Ma,Yufei Xue,Jidong Zhai,Wenguang Chen,Peng Zhang,Yuxiao Dong,Jie Tang
AI综述（大模型驱动）：我们介绍了格林-130B,一种双语(英语和汉语)预训练的语言模型。它试图将100亿个参数的模型公开上传,并揭示这种规模的模型如何成功进行预训练。在这一努力过程中,我们面临着许多意外的技术和工程挑战,尤其是对于损失急剧和转换。在本文中,我们详细介绍了GLM-130B的训练过程,包括其设计选择、优化策略、可靠性和稳定性以及工程努力。由此产生的格林--130B模型在广泛的英语基线和相关基线上都优于GPT-3 175B。
论文链接：https://www.aminer.cn/pub/633e476890e50fcafde59595/

2. Self-Consistency Improves Chain of Thought Reasoning in Language Models

作者：Xuezhi Wang,Jason Wei,Dale Schuurmans,Quoc Le,Ed Chi,Sharan Narang,Aakanksha Chowdhery,Denny Zhou
AI综述（大模型驱动）：我们探讨了一种简单的集成策略,自我控制,这大大提高了大型语言模型的推理精度。想法是试图从语言模型的一组输出中检索一组不同的输出,并返回一组最一致的答案。这种压缩方法在组合过程中优于推理启发链。在rithmetic和一般逻辑推理研讨会上,我们发现自我控制在各种数据集上产生了显著的改进。
论文链接：https://www.aminer.cn/pub/62393e845aee126c0f1265e1/

3. Large Language Models Are Human-Level Prompt Engineers

作者：Yongchao Zhou,Andrei Ioan Muresanu,Ziwen Han,Keiran Paster,Silviu Pitis,Harris Chan,Jimmy Ba
AI综述（大模型驱动）：通过对自然语言指令的 conditioning,大型语言模型(LLM)在文本处理方面表现出令人印象深刻的性能。然而,任务性能很大程度上取决于指令的使用质量,而最好的指令是由人类手工制作的。我们提出了一种新的启发式指令设计方法,该方法将指令视为"任务",并通过遍历其中选择的启发候选函数来最大限度地提高该函数的质量。在24个NLP任务中进行的实验表明,我们的自动生成的指令比原始基线提高了至少一个百分点,达到与人类注释员19/24任务中生成的相同或相似的性能。我们表明,启发式的指令可以应用于引导模型向事实性和/或信息性,并通过直接将它们预定到标准的实例学习指令来提高几射学习性能。
论文链接：https://www.aminer.cn/pub/636482d790e50fcafdccaff6/

4. Discovering Latent Knowledge in Language Models Without Supervision

作者：Collin Burns,Haotian Ye,Dan Klein,Jacob Steinhardt
AI综述（大模型驱动）：语言模型的潜在知识通常与事实不相称。我们提出了一种有效的方法来发现语言模型内部的知识来源。它通过找到激励向量空间的方向来实现逻辑一致性属性。在6个模型和10份问答数据集上,该方法优于零射击精度4倍。此外,当模型被要求生成正确的答案时,该方法可以节省警告敏感性一半。 
论文链接：https://www.aminer.cn/pub/6391560390e50fcafd9c52fd/

5. Learning on Large-scale Text-attributed Graphs via Variational Inference

作者：Jianan Zhao,Meng Qu,Chaozhuo Li,Hao Yan,Qian Liu,Rui Li,Xing Xie,Jian Tang
AI综述（大模型驱动）：本文研究了文本标注图的学习,每个节点都与一个文本描述相关。理想的解决方案是将语言模型和图形神经网络(GNN)与大规模语言模型、图形语言神经网络和EM框架相结合。然而,对于大规模的图,这个问题变得非常困难,因为大规模的文本和图的计算复杂性使得问题变得非常棘手。在本文中,我们提出了一种有效的和有效的学习方法,通过将图结构和语言学习与变量期望最大化(EM)框架结合,将其改进为E-步骤和M步骤。这种程序允许单独训练两个模块,但同时允许它们相互增强。大量数据集的实验证明了该方法的效率和有效性。
论文链接：https://www.aminer.cn/pub/6359f6fb90e50fcafd8b7f62/

6. Language Modelling with Pixels

作者：Phillip Rust,Jonas F. Lotz,Emanuele Bugliarello,Elizabeth Salesky,Miryam de Lhoneux,Desmond Elliott
AI综述（大模型驱动）：基于图的语言建模本文介绍了基于图的分层编码器PIXEL,它将文本视为图像,并将其转换为图形。PIXE支持多种语言,包括英语、德语、法语、韩语、西班牙语、捷克语、挪威语、瑞典语、乌尔都语和泰耳语。此外,它还比伯特·贝特表现出更鲁棒的语言处理能力。
论文链接：https://www.aminer.cn/pub/62d0db155aee126c0f9f1014/

7. Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization

作者：Rajkumar Ramamurthy,Prithviraj Ammanabrolu,Kianté Brantley,Jack Hessel,Rafet Sifa,Christian Bauckhage,Hannaneh Hajishirzi,Yejin Choi
AI综述（大模型驱动）：我们解决了将大型语言模型(LMs)与人类偏好的对齐问题。如果我们认为文本生成作为顺序决策问题的自然概念框架,强化学习(RL)似乎是一种自然的概念框架。然而,对于基于LM的生成器来说,这项任务面临的实证挑战,包括训练不稳定性以及缺乏开放资源和改进度量。
论文链接：https://www.aminer.cn/pub/633cf5cf90e50fcafd772ddd/

8. Selective Annotation Makes Language Models Better Few-Shot Learners

作者：Hongjin Su,Jungo Kasai,Chen Henry Wu,Weijia Shi,Tianlu Wang,Jiayi Xin,Rui Zhang,Mari Ostendorf,Luke Zettlemoyer,Noah A. Smith,Tao Yu
AI综述（大模型驱动）：本文研究了上下文学习对自然语言任务的创建影响。我们定义了一个有效、两步框架:选择先前标注的数据集的示例清单,然后递归检索以从未标记数据中提取示例。基于这种框架,我们提出了一种无监督、图形上的任意标注方法vokk,用于选择具有代表性的示例来注释。大量的实验表明,我们的任意标注方法可以显著提高任务性能。在10个数据集上进行的广泛的实证结果表明,该框架在10个任务中产生了接近12.6%的相对增益。 
论文链接：https://www.aminer.cn/pub/63180bf390e50fcafded7135/

9. Generate rather than Retrieve: Large Language Models are Strong Context Generators

作者：Wenhao Yu,Dan Iter,Shuohang Wang,Yichong Xu,Mingxuan Ju,Soumya Sanyal,Chenguang Zhu,Michael Zeng,Meng Jiang
AI综述（大模型驱动）：开放领域问答(QA)需要大量世界或领域知识。本文提出了一种通过将文档检索器转换为大规模语言模型生成器来解决知识intensive任务的新视角。我们称之为生成-然后读(GenRead),它首先迫使大规模语料库生成基于给定问题的上下文文本,然后将生成的文档阅读以产生最终答案。此外,我们提出了一种新的基于聚类激励方法,该方法选择不同的激励步骤,产生具有不同的视角的文档,从而产生具有不同视角的文档。我们证明了通过组合检索和生成,可以进一步提高模型的性能。
论文链接：https://www.aminer.cn/pub/632bd2a990e50fcafdb7a24d/

10. Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning

作者：Antonia Creswell,Murray Shanahan,Irina Higgins
AI综述（大模型驱动）： 大规模语言模型在许多应用程序中都受到了广泛的关注。然而,它们在多步逻辑推理问题上表现得不太好。在这里,我们对50个任务进行全面评估,这些任务试图探讨逻辑推理的各个方面。我们表明,语言模型在单步推理或蕴涵性任务中表现良好,但很难将多个推理步骤整合起来来解决更复杂的问题。基于这种考虑,我们提出了一个选择推理框架,该框架利用训练好的LLM作为一般处理模块,并在选择和推理之间生成一系列解释 plausible的、随机推理步骤以产生最终答案。 
论文链接：https://www.aminer.cn/pub/628707335aee126c0f78c5c7/

想查看全部语言模型论文，可以点击下方链接：

https://www.aminer.cn/conf/5ea1d518edb6e7d53c0100cb/ICLR2023