大模型论文周报丨来自OpenAI、谷歌、马里兰大学、港中文等机构前沿科研动态

大模型又可以称为Foundation Model模型，模型通过亿级的语料或者图像进行知识抽取，学习进而生产了亿级参数的大模型。大模型的出现迎来了AI研究的新时代，其所带来的结果提升十分显著，超越了很多领域中针对研究问题设计特定算法实现的提升。

本周精选了10篇大模型领域的优秀论文，分别来自OpenAI、谷歌、马里兰大学、港中文等机构。

为了方便大家阅读，只列出了论文标题、作者、AI华同学综述等信息，如果感兴趣可点击“论文详情页”查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

1. Teaching Large Language Models to Self-Debug

作者：Xinyun Chen,Maxwell Lin,Nathanael Schärli,Denny Zhou

链接：https://www.aminer.cn/pub/643621a290e50fcafd666178

AI华同学综述（大模型驱动）：在本文中,我们提出了基于语法的大型语言模型的自我清理。它教人们通过几秒钟的视频演示来解析大规模语言模型的预测。特别是,我们证明了该算法可以指导一个大型的语言模型执行橡皮切割,即没有对编码错误或误报的信息进行投诉。此外,我们还展示了如何使用从自然语言解释编写的程序来识别和纠正未知错误。

2. OpenAGI: When LLM Meets Domain Experts

作者：Yingqiang Ge,Wenyue Hua,Jianchao Ji,Juntao Tan,Shuyuan Xu,Yongfeng Zhang

链接：https://www.aminer.cn/pub/6434cfd690e50fcafd7a456f

AI华同学综述（大模型驱动）：大规模语言模型的计算能力令人惊叹。我们开发了一个开放式AGI研究平台,专门为复杂的任务定义了各种不同的外部模型。此外,我们提出了一种从任务反馈中受益的强化学习机制,该机制利用问题解决方案作为对其问题的回应。为了促进社区长期改善和评估AGI的能力,我们公开提供数据集的编码、测量和评价方法。

3. Generative Agents: Interactive Simulacra of Human Behavior

作者：Joon Sung Park,Joseph C. O'Brien,Carrie J. Cai,Meredith Ringel Morris,Percy Liang,Michael S. Bernstein

链接：https://www.aminer.cn/pub/64337e3190e50fcafd76ef32

AI华同学综述（大模型驱动）：这篇论文介绍了生成代理的概念，即模拟人类行为的计算机软件代理。作者描述了一种通过扩展大型语言模型来记录代理人经历并动态检索以规划行为的体系结构，并在交互式沙箱环境中实例化生成代理。作者通过评估展示了生成代理的可信度，证明了观察、计划和反思等组件对于代理行为的可信度具有至关重要的贡献。这项工作结合了大型语言模型和计算机交互代理，为实现人类行为的可信度模拟引入了架构和交互模式。

4. Emergent autonomous scientific research capabilities of large language models

作者：Daniil A. Boiko,Robert MacKnight,Gabe Gomes

链接：https://www.aminer.cn/pub/643621a290e50fcafd66658c

AI华同学综述（大模型驱动）：本文提出了一种 intelligent agent系统,它整合了多个大规模语言模型,用于自动设计、规划和执行科学实验。通过三个不同的例子展示 Agent的科学研究能力,重点介绍了 Catalyzed Cross Coupling Reaction的成功性能。最后,我们讨论了这些系统的安全影响,并提出了防止它们失效的措施。

5. CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society

作者：Guohao Li,Hasan Abed Al Kader Hammoud,Hani Itani,Dmitrii Khizbullin,Bernard Ghanem

链接：https://www.aminer.cn/pub/642a43b890e50fcafd9b0319

AI华同学综述（大模型驱动）：该论文探讨了在大规模语言模型社区中建立可扩展的技术以促进通信代理之间的自主合作，并提供有关其“认知”过程的见解的潜力。为了应对实现自主合作的挑战，论文提出了一种名为角色扮演的新型通信代理框架。论文展示了如何使用角色扮演来生成对话数据，以研究聊天代理的行为和能力，为调查对话语言模型提供有价值的资源。该研究的贡献包括引入一种新型的通信代理框架，提供一个可扩展的研究多代理系统合作行为和能力的方法，并在GitHub上开源了他们的库来支持通信代理及其它领域的研究。

6. Consistency Models

作者：Yang Song,Prafulla Dhariwal,Mark Chen,Ilya Sutskever

链接：https://www.aminer.cn/pub/640166a590e50fcafd68b674

AI华同学综述（大模型驱动）：我们提出了一致性模型,一种新的生成模型家族。它们支持快速一步生成,而允许少量步骤的采样以获得高质量的 Sample质量。他们还支持像图案打印、彩绘和超解析等无监督操作。通过广泛的实验证明了这些模型优于现有的生成技术。

7. On the Possibilities of AI-Generated Text Detection

作者：Souradip Chakraborty,Amrit Singh Bedi,Sicheng Zhu,Bang An,Dinesh Manocha,Furong Huang

链接：https://www.aminer.cn/pub/6434cfd690e50fcafd7a4b23

AI华同学综述（大模型驱动）：我们研究了大规模语言模型生成文本的挑战。在许多应用程序中,能够区分机器和人类输出是至关重要的事情。然而,这种辨认的可能性和可能是非法的可能性一直是社区的一个焦点问题。因此,一个核心的问题是,是否可以检测到人工智能生成的文本以及一旦。在这项工作中,我们提供了证据证明,即使人类还是需要更多的样本来检测它。我们得出了一个精确的样本复杂度线性,该线性告诉你有多少样本必须寻找。这为设计更复杂的探测器提出了额外的挑战。

8. Phoenix: Democratizing ChatGPT across Languages

作者：Zhihong Chen,Feng Jiang,Junyin Chen,Tiannan Wang,Fei Yu,Guiming Chen,Hongbo Zhang,Juhao Liang,Chen Zhang,Zhiyi Zhang,Jianquan Li,Lian Zhang,Xiang Wan,Benyou Wang

链接：https://www.aminer.cn/pub/6438d78fcf18aa11d8b56756

AI华同学综述（大模型驱动）：这篇论文介绍了他们在不同语言间推广ChatGPT的努力，并成功训练了一种名为“Phoenix”的大型语言模型，可以在开源的英文和中文模型中达到可比较的性能，并在低资源语言中取得了优异的表现。他们认为这项工作将有助于在不使用拉丁语言的国家推广ChatGPT。同时，他们分享了他们的数据、代码和模型。

9. Training Large Language Models Efficiently with Sparsity and Dataflow

作者：Venkat Srinivasan,Darshan Gandhi,Urmish Thakker,Raghu Prabhakar

链接：Training Large Language Models Efficiently with Sparsity and Dataflow

AI华同学综述（大模型驱动）：本文通过 sparsity和 dataflow在大型语言模型13亿美元的GPT上进行训练。数据流执行模型和架构能够有效地对芯片不规律内存访问以及原始核融合和管道式并行性来帮助恢复设备使用。我们证明了在相同质量下训练GPT 13B模型可以与密集GPT 13B模型相媲美,同时实现了超过密集A100基线的基础速度提升4.5倍。

10. A Billion-scale Foundation Model for Remote Sensing Images

作者：Keumgang Cha,Junghoon Seo,Taekyung Lee

链接：A Billion-scale Foundation Model for Remote Sensing Images

AI华同学综述（大模型驱动）：我们对基线模型的训练和性能进行了实证研究。实验结果表明,随着模型参数的增加,在下流任务中的数据效率提高了。此外,我们提出了一种有效的方法来调整和优化无人机视图变换器。

想要获得更多内容，欢迎使用AMiner订阅小程序。

小程序最新上线了"arXiv Category"，在小程序上就能刷到每日arXiv新论文啦！

使用也很简单，只需三步即可完成订阅推荐！

一：打开小程序，在 “订阅管理” 中选择 “arXiv”；

二：选择你关注的关键词；

三：返回 “订阅”页面，选择 “arXiv”， 即可刷到你关注的关键词的相关论文。