车万翔，窦志成，冯岩松等。大模型时代的自然语言处理：挑战、机遇与发展。中国科学: 信息科学。doi：10.1360/SSI-2023-0113

研究意义

近期发布的 ChatGPT 和 GPT-4 等大型语言模型，不仅能高质量完成自然语言生成任务，生成流畅通顺、贴合人类需求的语言，而且具备以生成式框架完成各种开放域自然语言理解任务的能力。在少样本、零样本场景下，大模型可取得接近乃至达到传统监督学习方法的性能，且具有较强的领域泛化性。以 ChatGPT 为代表的大型语言模型，给自然语言处理带来的是威胁、挑战还是新的机遇? 今后的自然语言处理核心任务将采用何种主流范式实现语言理解和生成? 自然语言处理的研究领域将如何延伸? 以大模型为代表的自然语言处理技术将如何引领通用人工智能的发展? 本文就大模型对自然语言处理的影响进行了详细的调研和思考，试图分析大模型对自然语言处理核心任务带来的冲击和启发，探讨大模型将加强哪些自然语言处理共性问题的研究热度，展望大模型、自然语言处理技术的未来发展和应用，以期回答上述问题。

本文工作

本文首先介绍相关的背景知识，包括自然语言处理的概念和研究历史，大规模预训练语言模型从语言模型、预训练模型到大模型的技术发展历程，以及 ChatGPT 和 GPT-4 的基本技术与能力。之后，如下图所示，本文从核心任务、共性问题展开介绍，并加以讨论。

自然语言处理包含自然语言理解和自然语言生成两个方面，核心任务包括文本分类、结构化预测、语义分析、知识图谱、信息提取、情感计算、文本生成、自动文摘、机器翻译、对话系统、信息检索、自动问答等。针对各种自然语言处理核心任务，我们首先介绍其任务需求和主流方法，然后分析大模型对其主流研究范式所带来的影响，并探讨未来研究趋势。分析结果表明，大模型为自然语言处理带来了架构通用化、任务统一化、能力按需化、模型定制化等变化趋势。今后在各种自然语言理解和生成任务的主流架构和范式逐渐统一的情况下，一方面，各种自然语言处理任务有望进一步得到整合，以增强自然语言处理模型的通用性，减少重复性工作。另一方面，基于大模型的强大基础能力，针对具体任务进行按需适配、数据增强、模型压缩与轻量化、跨模态和多模态融合，加强自然语言处理模型方法的可控性、可配性、领域适应性、多样性、个性化和交互能力，将进一步拓展自然语言处理的应用场景.

在自然语言处理研究领域中，除了各种核心任务之外，还有可解释性、公平性、安全性、可靠性、能耗、数据质量和评价等一些共性问题。这些问题不是某种任务所特有的，而是广泛存在于各种自然语言理解和生成任务中。围绕这些共性问题进行针对性研究，分析其成因和机理，设计应对措施，对确保自然语言处理任务的性能、效率、稳定性和领域适用性至关重要。未来，针对模型分析和可解释性、伦理问题与安全性、信息准确性、计算成本与能源消耗、数据资源和模型评价等各种自然语言处理共性问题的研究将越来越深入。

展望未来

自然语言处理是人工智能的重要组成部分，是人工智能从感知智能上升到认知智能的主要手段。ChatGPT的出现，已经打开了通向通用人工智能的大门。未来，以大模型作为基座，利用工具学习、多模态融合、具身智能拓展其感知、计算、推理、交互和控制能力，自然语言处理技术将进一步助力通用人工智能的发展，促进各行各业的生产力进步，更好地为人类社会服务。