2024年AIGC生成式人工智能治理与实践白皮书q
今天分享的是：2024年AIGC生成式人工智能治理与实践白皮书（报告出品方：阿里云）
2022年11月30日，0penA1发布了对话式通用人工智能服务ChatGPT。仅推出5天，用户数就超过100万;上线两个月后，用户数突破1亿，成为A界的顶流。ChatGPT能遭循人类指令完成各种认知型任务，包括交互对话、文本生成、实体提取、情感分析、机器翻译、智能问答、代码生成、代码纠错等，并且展现出了和人类近似的水平。2023年3月15日，GPT-4发布，在知识推理以及在逻辑运算方面有大幅提升，还支持多态输入，进一步扩展了应用场景。
ChatGPT成功背后的技术突破主要有以下三个方面:
(1)超大规模参数的预训练语言模型
为了使模型具备通用的能力，必须学习到世界知识，这要求模型具有足够大的参数量来存储海量的世界知识。GPT-3.5的模型參数已经达到 1750亿的规模。随着模型参数量的扩大，语言模型还出现能力涌现的现象，例如上下文学习(In-contexdtLearning)，以及思维链(Chain OfThought)等推理力。
(2)多任务的自然语言预训练模型
自然语言处理任务包括问答、机器翻译、阅读理解、摘要、实体抽取等，之前的学术研究都在特定的任务下进行针对性的算法设计，迁称性差。而CatGPT采用了多任务预训练的方式，不同任务共享模型参数。这使得模型具有通用能力，下游任务不再需要微调，直接通过提示学习或者零样本学习就具有很强的性。
(3)基于人工反馈机制的强化学习
DpenAl通过引入指令微调以及基于强化学习的微调技术，提升模型和人类的价值观对齐。具体来看，指令微调技术使语言模型得以支持用户以人类惯常的沟通方式，与模型进行互动并推动模型能力的提升。同时，通过人工反馈和标注数据，借助强化学习进行微调，从面确保模型具备正确的价值观。
报告共计：96页
以下为报告节选内容
报告共计：96页
中小未来圈，你需要的资料，我这里都有！