ChatGPT介绍
ChatGPT和OpenAI公司介绍
ChatGPT介绍
官方说明
ChatGPT 是在GPT-3.5 系列中的一个模型上进行微调而成，它以对话方式进行交互（优化对话语言模型）。对话格式使 ChatGPT 可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT 是InstructGPT的同级模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。
我们使用与 InstructGPT 相同的方法，使用来自人类反馈的强化学习 (RLHF) 来训练该模型，但数据收集设置略有不同。我们使用监督微调训练了一个初始模型：训练者提供对话样本，他们在对话中扮演双方，即用户和 AI 助手。训练者还可以访问模型编写的建议，以帮助他们撰写回复。
为了创建强化学习的奖励模型，需要收集比较数据，其中包含两个或多个按质量排序的模型响应。为此，我们随机选择了一条模型编写的信息，对替代结果进行抽样，并让训练者对它们进行排名。通过使用上述的奖励模型和用近端策略优化来微调模型，并进行了几次迭代，最后得到了该模型。
机器学习 -> CNN、RNN -> Transformer（2017）-> GPT-1（2018） -> GPT-2（2019） -> GPT-3（2020）-> InstructGPT（2022） -> ChatGPT（2022）
- Transformer 的核心是在数学上计算输入元素之间的关联（Attention），基于自我注意力机制来并行计算，实现自我监督学习。通过这种模式成功的消除了训练数据集的标注需求！模型包括三个主要部分：输入层、中间层和输出层。通常，输入层会对输入序列进行编码，中间层通过注意力机制来组合信息，而输出层则根据组合后的信息生成预测结果。
- GPT-1：参数量达1亿，是一种语言模型，由OpenAI训练，用于预测下一个单词，使其能够生成自然语言文本。它是基于Transformer模型，拥有大量训练数据和计算能力，能够生成高质量的文本。算得上一个还算不错的语言理解工具而非对话式AI。
- GPT-2：参数量达15亿，学习目标则使用无监督预训练模型做有监督任务。在性能方面，除了理解能力外，GPT-2在生成方面第一次表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。
- GPT-3：参数量达1750亿，作为一个无监督模型（自监督模型），几乎可以完成自然语言处理的绝大部分任务，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。一个无监督模型功能多效果好，似乎让人们看到了通用人工智能的希望。
- InstructGPT：是一个更真实、更无害，更好地遵循用户意图的语言模型，经过微调的新版本GPT-3，可以将不真实的、有害的和有偏差的输出最小化。
- ChatGPT：每走一步，都会观察人类的反馈，重点是能更好的分析人类的意图。
