ChatGPT 并不是第一个语言模型；它甚至不是第一个 GPT 模型。但它在自然语言处理方面取得了重大飞跃——普及大型语言模型并加速人工智能的采用。

哪些因素促成了 ChatGPT 的成功？

本文探讨了 ChatGPT 的历史、其背后的技术及其应用、未来发展以及对社会的影响。

了解 ChatGPT 的过去、现在和未来。

目录

• 什么是 ChatGPT？

• ChatGPT 背后的技术

• OpenAI 的历史

• ChatGPT 的历史

• 影响和启示

• ChatGPT：从历史到未来

什么是 ChatGPT？

ChatGPT 是一款功能强大的人工智能聊天机器人，能够生成类似人类的文本并根据书面命令执行任务。它是狭义人工智能 (ANI)的高级形式，也是迈向通用人工智能 (AGI) 的一大步。（我们的人工智能学习初学者指南更详细地解释了人工智能类型之间的差异。）

ChatGPT 中的 GPT 代表生成式预训练 Transformer——一种使用深度学习产生类人语音的大型语言模型。换句话说，ChatGPT 是一个基于 GPT 模型的 AI 解决方案。GPT 技术还为 OpenAI 的 Codex、Copy.ai、Jasper 等产品提供支持。

我们将讨论 ChatGPT 的历史及其背后的技术和公司。但首先，让我们从大型语言模型开始定义关键术语。

ChatGPT 背后的技术

大型语言模型 (LLM)是经过大量数据集训练的神经网络，能够理解和生成类人语音。该技术属于生成式人工智能类别（明确设计用于生成输出的模型） ， 而不是区分和分类各种数据类型的判别式人工智能。

早期的法学硕士基于循环神经网络（RNN），因为它们是第一个处理文本等序列的模型。但他们记住之前单词的能力有限，而且训练过程很慢。

长短期记忆 (LSTM) 网络（RRN 的一种）于 1997 年推出，作为有限记忆问题的解决方案。LSTM 表现出显着提高的记忆较长序列的能力，并成为自然语言处理任务的流行模型。尽管如此，与最近的解决方案相比，它们的语言能力仍然有限。

当今一代 LLM 背后的Transformer 架构是由Google 研究人员团队于 2017 年推出的。它使用注意力机制来跟踪句子中所有单词的位置、顺序和层次结构，使其能够保留大量上下文信息并生成语法和语义上有意义的文本。

OpenAI 的生成式预训练 Transformer (GPT) 和 Google 的双向编码器表示 Transformer (BERT) 模型均基于 Transformer 架构。

生成式预训练 Transformer是基于 Transformer 的语言模型，旨在理解语言并产生类似人类的语音。“生成”意味着它们旨在生成输出，通常是文本或代码。“Transformer”意味着它们基于 Transformer 架构。

而预训练是指 GPT 的训练过程，您可以在我们的文章ChatGPT：如何理解 AI Bot 并与之竞争中了解更多信息。

现在，让我们了解 ChatGPT 是如何创建的。

OpenAI 的历史

OpenAI 于 2015 年由 Elon Musk 和 Sam Altman（联合主席）、Greg Brockman（首席技术官）、Ilya Sutskever（研究总监）以及一群研究工程师和科学家创立。OpenAI 最初是一家非营利性人工智能研究组织，其使命是开发造福人类的通用人工智能 (AGI)。

2018 年，埃隆·马斯克 (Elon Musk) 退出 OpenAI 董事会，但仍是重要投资者，萨姆·奥尔特曼 (Sam Altman) 于 2019 年成为 OpenAI 首席执行官。大约在同一时间，该公司重组为上限利润模式，以吸引新投资者并加速发展人工智能。此次重组创建了营利性实体OpenAI LP，该实体仍由非营利性 OpenAI Inc. 控制。

新任 OpenAI 首席执行官和 ChatGPT 未来的创始人并没有浪费时间。就任新职务后不久，Altman 就吸引了微软作为投资者和少数股东，为培训和改进当今突破背后的人工智能系统提供资源。

接下来 OpenAI 的指数级增长可以追溯到 GPT 模型的发展。

ChatGPT 的历史

ChatGPT 并不是 OpenAI 的唯一产品。它开发的其他著名技术包括（除其他外）：

• DALL-E – 一种人工智能系统，可根据文本描述创建逼真的图像。第一个版本于 2021 年 1 月发布，第二个版本于 2022 年 4 月发布。

• Codex – 一种将自然语言翻译成多种编码语言的人工智能系统。它建立在 GPT-3 模型之上，于 2021 年 7 月与 GitHub 合作推出，并于 2021 年 8 月向公众发布。

• Whisper – 一种基于网络的自动语音识别系统，可以转录多种语言的音频文件并将其翻译成英语。该模型于 2022 年 9 月发布，即 ChatGPT 发布前一个月。

ChatGPT 时间线

OpenAI 对人工智能发展的贡献众多，但 ChatGPT 的发布日期仍将是生成式人工智能历史上的一个里程碑。

GPT-1

GPT-1于 2018 年 6 月推出，是 OpenAI 第一个基于 Transformer 的语言模型。GPT-1 拥有 1.17 亿个参数，是当时最著名的语言模型之一。该模型使用书籍作为训练数据，可以执行各种任务，包括文本对齐、语义相似性、阅读理解、常识推理和情感分析。

GPT-2

OpenAI 于 2019 年 2 月推出了GPT-2。该模型拥有 15 亿个参数，并使用来自互联网的信息进行训练。它无需特定任务的培训即可执行更广泛的任务。

由于担心滥用，OpenAI 最初没有发布完整的模型。相反，它逐渐发布了用于研究目的的较小模型版本。

GPT-3

ChatGPT 背后的公司于 2020 年发布了 GPT-3。截至 2023 年 8 月，它是唯一可以微调的 GPT 模型。GPT-3 拥有 1750 亿个参数，并且比之前的模型强大得多。但对其主观性的虚假信息和偏见的担忧仍在继续。

因此，OpenAI 没有发布开源模型，而是通过 API 提供对 GPT-3 的公共访问。这允许第三方使用底层技术，而 OpenAI 保留对访问的部分控制权。

指导GPT

InstructGPT 于 2022 年 1 月推出，是 GPT-3 的微调版本。OpenAI 使用此模型的主要目标是减少攻击性语言和错误信息，并提供人类认为有帮助的答案。

GPT-3.5

GPT-3.5（ChatGPT 背后的模型）是 GPT-3 的微调版本，可以理解和生成自然语言和代码。

聊天GPT

ChatGPT于2022年11月向公众发布。InstructGPT和ChatGPT的技术能力几乎相同。这两个模型均使用人类反馈强化学习 (RLHF) 方法进行训练。（在我们的文章ChatGPT：如何理解 AI 机器人并与其竞争中了解有关 ChatGPT 如何训练的更多信息。）

是什么让 ChatGPT 成为用户群增长最快的互联网服务？

OpenAI 在 1 月和 11 月版本之间所做的唯一更改是添加对话训练数据并调整训练过程。但这些调整使得ChatGPT更加人性化，并且能够了解用户的偏好。

OpenAI 还解决了恶意内容问题，认为 ChatGPT 比以前的模型更适合公众使用。

GPT-4

OpenAI 于 2023 年 3 月向 ChatGPT Plus 付费订阅者发布了 GPT-4 模型。该模型显着提高了 ChatGPT 的能力，特别是对于复杂任务的能力。它还反映了 OpenAI 为减少不良或有害响应频率所做的努力。

GPT-3.5 与 GPT-4 最显着的差异是上下文窗口，它从 ChatGPT 发布时的约 3,000 个单词增加到 GPT-4 的约 25,000 个单词。

此外，该模型生成的信息更符合事实，幻觉更少，并且不太可能响应敏感请求或生成不允许的内容。

另一个显着的改进包括 GPT-4 接受图像输入的能力，尽管它只能提供文本输出作为响应。然而，以下 OpenAI 产品将多模态提升到了一个新的水平。

代码解释器

Code Interpreter于 2023 年 7 月发布，是 OpenAI 截至 2023 年 8 月的最新人工智能系统。它基于 GPT-4 模型，但引入了重大改进。

最值得注意的是，它可以理解输入并生成多种格式（文本、图像、视频、音频、代码）的输出，从而成倍地提高其理解信息和产生所需结果的能力。

ChatGPT 几乎在一夜之间成为一种全球文化现象，达到了前所未有的主流流行度。借助这一势头，OpenAI 开始更快地发布经过微调的 ChatGPT 版本和新模型。

GPT技术现在已经达到了顶峰——不是关于能力（它的局限性很多）而是关于人们的期望。

目前的发展

在与《麻省理工学院技术评论》的对话中，OpenAI 团队透露了他们如何努力改进 ChatGPT。

越狱

最重要的问题之一是越狱，即欺骗 ChatGPT 提供受限信息。OpenAI 团队致力于通过对抗性训练教会人工智能忽略此类请求。这涉及到让两个聊天机器人相互对抗，其中一个机器人试图让另一个机器人绕过其限制，并使用输出作为 ChatGPT 的训练数据。

事实性

GPT 模型的另一个大问题包括事实性。每个人工智能工具的好坏取决于它所训练的数据。没有人能够完全控制这一点，尤其是对于这种规模的模型。选择训练数据是一个敏感问题，也是模型性能的决定因素。事实性可能仍然是一个问题，任何使用 ChatGPT 和其他类似技术的人都应该注意这一点。

GPT-5

ChatGPT 推出后不久，GPT-4 就出现了，关于 GPT-5 的传闻也已经开始。OpenAI 甚至于 2023 年 7 月提交了GPT-5 商标申请，目前正在接受美国专利商标局 (USPTO) 的审查。但 OpenAI 首席执行官Sam Altman 表示，该公司尚未开发下一个模型，也没有发布时间表，强调事先解决安全问题所需的工作量。

影响和启示

ChatGPT 永远改变了人工智能的时间线。它激发了人们对自然语言处理的兴趣，引发了一波研究浪潮并加速了技术发展。市场上充斥着人工智能解决方案，许多企业已将 ChatGPT 纳入其工作流程中。

人们可能很容易相信，无所不能的人工智能将通过提供人眼看不见的洞察来解决所有问题。但即使是最完美的技术，也只能取决于所训练的数据和用户的提示。

尽管我们尽了最大努力，但创造真正公正的人工智能是不可能的，因为它总是保留其训练数据的偏见。所以，我们绝不能盲目相信人工智能工具的输出；我们必须从逻辑和战略角度思考如何以及何时利用它。

如果使用得当，ChatGPT 是一种有效的工具，可以提高生产力、增强创造力，并赋予人们超越其技能的能力。但要释放这种力量，个人和组织必须学习如何有效地使用人工智能工具。

ChatGPT：从历史到未来

ChatGPT 的发布不仅推动了人工智能发展的变革，也推动了我们日常生活和工作生活的变革。要成为这场人工智能革命的一部分，您必须学习如何利用新技术。