从80年代的第一个“神经元”到 ChatGPT,语言 AI 模型如何演变

流行的 ChatGPT 聊天机器人建立在 OpenAI 的 GPT-3 语言模型之上，该模型于 2020 年发布。 这项技术的基础是在计算机时代的黎明奠定的。出版物《麻省理工学院技术评论》分享了使用自然语音的神经网络的创建历史。

1980年代：第一个项目

现代语言处理算法由于许多参数的广泛网络而起作用。它们可以与大脑神经元进行比较。该模型在大型数据集上进行训练，教授跟踪文本中的统计模式。因此，人工智能开始识别不同情况的背景，并在此基础上像人一样形成判断。

早在 1980 年代，首次亮相的网络就能够处理有限的词序。但与此同时，他们学习的时间太长，经常“忘记”序列中的前几个单词。1997年，科学家Sepp Hochreiter和Jürgen Schmidhuber纠正了这一缺陷。他们发明了神经网络LTSM（长短期记忆）技术，该技术可以处理数百个单词的文本，并更好地“记住”序列数据。然而，他们的语言技能在当时仍然有限。

2017-2019：谷歌的“变形金刚”

人工智能领域的下一个重大突破要归功于一种新的神经网络架构——变形金刚。它是由谷歌专家于 2017 年创建的。该技术提供了许多好处，包括与长文本段落的交互，以及提高对单词含义以及它们之间联系的识别。通过跟踪上下文的细微差别，算法已经学会了更好地预测下一个单词在序列中是合适的。

几个月后，OpenAI进入游戏，引入了第一代主要语言模型：GPT和GPT-2（生成预训练转换器）。开发人员称他们的创意是“创建能够执行任何语言场景的多任务、多功能人工智能的关键一步”。模型训练过程也实现了现代化：数据不再手动标记，这使得更快地分析大量信息成为可能。

2020-2022：GPT-3 和 ChatGPT

随着所有开发技术的进一步完善，当前的 GPT-3 超出了所有预期。Ai 生成问题的答案、创建原创故事、缩短文档和翻译成不同语言的能力得到了显著提高。然而，在向公众展示结果之前，OpenAI专家必须解决几个重要问题。

其中一个主要的是偏见，这是由于不受控制地吸收了来自互联网的大量信息而产生的。工程师们还关注道德问题，并于 2020 年 3 月修改了 GPT-2022，以避免矛盾和不可接受的答案。最后，在2022年，神经网络取得了明显的进展：它几乎没有给出错误信息和令人反感的内容。

基于当前的模型，OpenAI创建了一个易于使用的ChatGPT聊天机器人，并于去年12月向公众展示。由于许多测试AI助手的用户的反馈，大多数错误被最小化。剩下的就是历史了。