当前位置:首页|资讯|ChatGPT

能对答如流的ChatGPT是怎样炼成的?

作者:蝌蚪五线谱官方发布时间:2023-11-19

原标题:能对答如流的ChatGPT是怎样炼成的?

到今年11月份,ChatGPT就“一岁”了。以ChatGPT为代表的人工智能模型正在以惊人的速度快速迭代,甚至有科技公司宣称,ChatGPT今后可能取代人类。那么,ChatGPT的原理是什么?它真的有可能取代人类吗?今天,我用大家都熟悉的例子,让人们直观地了解这项看似玄幻的技术。

“套娃”方式

让ChatGPT实现长文本生成

英文缩写ChatGPT全名是Generative Pre-trained Transformer,翻译过来就是“生成式预训练转换器”。从这个名字我们就能看出,它是一个可以生成内容的预训练模型。什么叫生成内容呢?成语接龙游戏就是一种生成,根据前面的内容生成后面的内容。如果我说“守株待……”ChatGPT可能会生成“兔”,如果我说“声东击……” ChatGPT可能会生成“西”。这就是单字接龙的生成能力。

如果只是一个字一个字地生成,想要生成一段长文本岂不是太慢了?这就需要用到“套娃”的方法,就是每生成一个字,就把它和前面的内容组合起来,作为新的前文再去生成下一个字,如此反复,就可以生成任意长的文章。比如,开始时输入“守株待”,ChatGPT生成“兔”,然后把“守株待兔”作为新的前文,再生成下一个字。这样通过大量的单字生成和组合,任何长文本都可以生成出来。

生成内容受两个因素影响

并非随机答案

那么,ChatGPT生成出来的内容是不是完全随机呢?答案是否定的,因为生成内容受两个因素影响:一是前面的上下文,二是ChatGPT自身的语言模型。简单来说就是,相同上文不同模型会生成不同内容,相同模型不同上文也会生成不同内容,这就好像每个人脑海中对“守株待兔”后面应该连接什么字都有自己的理解是一样的。

当然,我们还希望ChatGPT生成我们想要的内容。这就需要给ChatGPT提供大量我们想要的内容,让它通过学习来改变自身的语言模型,就像重复学习“守株待兔”后面的词应该是“猛虎”。久而久之,看到“守株待兔”后,我们的脑海中第一个出现的词就是“猛虎”。ChatGPT也一样,通过学习就能逐步掌握我们想要的语言规律。

ChatGPT通过学习能自己生成新答案

学习不是简单的记忆,而是能举一反三。如果训练过“守株待兔,猛虎”,看到“守望相助,英雄辈出”也知道下一句应该是“猛虎”,这就是ChatGPT的泛化能力,就是可以应用学习的规律回答没有见过的问题,这与我们通过学习就会应用道理回答新的问题是一样的。

ChatGPT回答问题也是这样的原理,给它提供大量正确的问答范例进行学习,它就掌握了回答这个类型问题的方法,从而可以回答没有见过的新问题。这点不同于搜索引擎,属于直接在数据库里找现成答案。ChatGPT懂得回答问题的方式,然后自己能生成新答案。

不过,ChatGPT的答案不一定正确,因为它可能按照错误的规律生成虚假内容,就像我们也可能从错误例子中学习到错误的知识一样,产生不符合事实的答案。所以,我们不能盲目相信它的一面之词,而要通过多次提问来评估它的可靠性。

得益于极大的模型规模和三段训练法

ChatGPT为何能达到如此惊人的语言生成效果呢?这得益于极大的模型规模和三段训练法:首先,ChatGPT吸收了上亿条互联网数据进行无监督预训练,掌握了广泛的语言知识,然后人工设计语言交互模板规范它的行为,最后通过人工提问,不断反馈训练,提升创造力。通过这样逐步的训练,ChatGPT才能超越我们的预期,完成很多复杂的语言任务。

作为人造系统,ChatGPT也有局限性,生成的内容不可全部相信,需要人类进行监督与评估。就像任何技术一样,只能作为辅助工具而不应该也不可能取代人类创造力和意识,它终究需要人来指导运用。让我们积极而理性地看待这项科技进步,以人为本,造福社会。

转载自:科普时报

图源:千库网


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1