大模型,注重的便是大这个字,之前一直说过人脑从算力方面可以碾压现在的计算机,但这点正在打破,并不需要通过算力也能获得强大的智慧,也就是说并不是越快越聪明,而是知识越多越聪明,GPT从1-3,参数量由1.17亿 到 1750 亿,更别提3.5和4了;
和GPT沟通过变可以发现,无论出什么问题,即使是错的,它也能说得头头是道,这正是因为它的训练方式而成,GPT的训练方式非常粗暴,但在达到一定数量级后却非常有效;总结来说GPT读文本的方式和写文本的方式完全运用的就是推算,根据所有学过的内容不停的根据提问和上下文推算下一个字词,在具体训练中会有更加复杂的方式和纠正工作(标注)等,还有微调,这里就不做过于深入的分析了。
其中对于特定任务,还可以通过微调模型来适应特定的任务需求,进一步提高生成质量和准确性。
总的来说问GPT问题和问搜索引擎无疑,但GPT是学过大量数据的,它可以帮助我们不用从搜索结果中挨个排除无意义数据,找到我们真正需要的,但为了结果的准确性,问问题的时候也要适量的添加修饰词。GPT就像一个读过所有图书的学过所有知识的图书管理员,他可以找到这些知识并根据你的问题讲解出来,而且像对话一样,即使你要求它扮演角色,它也可以根据上下文以及所学过的"角色扮演《演员的自我修养》。。。"与你对话。
它的智能主要体现在文本的处理上,接入语音系统后它真的可以变成我们想象中的全知全能的机器人,它可以生成具体的操作步骤或指令,然后下达给具体的硬件再由硬件去实施即可。
但目前的缺点却是数据不够用了,GPT训练的数据当然是越优越好,提问的问题越是详细越好,最近谷歌的PaLM2也有了消息,训练的数据量也是同样惊人,达到3.6万亿,接近gpt3的20倍!而且大部分数据都是优质数据,可以期待一波了。
目前大模型AI主要受限还是成本和舆论,之前AI绘画从小有成就出现到爆发式增长也不到半年时间,其中主要时间还是在迭代直到突破出现的novelai,目前主要也就是nv、sd、mj还有一些其他的。
目前国内的GPT效果主要还是在中文训练数据较多,在中文上略有优势,但速度肯定是比不上GPT和PaLM的啦,所以目前来看在下一波技术突破到来前,大模型AI的运用还有一些时间,但技术就是这样,随时都有可能突破,从量的堆积到质的提升总要经过一个临界点。