今天分享的是行业报告:《中国人工智能系列白皮书:大模型技术》
(内容出品方:中国人工智能学会)
报告共计:121页
海量/完整电子版/报告下载方式:公众号《见鹿报告》
大模型技术的发展历程
2006 年 Geoffrey Hinton 提出通过逐层无监督预训练的方式来缓解由于梯度消失而导致的深层网络难以训练的问题[1],为神经网络的有效学习提供了重要的优化途径。此后,深度学习在计算机视觉[2]、语音[3]、自然语言处理[4]等众多领域取得了突破性的研究进展,开启了新一轮深度学习的发展浪潮。总结过去十多年的技术发展,基于深度学习的人工智能技术主要经历了如下的研究范式转变:从早期的“标注数据监督学习”的任务特定模型,到“无标注数据预训练+标注数据微调”的预训练模型,再到如今的“大规模无标注数据预训练+指令微调+人类对齐”的大模型,经历了从小数据到大数据,从小模型到大模型,从专用到通用的发展历程,人工智能技术正逐步进入大模型时代。
报告共计:121页
海量/完整电子版/报告下载方式:公众号《见鹿报告》