生成式人工智能行业专题研究：海外大模型篇：生成式AI加速创新
2014年，伊恩· 古德费洛(lan Goodfellow)提出的生成对抗网络(Generative Adversarial Network, GAN)成为早期最为著名的生成模型。GAN使用合作的零和博弈框架来学习，被广泛用于生成图像、视频、语音和三维物体模型。随后， Transformer、 基于流的生成模型(Flow-based models)、 扩散模型(Diffusion Model)等深度学习的生成算法相继涌现。
Transformer模型是一种采用自注意力机制的深度学习模型，这一机制可按输入数据各部分的重要性分配权重，可用于自然语言处理(NLP)、 计算机视觉(CV)领域应用，后来出现的BERT、 GPT-3、 laMDA等预训练模型都是基于Transformer模型建立的。
报告节选：
