GPT-4学习笔记|大力出奇迹的LLM模型

周末一大早，睡眼惺忪的时候，就被学妹拉到了她的中科院校友会兴趣群里。博士、科学家们创建了个GPT兴趣群，学妹知道我现在正在夜以继日的试图跟上AI的进化，顺手拉了我一把。

短短几分钟之内，这个群就满员了。

学妹说，这个群的建立速度，充分反映了人类的好奇心和恐惧。

我说我感兴趣的的是这个群很可能会孵化出很多项目甚至初创公司。

要知道，GPT-4之父OpenAI公司，恰好也是一家科学家组成的公司。

1、OpenAI的前生今世

很长一段时间，AI技术牢牢把持在谷歌、DeepMind（被谷歌收购）等巨头手里，尤其是DeepMind的阿尔法狗家喻户晓。

2015年12月，特斯拉汽车创始人埃隆·马斯克，格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿，OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元，在旧金山创立了OpenAI。

不久前，马斯克发推抱怨：我仍然很困惑，为什么一个我捐赠了1亿美元的非营利性机构,竟然变成了一个市值300亿美元的营利性机构？

我们先不谈OpenAI的“变质”，如果不是微软不计成本的给它输血（资金、Azure云资源），我们恐怕看不到AI快速发展的今天。

2、什么是GPT

2017年，Google团队首次提出基于自注意力机制的Transformer模型，并将其应用于自然语言处理。

OpenAI应用了这项技术，2018年发布了最早的一代大型模型GPT-1（GPT是Generative Pre-trained Transformer的简称，中文翻译为生成型预训练变换模型）。

该模型用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。

GPT-1诞生于2018年，主要实现功能包括：自然语言推理，判断两个句子的关系（包含、矛盾、中立）；问答与常识推理，输入文章及若干答案，输出答案的准确率；语义相似度识别，判断两个句子语义是否相关；分类，判断输入文本是指定的哪个类别。

GPT-1使用了几十亿文本档案的语言资料库进行训练，模型的参数量为1.17亿个。

2019年，GPT-2发布，模型参数量提高到15亿个。GPT-2和GPT-1在技术路线上没有本质的不同，只是增加了数据量。

2020年，GPT-3发布，参数量达到了创纪录的1750亿个，其训练参数是GPT-2的10倍以上，技术路线上则去掉了初代GPT的微调步骤，直接输入自然语言当作指示，给GPT训练读过文字和句子后可接续问题的能力，同时包含了更为广泛的主题。

OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时，其生成的结果也变得越来越精确。

2022年发布的ChatGPT，是在GPT-3基础上的GPT3.5版本。

如果说ChatGPT带来一抹惊艳的话，GPT-4就是对“传统”AI摧枯拉朽的打击。

从参数量来说，GPT-4高达100万亿个（据报道未证实，也有人推算没有那么大）。

GPT-4的一个关键升级就是多模态，也就是支持图像和文本输入，拥有强大的识图能力。甚至能看懂梗图，并能找到梗所在的点。

GPT的发展过程中，1、2都没有带来太多的影响力，被认为是各种AI路线中的一支。但随着GPT-3尤其是GPT-4的出现，人们惊讶的发现，原来这就是AI的未来。

即便是大量资源押注AI的谷歌，也没有料到GPT的成功。中国的AI企业也在相关领域进行研发。

乐观估计，中国相关企业在技术上落后的时间大概是2-3年，并没有非常大的代差。

3、关于LLM模型

人类和机器的交互，是从汇编语言开始的。这是经过训练的人类和机器都能读懂的语言，但由于门槛过高，开始衍生出各种编程语言。

从上古的C语言到现在流行的Python，编程语言越来越简单，但距离机器直接理解人类的语言，依然有一定的距离。

我们必须需要工程师来做这个“翻译”。

NLP（Natural Language Processing自然语言处理）研究的目标，就是让机器能够直接理解并能输出人类语言。

其中，GPT依赖的LLM（Large Language Model，大型语言模型）成为目前最佳的选择方案。

PS，我不认为LLM是唯一的最终路线，只是现阶段最合适的路线。

OpenAI的成功有一定的偶然性，如果不是微软在搜索领域本来就比较落后，所以敢于“搏命”，ChatGPT这种模式，对搜自身的索引擎业务是致命打击（谁还去付广告费？）。

从GPT-1到GPT-4的迭代，并非是由于关键技术革命性的突破（也不是认为这个过程中技术的发展不重要），而是数据量的增加。

4、瓶颈

对于中国企业来说，方向既定的情况下，并不缺人才（全球顶级AI科学家30%以上是中国人或华裔），缺的是资金和算力。

资金并不是一件太难的事，有了OpenAI金玉在前，国内资本大佬也会舍得投入，但算力是个大问题。

美国限制了A100等高端显卡对中国的出口，虽然黄皮衣第一时间推出了阉割版给中国特供，但性能差异非常明显。

国产显卡还刚刚起步，景嘉微还没有向算力卡方向大规模发展，摩尔进程大概能接近英伟达5、6年前的水准，壁仞科技也拿出了不错的产品，但大概率在代工方面受制于人。

考虑到OpenAI几乎喂进去全人类的知识量，也不过烧掉十几万张显卡，算力的问题，其实同样可以“大力出奇迹”，用相对低端的产品堆起来，这可能需要各大AI企业携手了。

有人认为中国的语境对AI的发展有严重束缚，殊不知在吃西瓜摘棉花都是敏感词的美国，语境限制并不差到哪儿去，从技术上来讲，这都是小事。

还有人认为显卡的缺失和中国长期禁游戏有关，虽然我个人也反对无差别的禁游戏，但问题是也没人用10万块（黑市20万+）的A100来打游戏啊！

5、应用

现在的GPT-4已经开放了文字输入输出功能，展示（暂未开放）了图像的识别和输出功能，可以想象的未来，语音、视频等真正多模态的输入输出，将成为各大AI企业创新研发的重点。

比如有人认为中文在互联网上占比太低，导致GPT-4里的中文内容缺乏。这个问题其实很好解决（事实上GPT-4也是这么办的），把中文翻译成英文后再输入LLM，输出再翻译回来。

那么在语音结合方面，科大讯飞就比较有优势，可以把语音转化成文字最终翻译成英文喂给AI；类似的，在视频结合方面，海康、商汤、旷视等企业就有很大的优势，把视频信息解读为文本信息再喂给AI。

回过头来再看当初的制裁，是不是豁然开朗了？