震撼来袭的GPT-4，AI算力不再“淡定”

原标题：震撼来袭的GPT-4，AI算力不再“淡定”

在人工智能引领着新一轮科技革命下，曾震惊了整个科技行业的ChatGPT在发布数月后，又迎来新“核弹”！

备受关注的OpenAI，近日推出了GPT-4文本生成AI系统。

新版本的发布迅速成为热点，并引爆了业内讨论；更有业内人士认为：GPT-4的发布有望成为生成式AI向超级AI快速演变的关键节点。

图片来自：BBC

众所周知，ChatGPT模型训练与产品运营的核心基础在于AI算力；与此同时，ChatGPT的诞生已对科技产业的格局和商业模式形成颠覆。

目前AI算力已进入大模型时代，大模型的实现需要强大的算力来支撑训练和推理过程。

比如Open AI，微软专门为其打造了一台超级计算机，用来在Azure公有云上训练超大规模的人工智能模型。

其中这台超级计算机拥有28.5万个CPU核心，超过1万颗GPU（英伟达 V100 GPU）；按此规格，如果自建IDC，以英伟达A100 GPU芯片替代V100 GPU芯片，依照性能换算，大约需要3000颗A100 GPU芯片。

据OpenAI测算，自2012年以来，全球头部AI模型训练算力需求3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍。

但，与此同时，这种算力快速增长的需求也必将对传统的摩尔定律形成冲击：

摩尔定律认为：芯片计算性能大约每18-24个月翻一番，因此两者间的不匹配势必将带来对算力基础设施需求的快速增长。

相比之下，AI算力需求主要分为训练和推理两个主要方面：

1、训练方面：根据OpenAI训练集群模型估算结果作为参考，1746亿参数的GPT-3模型大约需要375-625台8卡DGX A100服务器（对应训练时间10天左右），对应A100 GPU数量约3000-5000张。

2、推理方面：以A100 GPU单卡单字输出需要350ms为基准计算，假设每日访问客户数量为2,000万人，单客户每日发问ChatGPT应用10次，单次需要50字回答，则每日消耗GPU的计算时间为972,222个运行小时，对应的GPU需求数量为40,509个。

或许在NLP研究领域，专家们一直在尝试不依赖大算力来进行LLM训练，但目前还没有特别好的解决方案。

于是乎从仿生学上来看，人脑本身是不需要依赖非常大量算力进行学习的，因此随着脑科学技术研究的深入，未来应该会有一种技术替代现在的暴力训练方式。

当然，其实即便不考虑训练，大算力也确实会给模型的部署应用带来更好的性能提升。

大模型时代算力需求快速增长

随着传统的AI1.0时代的代表企业，其中AMD已经开始探寻新的出路：

AMD认为：依靠系统级创新实现更大的突破，即从整体设计的上下游多个环节协同设计来完成性能的提升。

在对模型算法层面使用创新数制（例如8位浮点数FP8）的同时，在电路层对算法层面进行优化支持，最终实现计算层面数量级的效率提升：相比传统的32位浮点数（FP32），进行系统级创新的FP8则可以将计算效率提升30倍之多。

AMD认为：如果仅仅只是优化FP32计算单元的效率，无论如何也难以实现数量级的效率提升；而Chiplet或可实现突破高算力瓶颈的潜在方式：

与此同时，为解决“如何用更少的电，输出更高的算力”这一终极命题，业内给出不少技术及方案：量子计算（量子芯片）、光机芯片、Chiplet、3D封装、存算一体等技术，以期达到系统级创新。

当然，面对未来潜在的算力指数增长，短期使用芯粒异构技术加速各类应用算法落地；长期来看，打造存算一体芯片，或将成为未来算力升级的潜在方式。

架构创新路线 图源：浙商证券

更深地讲，目前官宣的GPT-4主要提升了语言模型方面的能力，并添加了“多模态”的图片识别功能。

具备多模态的生成能力一定是大模型未来的趋势，而且生成式大模型不是只能做图像生成、文本生成这样的生成任务，它其实是有望成为未来AI的统一底座的。

GPT-4本次发布最惊艳的地方就在于，AI对“看”这件事儿，不再只是关注眼前事物，而是可以理解图片的含义了。

对于GPT-4在专业技能上的突破，如果再进一步思考，或许未来人类的职业技能，将被AI重构。而在教育和技能培训方面，或许现在就该开始思考。

相较于我们熟知的ChatGPT而言，GPT-4最大的进化在于：“多模态”和长内容的生成。

尽管GPT-4功能已经更加强大，但GPT-4与早期的GPT模型具有相似的局限性：它仍然不是完全可靠的，存在事实性“幻觉”并出现推理错误。

与此同时，技术的升级也必将吸引着市场的目光：

目前，GPT-4已成为备受瞩目的“流量密码”，并且A股已有汤姆猫、天娱数科、北信源等约20家上市公司已经宣布采用类似ChatGPT技术的相关业务。

GPT-4API后已引入第三方开发者，根据OpenAI官网案例：摩根士丹利应用GPT-4进行财富管理部市场信息的分类和检索；

doulingo使用GPT-4进行角色扮演，增进语言的学习；BeMyEyes运用GPT-4将视觉型图片转成文字帮助盲人理解；可汗学院使用GPT-4作为虚拟导师Khanmigo的人工智能驱动。

特别是：GPT-4的发布将有效刺激国内AIGC产业向国际接轨，众多AI技术公司有望受益于市场热度和政策扶持，在多模态学习、大模型及SaaS应用研发等领域扩大布局。

本次的GPT-4我们就先讲到这儿~

想了解更多半导体行业动态，请您持续关注我们。

奇普乐®️将在每周，不定时更新~

最后的最后，借用《诗经》内的一句话：

靡不有初，鲜克有终。

愿每一位半导体从业者可以——

善始容易，善终不易。