当前位置:首页|资讯|英伟达|生成式AI

当AI焦点从大模型转向应用,英伟达的GPU霸权就没那么牢固

作者:华尔街见闻发布时间:2023-09-13

原标题:当AI焦点从大模型转向应用,英伟达的GPU霸权就没那么牢固

主导生成式AI热潮的英伟达,还能在铁王座上坐多久?

知名科技博主Pete Warden近日撰写了一篇题为《为什么英伟达的AI主导权只是暂时的》(Why Nvidia’s AI Supremacy is Only Temporary) 的博客文章,他指出,英伟达的GPU霸权,实际上建立在目前行业主流需求是LLM训练上,如果未来推理变得更加主流,那赢家将从英伟达变成CPU制造商。

英伟达为什么能赢?

首先,哪些因素促成了当前的英伟达的领先地位?

Warden总结了4点:

1)大模型应用还没有迎来爆发期,目前机器学习的重点是训练

Warden指出,有能力在实际应用场景中部署大语言模型的只有几家科技巨头。大多数公司还处在较早的开发期,需要大量数据、硬件和人才来完成LLM的训练。

2)英伟达的对手们没有一个能打的

对于大模型开发者而言,英伟达GPU是最简洁高效的选择。它操作起来比AMD OpenCL、Google TPU、Cerebras等竞品要简单得多,软件栈要成熟得多,有更多的示例、文档和其他资源。

而且,找到熟悉英伟达GPU的工程师要容易得多,它与所有主要框架的集成也更好,再加上CUDA平台带来的软硬一体的协同效应,英伟达完全做到了赢者通吃。

3)AI研究者偏好使用英伟达GPU

高度稀缺的AI人才,可以说是目前招聘市场上最有话语权的一群人。

而Warden认为,对这些人来说,英伟达平台是最熟悉的生产力工具,如果使用其他平台,需要更多时间上手,也会限制他们的生产力。由于聘用和留住研究人员的成本非常高,因此在购买硬件时,这些人的偏好是优先考虑的因素之一。

4)大模型快速迭代的需求,意味着厂商会通常会固定用一个品牌

如果一家公司上一代大模型是用英伟达GPU开发的,那么下一代大概率还是会用英伟达。道理很简单,这是迭代耗时最短、效率最高的选择,通过无缝迁移到新的硬件,现有的代码大部分都能正常工作,但速度会更快。

竞争对手也许有望在性能上击败英伟达GPU,但英伟达的CUDA经过十几年的研发,已经有了一套完整的生态系统。

Jon Peddie Research发布的全球GPU市场数据报告显示,英伟达以84%的市场份额排名第一,排名第二的AMD仅有12%。稳固的先发优势,构成了一道几乎不可逾越的护城河。

如果AI的主旋律从训练转向推理…

但是,Warden相信,以上都有让英伟达领先的因素,都基于一个重要前提:训练占据生成式AI浪潮的主导地位

他指出,在未来的某一天,任何公司用于根据用户请求运行模型的计算量都将超过训练周期。即使单次训练运行的成本很高,而运行推理的成本很低,但世界上有如此多的潜在用户,有如此多的不同应用,这些推理的累积总数将超过训练总数。

从这个趋势来看,对硬件端而言,重点将转向降低推理成本。对面向用户的应用而言,最重要的工作是降低延迟。

这不是GPU的强项,而是CPU的领域。

Warden指出,虽然CPU在大模型训练时的速度“慢得令人发笑”,但当推理在整个人工智能预算中占主导地位时,对硬件和工作负载的要求就大不相同了。CPU拥有比英伟达更成熟的开发工具和社区,单位运算成本也比GPU便宜得多。更重要的是,模型权重是固定的,在初始化时很容易在大量机器上复制,

企业关注的是增加收入和降低成本。更多的用户意味着更多的推理需求。CPU比 GPU的推理成本更低,它的需求必然会比超过GPU。

Warden预计,这一转变的赢家将是英特尔x86和Arm等传统CPU平台。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1