当AI焦点从大模型转向应用，英伟达的GPU霸权就没那么牢固
主导生成式AI热潮的英伟达，还能在铁王座上坐多久？
知名科技博主Pete Warden近日撰写了一篇题为《为什么英伟达的AI主导权只是暂时的》(Why Nvidia’s AI Supremacy is Only Temporary) 的博客文章，他指出，英伟达的GPU霸权，实际上建立在目前行业主流需求是LLM训练上，如果未来推理变得更加主流，那赢家将从英伟达变成CPU制造商。
英伟达为什么能赢？
首先，哪些因素促成了当前的英伟达的领先地位？
Warden总结了4点：
1）大模型应用还没有迎来爆发期，目前机器学习的重点是训练
Warden指出，有能力在实际应用场景中部署大语言模型的只有几家科技巨头。大多数公司还处在较早的开发期，需要大量数据、硬件和人才来完成LLM的训练。
2）英伟达的对手们没有一个能打的
对于大模型开发者而言，英伟达GPU是最简洁高效的选择。它操作起来比AMD OpenCL、Google TPU、Cerebras等竞品要简单得多，软件栈要成熟得多，有更多的示例、文档和其他资源。
而且，找到熟悉英伟达GPU的工程师要容易得多，它与所有主要框架的集成也更好，再加上CUDA平台带来的软硬一体的协同效应，英伟达完全做到了赢者通吃。
3）AI研究者偏好使用英伟达GPU
高度稀缺的AI人才，可以说是目前招聘市场上最有话语权的一群人。
而Warden认为，对这些人来说，英伟达平台是最熟悉的生产力工具，如果使用其他平台，需要更多时间上手，也会限制他们的生产力。由于聘用和留住研究人员的成本非常高，因此在购买硬件时，这些人的偏好是优先考虑的因素之一。
4）大模型快速迭代的需求，意味着厂商会通常会固定用一个品牌
如果一家公司上一代大模型是用英伟达GPU开发的，那么下一代大概率还是会用英伟达。道理很简单，这是迭代耗时最短、效率最高的选择，通过无缝迁移到新的硬件，现有的代码大部分都能正常工作，但速度会更快。
竞争对手也许有望在性能上击败英伟达GPU，但英伟达的CUDA经过十几年的研发，已经有了一套完整的生态系统。
Jon Peddie Research发布的全球GPU市场数据报告显示，英伟达以84%的市场份额排名第一，排名第二的AMD仅有12%。稳固的先发优势，构成了一道几乎不可逾越的护城河。
如果AI的主旋律从训练转向推理…
但是，Warden相信，以上都有让英伟达领先的因素，都基于一个重要前提：训练占据生成式AI浪潮的主导地位。
他指出，在未来的某一天，任何公司用于根据用户请求运行模型的计算量都将超过训练周期。即使单次训练运行的成本很高，而运行推理的成本很低，但世界上有如此多的潜在用户，有如此多的不同应用，这些推理的累积总数将超过训练总数。
从这个趋势来看，对硬件端而言，重点将转向降低推理成本。对面向用户的应用而言，最重要的工作是降低延迟。
这不是GPU的强项，而是CPU的领域。
Warden指出，虽然CPU在大模型训练时的速度“慢得令人发笑”，但当推理在整个人工智能预算中占主导地位时，对硬件和工作负载的要求就大不相同了。CPU拥有比英伟达更成熟的开发工具和社区，单位运算成本也比GPU便宜得多。更重要的是，模型权重是固定的，在初始化时很容易在大量机器上复制，
企业关注的是增加收入和降低成本。更多的用户意味着更多的推理需求。CPU比 GPU的推理成本更低，它的需求必然会比超过GPU。
Warden预计，这一转变的赢家将是英特尔x86和Arm等传统CPU平台。
