作者|戈坦
赚喊话,赚不到钱,可能是ChatGPT目前最大的问题。
这个由OpenAI使用GPT-3大模型打造的聊天机器人在短时间内成为现象级产品,风靡全球。其热度远超人工智能行业。微软用它革新了Bing搜索引擎,用它通过了法律资格考试,等等,它似乎成了历代新宠。
然而,ChatGPT仍处于行业发展的早期阶段,其意想不到的效果让所有人都感到惊讶。资本市场对“ChatGPT”概念的估值不断攀升,人工智能行业对ChatGPT充满期待,但ChatGPT本身的价值尚未实现。行业内的集体躁动想找到答案。
另一方面,ChatGPT属于人工智能行业。在以往的人工智能热潮中,有一类生产者稳赚不赔,赚的盆满钵满。它们以芯片、服务器和云服务提供商为代表。算力生产商,其中Nvidia最多。
多少个“ChatGPT”,对计算能力有双重需求
“ChatGPT崩溃了”。ChatGPT在全球流行后,此类投诉频频出现。有限的算力无法应对海量并发,OpenAI也不可能储备无限的算力资源,“崩溃”成为常态。
随后OpenAI宣布推出付费版ChatGPTPlus,每月收费20美元。相比免费版,付费版提供高峰时段优先访问通道、更快的响应时间和优先使用新功能。目前仅限美国用户使用。
将20美元乘以ChatGPT的潜在付费用户数量可不是一笔小利润。业内人士认为,OpenAI的收费是出于减轻算力负担和覆盖部分成本的双重考虑。
据FierceElectronics称,ChatGPT使用10,000个GPU进行训练,自从受到公众关注以来,该系统已经不堪重负,无法满足其庞大用户群的需求。
在训练大型语言模型(LLM)时,通常需要考虑两组成本。一是培训成本。据业内估计,在公有云中“仅”训练GPT-3的成本约为140万美元。相比于传统购买硬件,培训用服务器节省了很多钱。即使是像PaLM这样最先进的型号,成本也只有1120万美元左右。对于国内想要从零开始学习ChatGPT的企业来说,培训费用足以淘汰大部分参与者。二是推理成本。据估算,单次响应的成本为1美分,运行ChatGPT的成本是根据使用次数计算的。规模越大,成本也成倍增加。例如,如果谷歌要将每一次搜索都集成到ChatGPT中,那将是一个远远超过培训成本的天文数字。
中国信息通信研究院云计算与大数据研究所所长何宝红在接受媒体采访时表示,ChatGPT培训费用约为460万美元。此外,ChatGPT的运营成本很高。如果按照百万用户量计算,每月的运营成本约为300万。
外媒指出,如果将类似于ChatGPT的LLM(大型语言模型)分配给谷歌全搜索,意味着谷歌300亿美元的利润将直接转移给算力生产商。
值得一提的是,随着时间的推移,大型模型的训练和推理成本已经迅速下降。在GPT-3发布的两年半时间里,大型模型的训练和推理成本下降了约80%。这也是像OpenAI这样的公司目前正在努力的方向。
英伟达首当其冲,算力厂商的集体狂欢
无论ChatGPT能创造多少上市公司,能产生多少价值,数据强国永远是赚钱不亏本的。
英伟达CEO黄仁勋将ChatGPT称为人工智能的“iPhone时刻”,称ChatGPT基本上实现了计算的民主化,称其为人工智能和计算史上最伟大的事情。
Nvidia这样说当然有理由。毕竟英伟达是AIGC产业链中最具优势的厂商之一。最近,Nvidia的股票上涨了40%左右。短期内,Nvidia的GPU一直供不应求。Nvidia控制着90%以上的数据中心GPU市场,而AMD控制着其余大部分。
用于训练和运行ChatGPT的具体硬件和供应商可能因实现而异,目前一切基本上都在NvidiaGPU上运行,除了硬件性能外,NvidiaCUDA(并行计算平台和编程模型)被广泛用于深度学习可以实现性价比更高,这也是英伟达首选的原因。
此外,AWS、GCP和Azure等一些云计算平台提供了训练和运行ChatGPT等大型深度学习模型的基础设施。
摩尔学院院长李锋也表示,芯片制造商可能是享受AIGC大回报的人。因为他们是基础设施提供商,所以现在几乎所有的AIGC计算能力都由GPU提供,尤其是在训练方面。另一类,比如云提供商,也作为基础设施提供商,会推出大量的GPU云,降低GPU部署的门槛。相对于产业链上的其他厂商,这两类厂商的商业模式较为清晰。
一些服务器厂商的GPU算力也得到了挖掘。据了解,截至2月12日,曙光智能计算公司提供的AI训练和推理计算试用资源,在开放使用一周内已售罄。通常,这些数据资源大约需要三个月的时间才能发布。用户注册使用。目前,曙光智能计算协同多个数据中心,提供更多算力资源满足用户需求。
也有服务器厂商趁机谋求新的利益。浪潮信息已推出AI数据算力服务,包括支持国际、国内4类AI数据算力产品,通过“源头”清洗验证的语言或多模态大规模模型数据集中的两种数据产品,支持的两种算法产品浪潮“源”专家团队提供的多语言或多模态大规模模型训练,以及AI训练和推理资源管理与规划的一体平台产品,显然不仅仅靠“源”的地位赚取薄薄的差价。算力中间人。
硬件或成人工智能产业瓶颈
计算能力正在成为人工智能发展的瓶颈,而ChatGPT的流行及其背后的大型模型更是加剧了这一矛盾。
百度昆仑表示,以ChatGPT为代表的大模型的使用是AI发展的一个新的关键阶段。对于大机型,昆仑芯在产品定义上已经有所布局。与第一代产品相比,昆仑芯2代芯片在计算能力、互联互通性和通用性等方面进行了大幅优化,应用于百度内外的大规模模型场景。正在开发的下一代产品将提供更好的性能体验。
算力、互联互通和通用性也是人工智能算力的三个典型问题。
此前,用于AI训练的计算能力按照摩尔定律增长,大约每20个月翻一番;深度学习的兴起加速了性能扩展,用于人工智能训练的计算能力大约每六个月翻一番;而目前大模型层出不穷,其训练算力是原来的10到100倍。
即便是GPU算力也无法实现如此快速的增长。增加并行计算的数量是一个通用的解决方案,但并行计算有其局限性。当GPU的数量超过一定规模时,每个GPU的批处理就变得太小了。增加数量并没有多大效果,成本会不断增加。
互连也是一个大问题,GPU和系统之间的互连速度不够快。在一个GPU上训练完一个数据子集后,数据返回,拆分,在所有GPU上重新训练,这样会消耗大量的网络带宽,消耗GPU算力。在这场算力的狂欢中,国内AI芯片厂商的存在感很弱,其中一个原因就是他们的芯片不是很通用。人工智能训练、推理、科学计算和模拟,以及不可预测和复杂的AI新业务,NvidiaGPU具有良好的通用性,国产GPU在一些特定领域可以达到不错的水平,但通用性带来的规模和生态效应有待提高明显落后于英伟达。
数据强者已经从ChatGPT中收获了第一波红利。在可预见的未来,越是ChatGPT和人工智能行业的火爆,越是数据强者将在行业发展中占据上风。
结束