当前位置:首页|资讯|微软|谷歌|ChatGPT

科技巨头血拼:微软豪掷数亿造ChatGPT超算,谷歌加急测试Big Bard

作者:机器之心Pro发布时间:2023-03-14

原标题:科技巨头血拼:微软豪掷数亿造ChatGPT超算,谷歌加急测试Big Bard

机器之心报道

机器之心编辑部

成本虽然高昂,但巨头们更不愿错过这次机会。

近几个月,ChatGPT 爆火出圈,风头无两。人们大多把关注重点放在了 ChatGPT 强大的生成功能和应用场景上,却很少关心模型的应用成本。

虽然 ChatGPT API 开放之后,使用成本降低了九成,但对于 OpenAI 和集成 ChatGPT 的科技公司来说,情况却大不相同。

众所周知,在谷歌搜索的时代,搜索引擎的工作原理是建立巨大的网络索引,在用户进行搜索时,这些索引条目会被扫描、排名和分类,随后结果显示出最相关的条目。谷歌的搜索结果页面实际上会告诉用户搜索所需要的时间(通常不到一秒)。

而 ChatGPT 式的搜索引擎会在每次搜索时启动一个模仿人脑的巨大神经网络,生成一堆文本,可能还会查询大型搜索索引以获取事实信息。这意味着用户与其交互的时间可能远远超过几分之一秒,并且这些额外的处理需要花费更多的成本。

据路透社报道,Alphabet(谷歌的母公司)的董事长 John Hennessy 及几位分析师交谈之后写道:「与 AI 大型语言模型交流询问的成本可能是标准关键字搜索的 10 倍以上」。对于致力于推行 ChatGPT 式搜索引擎的谷歌、微软来说,这可能意味着「数十亿美元的额外成本」。

Alphabet 董事长 John Hennessy。

虽然 ChatGPT 这个研发热点肯定是要跟的,但付出的成本是各家公司能够承担的吗?

微软:上万块 A100,为 OpenAI 造超算

微软的答案是肯定的,而且它还要进一步增加相关的研发投入。

彭博社报道,微软花费了数亿美元为 OpenAI 建造了一台巨大的超级计算机,使用了「成千上万块 GPU」以推动 OpenAI 的 ChatGPT 聊天机器人。

据彭博社获得的回复,微软人工智能和云计算副总裁 Scott Guthrie 说,公司在该项目上花费了数亿美元的资金。虽然这对微软来说可能不值一提,毕竟它最近延长了对 OpenAI 的多年、数十亿美元的投资,但这无疑表明,微软愿意在人工智能领域投入更多资金。

在本周一的博客中,微软介绍了它是如何创建 OpenAI 使用的强大的 Azure 人工智能基础设施,以及其系统如何变得更加强大。

比如微软推出了新的虚拟机 —— 使用英伟达 H100 和 A100 Tensor Core GPU 以及 Quantum-2 InfiniBand 网络,这是两家公司去年就预告过的项目。这将允许 OpenAI 和其他依赖 Azure 的公司训练更大、更复杂的 AI 模型。

「大约五年前,OpenAI 向微软提出了一个大胆的想法,即它可以构建将永远改变人们与计算机交互方式的人工智能系统。」John Roach 写道。

当时,没有人知道这将意味着什么。现在,我们理解了这种设想 ——ChatGPT,并体验到了它的魔力:AI 系统可以创建人们用简单语言描述的任何图片,聊天机器人可以根据少量单词编写说唱歌词、起草电子邮件和规划整个菜单。

像这样的技术,在当时看来未必不可能。只是为了构建它,OpenAI 需要真正大规模的计算能力。

2019 年,微软公司宣布向 OpenAI 投资 10 亿美元,同意为这家 AI 研究初创公司建造一台大规模的前沿超级计算机。当时唯一的问题是:微软没有 OpenAI 所需要的东西,也不完全确定能在自己的 Azure 云服务中建造这么大的东西而不崩溃。现在,这个承诺终于兑现了。

微软表示,为了建立给 OpenAI 项目提供动力的超级计算机,它在 Azure 云计算平台上「将成千上万的英伟达 GPU 连接在一起」。反过来,这使得 OpenAI 能够训练出越来越强大的模型,并「释放出 AI 能力」,比如 ChatGPT 和必应工具。

这些突破的关键是学习如何构建、操作和维护数万个在高吞吐量、低延迟 InfiniBand 网络上相互连接的共置 GPU。这个规模甚至比 GPU 和网络设备供应商测试过的还要大。这是一片未知的领域,没有人确切知道硬件是否可以在不损坏的情况下被推到那么远。为了训练一个大型语言模型,计算工作量被分配到一个集群中的数千个 GPU 上。在计算的某些阶段(称为 allreduce),GPU 会交换有关它们已完成工作的信息。InfiniBand 网络加速了这一阶段,该阶段必须在 GPU 开始下一个计算块之前完成。

「我们看到的是,我们将需要建立专注于实现大型训练工作负载的特殊用途集群,而 OpenAI 是这一点的早期证明之一,」微软 Azure AI 企业副总裁 Eric Boyd 在一份声明中说。「我们与他们紧密合作,了解他们在建立训练环境时寻找的、需要的关键是什么。」

谷歌:加紧内测 Big Bard

相比于微软,谷歌的搜索成本问题无疑更大。微软之所以如此渴望撼动谷歌搜索引擎,部分原因就是在大多数市场份额估计中,必应只占全球搜索市场的 3%,而谷歌约占 93%。搜索是谷歌的主要业务,而微软并不需要担心这一点。

根据 Morgan Stanley 的估算 —— 假设「类 ChatGPT 的 AI 能够用 50 个词(word)的答案处理一半的查询」,谷歌每年的成本将增加 60 亿美元。

有趣的是,谷歌从一开始就对模型规模持谨慎态度。谷歌表示 Bard 聊天机器人最初发布的是 LaMDA 轻量级模型版本,原因是「这个更小的模型需要更少的计算能力,才能够扩展到更多的用户,得到更多的反馈。」要知道这不是谷歌的常见操作,谷歌经常在模型规模方面让其他公司相形见绌,在计算资源方面也是极具优势。「规模」只是谷歌花点钱就能解决的问题,除非成本增加的不是一点半点。

根据 Insider 的最新消息,谷歌正在测试一个名为 Big Bard 的模型,它是 Bard 的高级版本,使用了与 Bard 相同的语言模型 LaMDA。

根据内测示例显示,对于相同的问题,Big Bard 给出了更丰富、更人性化的回答,它通常也更健谈、更随意。不过不是所有员工都可以内测 Big Bard ,它是有限制的,仅供部分员工使用,而 Bard 则对所有谷歌员工开放。

除此以外,Big Bard 使用更大规模的 LaMDA,AI 技术为其聊天机器人提供支持。谷歌表示 Big Bard 是其在布局对话模型计划中的一部分,该计划旨在创建一个通用聊天机器人,可以回答用户在其产品和服务中提出的任何问题或请求。

出于成本考虑,谷歌可能会推出 Bard 的限量版。然而,这场人工智能竞赛并没有放缓的迹象。上周有消息传出,多模态的 GPT-4 将于本周发布。看来微软和谷歌的对打一时半会儿还停不下来。

商业模式如何跑通?

类 ChatGPT 产品能为科技公司带来多大的收益,目前很难衡量。有一个已知的例子,谷歌和亚马逊的语音助手多年来一直保持「以后再想办法」的盈利思路,目前都未能产生利润,而且它们是比 ChatGPT 更受限制的聊天机器人。OpenAI 在开放 ChatGPT API 之后,以 token 为单位收取费用,但这对搜索引擎来说并不适用。

微软方面已经准备「在必应聊天机器人生成的回复中插入广告」,补偿其高昂的服务器运行成本。

在开放 API 之后,越来越多的企业用户将与 OpenAI 合作,将其 ChatGPT 服务集成到自己的产品中。大多数公司使用 ChatGPT 等大型语言模型来帮助客户制作企业博客、营销电子邮件等等,而工作量比以前少得多。然而,这些公司的产品几乎都是给大型语言模型套了一个简单的「外壳」,因此很难实现差异化竞争优势。

实际上,OpenAI 最近还推出了 4 个 GPT-3 模型 ——Davinci、Curie、Babbage 和 Ada。其中 Davinci 是功能最强大的模型,Ada 则是速度最快的。Davinci 被一些公司认为是开发产品的更好选择,它的输出往往比 ChatGPT 的更简洁、更直接,并且在某些类别的 prompt 下也表现更好。而 ChatGPT 在一些关键领域优于 Davinci,包括数学、情绪分析等等。

值得注意的是,OpenAI 为 Davinci API 设置的定价是 ChatGPT 的十倍。因此近几周内,大多数 Davinci 用户可能会涌向 ChatGPT。对于 OpenAI 和其竞争对手(包括 Cohere、AI21、Anthropic、Hugging Face)来说,Davinci 的定价似乎更加合理。至于 ChatGPT,它的超低定价会让行业内的同类产品价格大幅下跌,包括 OpenAI 自己的产品。

将 ChatGPT API 的价格设置得如此低的水平(只有原来的十分之一)之后,很难说 OpenAI 会从 ChatGPT 或其他任何模型中获利还是亏损,因为这些超大规模的模型查询成本非常高。有人猜测:OpenAI 可能已经通过剔除自 11 月首次亮相以来全世界提出的无数 ChatGPT 查询中很少激活的参数,修剪了支持 ChatGPT 的模型以降低模型成本。但这只是一个猜测。

接下来的一段时间,OpenAI 可能会因为 ChatGPT 被大量使用而亏损。这听起来有点反直觉,但大型语言模型的训练和运行成本确实非常高。但对于获得微软 100 亿美元和 GPU 全力支持的 OpenAI 来说,「薄利多销」也能让它比其他竞争对手走得更远。

参考链接:

https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/

https://www.bloomberg.com/news/articles/2023-03-13/microsoft-built-an-expensive-supercomputer-to-power-openai-s-chatgpt?srnd=technology-vp#xj4y7vzkg

https://arstechnica.com/gadgets/2023/02/chatgpt-style-search-represents-a-10x-cost-increase-for-google-microsoft/

https://arstechnica.com/gadgets/2023/03/has-the-generative-ai-pricing-collapse-already-started/

https://www.businessinsider.com/google-employees-test-smarter-chatbot-big-bard-2023-3


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1