科技巨头血拼：微软豪掷数亿造ChatGPT超算，谷歌加急测试Big Bard
机器之心报道
机器之心编辑部
成本虽然高昂，但巨头们更不愿错过这次机会。
近几个月，ChatGPT 爆火出圈，风头无两。人们大多把关注重点放在了 ChatGPT 强大的生成功能和应用场景上，却很少关心模型的应用成本。
虽然 ChatGPT API 开放之后，使用成本降低了九成，但对于 OpenAI 和集成 ChatGPT 的科技公司来说，情况却大不相同。
众所周知，在谷歌搜索的时代，搜索引擎的工作原理是建立巨大的网络索引，在用户进行搜索时，这些索引条目会被扫描、排名和分类，随后结果显示出最相关的条目。谷歌的搜索结果页面实际上会告诉用户搜索所需要的时间（通常不到一秒）。
而 ChatGPT 式的搜索引擎会在每次搜索时启动一个模仿人脑的巨大神经网络，生成一堆文本，可能还会查询大型搜索索引以获取事实信息。这意味着用户与其交互的时间可能远远超过几分之一秒，并且这些额外的处理需要花费更多的成本。
据路透社报道，Alphabet（谷歌的母公司）的董事长 John Hennessy 及几位分析师交谈之后写道：「与 AI 大型语言模型交流询问的成本可能是标准关键字搜索的 10 倍以上」。对于致力于推行 ChatGPT 式搜索引擎的谷歌、微软来说，这可能意味着「数十亿美元的额外成本」。
Alphabet 董事长 John Hennessy。
虽然 ChatGPT 这个研发热点肯定是要跟的，但付出的成本是各家公司能够承担的吗？
微软：上万块 A100，为 OpenAI 造超算
微软的答案是肯定的，而且它还要进一步增加相关的研发投入。
彭博社报道，微软花费了数亿美元为 OpenAI 建造了一台巨大的超级计算机，使用了「成千上万块 GPU」以推动 OpenAI 的 ChatGPT 聊天机器人。
据彭博社获得的回复，微软人工智能和云计算副总裁 Scott Guthrie 说，公司在该项目上花费了数亿美元的资金。虽然这对微软来说可能不值一提，毕竟它最近延长了对 OpenAI 的多年、数十亿美元的投资，但这无疑表明，微软愿意在人工智能领域投入更多资金。
在本周一的博客中，微软介绍了它是如何创建 OpenAI 使用的强大的 Azure 人工智能基础设施，以及其系统如何变得更加强大。
比如微软推出了新的虚拟机 —— 使用英伟达 H100 和 A100 Tensor Core GPU 以及 Quantum-2 InfiniBand 网络，这是两家公司去年就预告过的项目。这将允许 OpenAI 和其他依赖 Azure 的公司训练更大、更复杂的 AI 模型。
「大约五年前，OpenAI 向微软提出了一个大胆的想法，即它可以构建将永远改变人们与计算机交互方式的人工智能系统。」John Roach 写道。
当时，没有人知道这将意味着什么。现在，我们理解了这种设想 ——ChatGPT，并体验到了它的魔力：AI 系统可以创建人们用简单语言描述的任何图片，聊天机器人可以根据少量单词编写说唱歌词、起草电子邮件和规划整个菜单。
像这样的技术，在当时看来未必不可能。只是为了构建它，OpenAI 需要真正大规模的计算能力。
2019 年，微软公司宣布向 OpenAI 投资 10 亿美元，同意为这家 AI 研究初创公司建造一台大规模的前沿超级计算机。当时唯一的问题是：微软没有 OpenAI 所需要的东西，也不完全确定能在自己的 Azure 云服务中建造这么大的东西而不崩溃。现在，这个承诺终于兑现了。
微软表示，为了建立给 OpenAI 项目提供动力的超级计算机，它在 Azure 云计算平台上「将成千上万的英伟达 GPU 连接在一起」。反过来，这使得 OpenAI 能够训练出越来越强大的模型，并「释放出 AI 能力」，比如 ChatGPT 和必应工具。
这些突破的关键是学习如何构建、操作和维护数万个在高吞吐量、低延迟 InfiniBand 网络上相互连接的共置 GPU。这个规模甚至比 GPU 和网络设备供应商测试过的还要大。这是一片未知的领域，没有人确切知道硬件是否可以在不损坏的情况下被推到那么远。为了训练一个大型语言模型，计算工作量被分配到一个集群中的数千个 GPU 上。在计算的某些阶段（称为 allreduce），GPU 会交换有关它们已完成工作的信息。InfiniBand 网络加速了这一阶段，该阶段必须在 GPU 开始下一个计算块之前完成。
「我们看到的是，我们将需要建立专注于实现大型训练工作负载的特殊用途集群，而 OpenAI 是这一点的早期证明之一，」微软 Azure AI 企业副总裁 Eric Boyd 在一份声明中说。「我们与他们紧密合作，了解他们在建立训练环境时寻找的、需要的关键是什么。」
谷歌：加紧内测 Big Bard
相比于微软，谷歌的搜索成本问题无疑更大。微软之所以如此渴望撼动谷歌搜索引擎，部分原因就是在大多数市场份额估计中，必应只占全球搜索市场的 3%，而谷歌约占 93%。搜索是谷歌的主要业务，而微软并不需要担心这一点。
根据 Morgan Stanley 的估算 —— 假设「类 ChatGPT 的 AI 能够用 50 个词（word）的答案处理一半的查询」，谷歌每年的成本将增加 60 亿美元。
有趣的是，谷歌从一开始就对模型规模持谨慎态度。谷歌表示 Bard 聊天机器人最初发布的是 LaMDA 轻量级模型版本，原因是「这个更小的模型需要更少的计算能力，才能够扩展到更多的用户，得到更多的反馈。」要知道这不是谷歌的常见操作，谷歌经常在模型规模方面让其他公司相形见绌，在计算资源方面也是极具优势。「规模」只是谷歌花点钱就能解决的问题，除非成本增加的不是一点半点。
根据 Insider 的最新消息，谷歌正在测试一个名为 Big Bard 的模型，它是 Bard 的高级版本，使用了与 Bard 相同的语言模型 LaMDA。
根据内测示例显示，对于相同的问题，Big Bard 给出了更丰富、更人性化的回答，它通常也更健谈、更随意。不过不是所有员工都可以内测 Big Bard ，它是有限制的，仅供部分员工使用，而 Bard 则对所有谷歌员工开放。
除此以外，Big Bard 使用更大规模的 LaMDA，AI 技术为其聊天机器人提供支持。谷歌表示 Big Bard 是其在布局对话模型计划中的一部分，该计划旨在创建一个通用聊天机器人，可以回答用户在其产品和服务中提出的任何问题或请求。
出于成本考虑，谷歌可能会推出 Bard 的限量版。然而，这场人工智能竞赛并没有放缓的迹象。上周有消息传出，多模态的 GPT-4 将于本周发布。看来微软和谷歌的对打一时半会儿还停不下来。
商业模式如何跑通？
类 ChatGPT 产品能为科技公司带来多大的收益，目前很难衡量。有一个已知的例子，谷歌和亚马逊的语音助手多年来一直保持「以后再想办法」的盈利思路，目前都未能产生利润，而且它们是比 ChatGPT 更受限制的聊天机器人。OpenAI 在开放 ChatGPT API 之后，以 token 为单位收取费用，但这对搜索引擎来说并不适用。
微软方面已经准备「在必应聊天机器人生成的回复中插入广告」，补偿其高昂的服务器运行成本。
在开放 API 之后，越来越多的企业用户将与 OpenAI 合作，将其 ChatGPT 服务集成到自己的产品中。大多数公司使用 ChatGPT 等大型语言模型来帮助客户制作企业博客、营销电子邮件等等，而工作量比以前少得多。然而，这些公司的产品几乎都是给大型语言模型套了一个简单的「外壳」，因此很难实现差异化竞争优势。
实际上，OpenAI 最近还推出了 4 个 GPT-3 模型 ——Davinci、Curie、Babbage 和 Ada。其中 Davinci 是功能最强大的模型，Ada 则是速度最快的。Davinci 被一些公司认为是开发产品的更好选择，它的输出往往比 ChatGPT 的更简洁、更直接，并且在某些类别的 prompt 下也表现更好。而 ChatGPT 在一些关键领域优于 Davinci，包括数学、情绪分析等等。
值得注意的是，OpenAI 为 Davinci API 设置的定价是 ChatGPT 的十倍。因此近几周内，大多数 Davinci 用户可能会涌向 ChatGPT。对于 OpenAI 和其竞争对手（包括 Cohere、AI21、Anthropic、Hugging Face）来说，Davinci 的定价似乎更加合理。至于 ChatGPT，它的超低定价会让行业内的同类产品价格大幅下跌，包括 OpenAI 自己的产品。
将 ChatGPT API 的价格设置得如此低的水平（只有原来的十分之一）之后，很难说 OpenAI 会从 ChatGPT 或其他任何模型中获利还是亏损，因为这些超大规模的模型查询成本非常高。有人猜测：OpenAI 可能已经通过剔除自 11 月首次亮相以来全世界提出的无数 ChatGPT 查询中很少激活的参数，修剪了支持 ChatGPT 的模型以降低模型成本。但这只是一个猜测。
接下来的一段时间，OpenAI 可能会因为 ChatGPT 被大量使用而亏损。这听起来有点反直觉，但大型语言模型的训练和运行成本确实非常高。但对于获得微软 100 亿美元和 GPU 全力支持的 OpenAI 来说，「薄利多销」也能让它比其他竞争对手走得更远。
参考链接：
https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/
https://www.bloomberg.com/news/articles/2023-03-13/microsoft-built-an-expensive-supercomputer-to-power-openai-s-chatgpt?srnd=technology-vp#xj4y7vzkg
https://arstechnica.com/gadgets/2023/02/chatgpt-style-search-represents-a-10x-cost-increase-for-google-microsoft/
https://arstechnica.com/gadgets/2023/03/has-the-generative-ai-pricing-collapse-already-started/
https://www.businessinsider.com/google-employees-test-smarter-chatbot-big-bard-2023-3