2023 年 11 月,Open AI 发布 ChatGPT,至今已经近 19 个月的时间,在资本、巨头疯狂“砸钱”、“砸技术”的这两年里,能引起“全民狂欢”的 Super App 仍没有出现。有业内观点认为,目前的 AI 应用都还看不到超级应用的可能性;也有观点认为,超级应用会出现,但是很少。同样,Gary Marcus 质疑在 GPT-4 之后的大语言模型在技术上均没有质的提高。
如何破局?哪些难题卡住了大模型的发展?
解读要点
1. 为何 Super App 仍没有出现?英伟达股价暴涨又暴跌,是人工智能泡沫还是人工智能硬件的泡沫?
2. 经典的 PMF 理论在大模型时代是否仍适用?大模型应用能否赚钱看哪些关键指标?AI 巨头们找到可行的商业模式了吗?
3. 大模型的潜力已经到顶了吗?面临哪些不得不解决的技术难题?
Super App 仍没有出现,人工智能是否正在走向「泡沫破裂」的时刻?
1、人工智能是否只是个泡沫?在经济学中,泡沫被认为一种经济周期,其特点是市场价值(尤其是资产价格)迅速上涨、快速膨胀之后,价值会迅速下跌或收缩,有时被称为「崩盘」或「泡沫破裂」。[1]
① 对于投资泡沫,包括置换、繁荣、兴奋、获利回吐和恐慌共五个阶段。有业内观点认为,我们目前正处于周期的第三阶段,即兴奋阶段,表面上理性的公司正在将巨额资金押注于人工智能。[2]
2、近期,芯片厂商英伟达股价暴涨之后再暴跌,关于「人工智能是个泡沫」、「人工智能已经逼近泡沫」的探讨引发争议。对于人工智能是否存在泡沫,业内持有不同的几方观点。
① Salesforce 创始人本·麦卡锡认为,自 ChatGPT 发布到现在已经过去快 18 个月了,除了人工智能狂热仍然处于历史最高水平之外,世界并没有发生太大变化。一些炒作和言论表明正处于泡沫之中,与 18 个月前相比,最大的不同之一是科技股价格。自 2022 年 11 月以来,Nvidia 股价涨幅超 400%。[3]
② 一名非泡沫论者认为,人工智能确实存在炒作,炒作仍会继续存在,但人工智能可以改变社会,并将远远超出任何泡沫的范围并持续下去,可能比预期的还要大。人工智能企业的市值并没有显著膨胀,投资不是基于绩效,而是基于影响。同时,即使目前 LLM 水平并没有显著的改进,但未来几年对就业和社会的影响是重大且可预见的,只需基于现有模型的 UI 改进,即可实现更多的应用成果,改变未来的工作模式和流程。[4]
③ 同样,摩根大通的 CEO 杰米·戴蒙在今年 2 月份接受 CNBC 采访时表示,「第一次互联网泡沫出现时……那只是炒作。这次不是炒作。这是真的。」
④ DA Davidson 的 Gil Luria 对使用「泡沫」一词来形容人工智能表示异议。他认为,资产可能会膨胀并进入泡沫,而其基础技术则会经历周期。与所有新技术一样,人工智能可能处于「炒作」阶段。但这并不意味着所有与人工智能相关的公司的价值都被过度夸大了。
⑤ 对于认为人工智能泡沫正在形成的阵营中,也有人认为,泡沫不会像互联网泡沫破灭那样糟糕。研究公司 Radio Free Mobile 的创始人理查德·温莎 (Richard Windsor) 认为,「互联网泡沫破裂比人工智能泡沫破裂更严重」,即使人工智能目前处于「不成熟状态」,它也能产生比 20 世纪 90 年代和 21 世纪初互联网高得多的收入。温莎并不确定人工智能泡沫何时会破裂,但有一些迹象值得关注,包括价格下滑,即产品价格因客户需求和竞争而随时间下降。[5]
3、近日,英伟达股价上涨 3.6%,市值达到 3.34 万亿美元,超越微软和苹果,成为全球市值最高的公司。随后,股价开始回落,三天内市值总计蒸发 4300 亿美元。关于「到底是人工智能泡沫还是人工智能硬件的泡沫」引发探讨。
① DA Davidson 的分析师认为,人工智能硬件公司和人工智能软件生产商的股价上涨之间存在重要差异。虽然少数公司如微软的股价因人工智能而大幅上涨,但这是因为人工智能软件实际上提高了它们的利润,与互联网泡沫时期的网站不同。如今的人工智能软件股票仍然「在其历史价格倍数范围内合理交易。但硬件是一次性销售,英伟达更像是互联网时代的思科系统 ......
② 同时,花旗集团的一项研究表明:「人工智能泡沫并没有陷入困境,如果说有什么不同的话,那就是(英伟达)的盈利表现表明,它从一开始就没有那么大的泡沫......」[2]
4、也有观点认为,除非投资金融市场,人工智能是否是泡沫这事关系并不大......[3]
经典的 PMF 理论在大模型时代是否仍适用?大模型实现赚钱这事有哪些难题?
1、AI 基础设施建设的成本高昂,而随着模型规模的进一步加大,高昂支出与收入之间的缺口还在拉大。
① 2023 年 9 月,红杉资本发布了文章《人工智能的 2000 亿美元问题》,发现 AI 基础设施建设所隐含的收入预期与 AI 生态系统的实际收入增长之间存在巨大差距,每年的资本支出都需要填补 1250 亿美元的缺口。对于当前 GPU 资本支出的每一年,需要创造 2000 亿美元的终生收入才能偿还前期资本投资,且还不包括云供应商的任何利润。
② 而近期,红杉资本又发表了系列文章,又将其调整为 6000 亿美元问题,AI 的 2000 亿美元问题变成了 AI 的 6000 亿美元问题,1250 亿美元的缺口现在变成了 5000 亿美元的缺口。
③ 文章认为,即便 GPU 的资本支出是作为前期基础建设但仍存在几点问题:
1)首先是,缺乏定价权,GPU 数据中心的定价权相对较小,因为 GPU 计算逐渐成为按小时计量的商品,大模型新进入者不断涌入市场,导致价格竞争激烈;
2)投资浪费:投机性投资狂潮常导致资本浪费,挑选输家比挑选赢家更容易;
3)折旧:半导体技术不断进步,导致上一代芯片折旧速度加快,而物理基础设施没有类似摩尔定律的规律。
4)赢家与输家:在基础设施建设过剩时期,总有赢家。AI 可能是下一波变革性技术浪潮,GPU 计算价格下降有利于长期创新和初创企业。投资者可能受损,而创始人和公司建设者将受益。[6] [7]
2、近日,据外媒 The Information 报道,OpenAI 在六个月内实现了年化收入翻倍,达到 34 亿美元。收入增长主要由订阅服务和 API 访问费用所驱动。但并非大部分的人工智能公司都像 OpenAI 一样,《华尔街日报》称投资者认为每家初创公司都会像 OpenAI 一样取得巨大成功是错误的。Character AI、Magic AI 等创企几乎没有赚钱。[8]
3、《纽约时报》和《华尔街日报》等均报道称,目前许多人工智能创企在过去几年中从风险投资公司获得了大量资金,但尚未找到可行的商业模式。同时,创企还面临着一个至关重要且迫切的难题是如何与资金投入雄厚的大型科技巨头竞争,
① 据跟踪该行业的 PitchBook 称,过去三年,投资者已向约 26,000 家人工智能和机器学习初创公司投入了 3,300 亿美元。这比 2018 年至 2020 年期间他们为 20,350 家人工智能公司投入的资金高出三分之二。
② 媒体据知情人士透露,Anthropic 在亚马逊和谷歌的支持下筹集了超过 70 亿美元的资金,该公司每年的支出约为 20 亿美元,但收入仅为 1.5 亿至 2 亿美元左右。
③ Stability AI 预计今年销售额将达到 6000 万美元,但其图像生成系统的开发成本高达 9600 万美元,且图像生成系统的市场销售前景仍不明朗。尽管 Stability AI 去年筹集了 1.01 亿美元,同时去年年底又从英特尔获得 5000 万美元投资,但仍存在财务挑战。
④ 同样,AI 聊天机器人创企 Inflection AI 虽然已筹集了 15 亿美元,但据一位投资者称,其在推出 AI 个人助理一年后,该公司几乎没有收入。目前,Inflection AI 基本上融入了全球最有价值的上市公司微软。值得一提的是,据《纽约时报》报道,Inflection AI 在给投资者的一封信中写道,额外融资「不是投资者资金的最佳用途,尤其是在当前 AI 市场泡沫的情况下。」[9]
4、除了 AI 创企外,AI 巨头/大厂离实现「真正赚钱」这事,也仍有一段距离。在近期的财报电话会议上,各家巨头向投资者阐述了其对于 AI 的投入及关键战略。
① Meta CEO 马克·扎克伯格强调,在削减成本的同时,将继续大力发展人工智能。目标是打造最受欢迎的、最先进的人工智能产品和服务,为每个用户提供世界级的 AI 助手。
② 微软 CEO 萨蒂亚·纳德拉表示,微软致力于扩大人工智能投资和云计算业务,即使这意味着密切关注其他部门的开支,并让每个团队都进行严格的成本管理。CFO 艾米·胡德表示,公司将继续优先投资人工智能,将其视为「塑造未来十年的事物」。纳德拉更加关注,微软 Azure 和 Copilot 助手。
③ 谷歌 CEO 桑达尔·皮查伊 表示优先考虑扩大搜索、YouTube、Google Cloud 等 AI 的规模。投资数据中心等基础设施是「实现我们 AI 宏伟抱负的关键」,公司已经削减了非优先项目,并投资于某些流程的自动化。在谷歌云方面,谷歌将通过重新分配资源到最重要的项目、放缓招聘速度、改善技术基础设施以及使用人工智能简化整个 Alphabet 的流程来削减开支。第四季度资本支出总计 110 亿美元,主要来自对基础设施、服务器和数据中心的投资。
④ 谷歌将重点关注 Vertex AI 和 Duet AI 两款应用。Vertex AI 提供 130 多个生成式 AI 模型供开发人员和企业客户使用;Duet AI 则作为提高生产力的 AI 代理,并将整合 Gemini 和 Bard 聊天机器人。
⑤ 亚马逊的 CEO 安迪·贾西表示,生成式人工智能将在未来几年为亚马逊带来数百亿美元的收入。亚马逊 Bedrock 是重点关注对象,企业客户希望使用可以个性化和构建的现有模型。同时还推出了一款由 AI 生成的购物助理 Rufus,训练于产品目录、客户评论等数据。[10]
5、对于如何验证大模型时代的应用是否做的好,能落地赚钱,除了传统的 PMF 理论,还有一些新的逻辑。
① AI 创企「零一万物」的创始人李开复认为,AI 应用尚未落地的核心原因在于目前的推理成本过高。在大模型时代,巨额的技术投入成本的情况下,李开复提出了 Product-Market-Technology-Cost Fit(T C-PMF),即技术成本与产品市场契合度。
② 李开复认为,在移动互联网时期,达到 PMF(Product-Market Fit,产品市场契合度)是每个应用的目标。但是在大模型时代,PMF 这一概念已经不能完整定义 AI-First 创业......[11]
③ 百川智能的创始人王小川提出了类似的理论。王小川认为,当前很多大模型的应用,并没有真正扣应用户的需求,继续做下去会卷到大厂的竞争赛道里。当前更需要寻找的是 TPF(技术/产品契合度)......[12]
从技术角度看,大模型的潜力已经发掘殆尽了吗?难题在哪?
1、近期,Gary Marcus 发推特质疑,「Is scaling all you need」,LLM 基于 Scaling Law 的路线似乎已经到顶。Marcus 认为,距离 GPT-4 发布已经过去了 14.5 个月,期间有大约有 500 亿美元投资在芯片上,但仍然没有模型能够真正打败 GPT-4。[13] [14]
① Marcus 认为,从 GPT-2 到 GPT-3 的巨大飞跃、从 GPT-3 到 GPT-4 的巨大飞跃,而从 GPT-4 到 GPT-4 Turbo 性能进展则不是那么大,无数迹象表明 LLM 已经进入收益递减期。
2、Scaling Law 是推动 AI 革新的关键之一。
① 针对语言模型的 Scaling Law 来自 OpenAI 2020 年发布的论文,其释义可简要总结为:随着「模型大小」、「数据集大小」、「(用于训练的)计算浮点数」的增加,模型的性能会提高。当不受其他两个因素的制约时,模型性能与每个单独的因素都有幂律关系。
② Scaling Law 的意义在于......
③ 而 Scaling Law 的局限性也同样至关重要,需要海量、优质的训练数据,而目前真实可用的训练数据、语料正在枯竭......[15]
3、同时,基于注意力机制的 Transformer 架构也是推动此轮 AI 革新的关键之一,同样也是目前存在的技术难题之一。Transformer 在推理和规划性能方面存在以下几点局限性,......
4、同样,近期针对 Transformer 架构的优化或替代研究工作也有很多。
① 今年 6 月,Mamba 的原作团队 Albert Gu 和 Tri Dao 开发了 Mamba-2 架构......
5、此外,如何降低大模型的推理成本也是十分关键的技术难题。因此,优化模型的推理延迟、吞吐、功耗和存储等指标,成为相关研究工作的重要目标。据综述论文《A Survey on Efficient Inference for Large Language Models》[17] ,计算开销(Computational Cost)、访存开销(Memory Access Cost)和存储开销(Memory Cost)三个因素影响了大语言模型在实际部署应用中的延时、吞吐、功耗和存储等效率,同时指出了影响以上效率指标和因素的三点关键。分别为:......
订阅机器之心Pro会员通讯👇,查看完整解读