当前位置:首页|资讯|OpenAI

11月将发布重大更新,OpenAI为什么要主动下调支柱业务的价格?

作者:36氪的朋友们发布时间:2023-10-18

新技术大规模推广前夜,都会出现市场领袖的主动大幅降价行为。

根据媒体报道,在11月6日的首届开发者大会上,OpenAI计划发布重大更新,为接入ChatGPT大模型的用户提供更优化的运营成本,这批更新的核心锁定在一项名为Stateful API(应用程序编程接口)上,其理论上可将大模型应用的开销削减为原来的二十分之一。

对于开发者来说,OpenAI API带来的最直接帮助是内容生成——自6月起,OpenAI就以tokens数量计费形式向企业开发者出售模型API能力,由微软云服务器提供算力支持。而今,API租赁已经成长为OpenAI的核心业务。根据国泰君安证券李沐华的测算,这份收入占OpenAI总收入80%以上,此外便是ChatGPT带来的订阅收入。

这款11月才面世的更新会压低开发者调用GPT模型API的成本。具体而言,Stateful API是一个能够记住对话历史的应用,开发者只需要传入最新的对话记录,大模型会结合该记录和其维护的历史记录,依据上下文产生新的文内容,会极大缩减token的浪费。截至目前,由于开发者必须将应用中的历史记录通过现有的API传给大模型,以便大模型依据历史上下文进行内容生成,大部分token被浪费在了上下文的传输中,Stateful API的普及就如数据库不能随意扩充副本一般,限制了这种浪费,会导致OpenAI从开发者群体获得的收入显著降低。

那么在OpenAI对销售增长寄予厚望之际,这家一直有意转向高定价、高粘性的2B订阅收费的公司为什么要主动调低API调用费用?

这源自OpenAI首席执行官Sam Altam对API租赁业务的看涨和对插件形态的看衰。Sam Altam在今年5月欧洲之旅中提到,很多人认为OpenAI希望开发者的应用程序位于ChatGPT之内,但OpenAI真正想要的是ChatGPT存在于开发者的应用之中。

更确切地说,他认为未来的应用趋势是将大模型的功能嵌入更多APP应用,而不是在ChatGPT上生长出更多插件,因为现实中大多数插件并没有呈现出产品与市场的匹配度。前者是API租赁业务,后者是插件业务。

现实中,插件也不受开发者青睐。

早在今年5月,OpenAI面向其所有ChatGPT Plus用户开放了插件功能,五个月间插件总数已逼近900,而根据路透社得到的一份数据,截至8月底,ChatGPT上排名前列的流行插件Scholar AI每天仅有7000名用户,而ChatGPT本身吸引了约1.8亿月活跃用户。实际上,ChatGPT上排名靠前的30款插件类别仅在问世时出现了热潮,随后开发者们对其兴趣便急剧下降。

本质上,大模型公司开放插件(Plugin)是觉得模型能力还不够强,要通过调用Plugin可以解决更多问题比如计算、逻辑,但此后会面临核心价值的削弱,小公司积极接入Plugin之后,也会考虑把大公司替代,这也是传统软件和SaaS产品曾面临过的问题,拾象科技投资人曾描述过这种情况,称之为软件的囚徒困境。

向量数据库领域初创公司Zilliz合伙人兼技术总监栾小凡告诉界面新闻,目前Plugin是离落地存在一定距离,这受限于大模型的上下文长度与逻辑问题,他判断Plugin生态并不会消亡,而是需要等待大模型的逐渐成熟迎来下一波爆发性增长。

但API租赁业务与此相反,使用OpenAI的API开发模式会让开发者的GPT模型应用与市场需求标准匹配,位于下游的企业用户更担心的是跟不上大公司的迭代速度,而非如何与大公司竞争。

于是OpenAI坚持降低成本,走笼络开发者路线,没有陷入过度关注营收的粉红泡泡。Stateful API的技术就带着把关键技术落地的意图,“很多关键技术,从好的技术原型到实际落地,都卡在了成本这一关键步骤,典型的是Intel的Optane SSD,各项指标优秀,但成本过高没法在消费级硬件大量落地,导致成本没法进一步下降陷入死循环,”栾小凡认为,技术落地过程中的问题将是OpenAI接下来的主要攻坚方向。

栾小凡也特别指出,关于Stateful API带来的真正效果尚属未知,因为目前不确定其是否采取了主流大模型推理中常规的优化思路,他感觉单纯采用后者的技术,很难做到成本下降20倍的目标,并且还会存在不容忽视的内存开销。

本文来自“界面新闻”,记者:李京亚,36氪经授权发布。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1