当前位置:首页|资讯|生成式AI

对话火山谭待:今天行业按Token来计费,但以后不会只有这个模式

作者:36氪发布时间:2024-08-06

文|邓咏仪

编辑|苏建勋

封面来源|公司提供

涌现(Emergence),是生成式AI浪潮的一个关键现象:当模型规模扩大至临界点,AI会展现出人类一般的智慧,能理解、学习甚至创造。

「涌现」也发生在现实世界——硅基文明一触即发,AI领域的创业者、创造者,正在用他们的智慧与头脑,点亮实现AGI的漫漫征途。

在新旧生产力交替之际,《智能涌现》推出新栏目「涌现36人」,我们将通过与业界关键人物的对话,记录这一阶段的新思考。

2024年的火山引擎一反此前低调,正在以一种疾速姿态,在大模型市场现身。

不久前的5月,火山刚刚举办了一场引人注目的发布会,一举将模型价格拉低到“地板价”。豆包的主力模型豆包Pro-32k,就降价至0.0008元/千Tokens,同比行业平均降了99.3%。一时间,全行业哗然,厂商纷纷跟进。

但两个月后,在价格上“掀了桌”的火山引擎,已经不愿再多谈价格问题。“现在,用10亿Tokens才1000块钱,再降价已经没有太大意义。重要的是在同等价格下,模型能力提高多少。”火山引擎总裁谭待对《智能涌现》表示。

某种程度上,5月那个狂风骤雨般的“大促周”——除火山外,阿里、腾讯、讯飞等等大小厂商纷纷宣布大模型降价,是大模型领域进入新阶段的象征。这背后的共识是:尽管大模型已经琳琅满目,但它带来的AI新蛋糕还太小——算力太贵,用户没有动力创新。所以,厂商们不如让利。

效果也立竿见影。豆包大模型如今的日均Token使用量已超5000亿。降价前,这个数字是1200亿。

比起价格战、收入这些名词,谭待更关心带来了多少用户,以及他们到底用大模型做了多少事情。“我们不太看短期收入,更看通过这个事情跟多少客户建立了更深的合作,帮他解决多少问题,自然而然就会有结果。”他说。

人们往往沿着过往的道路预测未来。大模型和云计算,都被认为是模式类似的生意:前期极重技术投入和工程研发,但到后期马太效应极高。但前提是,要让在其上的业务规模长到极大,才能真正有规模效应。

今年的大模型,正沿着这条道路发展——厂商们一轮轮地降价,让大模型算力更加普惠,成为水电煤一样的基础设施。

谭待认为,在未来,大模型落地会比云计算跑得更快。ChatGPT等产品已经让全世界知道AI是未来,不像云计算经历了漫长的“布道”。但要做到让大家毫无顾虑地去做创新,降价只是第一步。

而AI应用的爆发,还需要持续投入到攻克模型的种种技术难关上:控制幻觉、长文本等等。“没觉得开发者们焦虑,现在谈Killer App还太早了。”他表示,现在的大模型还在“大哥大”时代,“还要等好多年,iPhone才出现。”

2021年,火山正式进军云市场,如今满打满算也只有三年,在云计算市场仍是一支新军。因此,AI对火山引擎而言,既是一张新时代门票,也是弯道超车的机遇——这同样是火山对AI大力投入的原因所在。在2023年,国内70%的大模型企业,都使用了火山引擎的算力服务;而在今年,MaaS(Model as a Service,模型即服务)将是下一个战场。

以下为《智能涌现》与谭待的对话实录,经整理编辑:

价格“掀桌”之后

《智能涌现》:火山最近被讨论的最多的,还是你们是大厂里第一个掀起降价潮的厂商,大家说你们“掀桌了”。背后是怎么考虑的?

谭待:我们的核心考虑,是要把应用生态做起来。

《智能涌现》:降价对你们来说,是个困难的决定吗?想了多久?

谭待:完全不困难。我们从去年8月份正式推出之后,那会成本肯定就特别高。后面我们一直做工程方面的优化,内部也有大量的使用了,工程优化差不多一年的时候,我们就开始考虑降价的事。

《智能涌现》:为什么说这个决策不算困难?

谭待:我们在想,这个事情最重要的是什么?就是我们要让业务生态繁荣起来。

这背后是有几个门槛的。第一是模型能力,豆包已经做起来了。我们的515大会上,大家也都看到,我们介绍大模型的时候没有提自己的评测集,也没有讲评测结果。

因为我觉得,大家用起来就可以了。测评什么的,现在有很多第三方的评测,包括智源、OpenCompass等,都有说豆包效果挺好的。

第二就是成本太高,所以我们首先把价格要降下来,而且是一个可持续的价格。因为我们是个To B业务,如果定价没办法长期支持毛利或者利润,是不可持续的。

第三是落地的应用性,包括插件、案例等等,这是要用很多东西合起来的。我们通过工程优化,把成本降下来,这就是火山——一个云厂商要做的事情。

《智能涌现》:火山是通过什么方法,把价格降到这么低的?

谭待:就是不断优化我们的模型结构,优化推理的工程,成本降低了,就能把这个红利释放出来给到行业。

大模型作为一种服务,一定是规模越大、成本越低。规模大,就可以有不同的负载,可以做错峰、混合调度,云计算其实也是一样的道理,让它成本变低。

第二,规模足够大的时候,优化一点点,收益就足够大,才能有足够的预算去建一个不错的技术团队。

《智能涌现》:这是一个相辅相成的过程。首先得更便宜,让规模越大,你再进行优化,收益才会更大。

谭待:这也得益于豆包APP的调用量起来了。之前的第三方数据大家都能看到,AI类产品,豆包APP排名都是第一。在抖音内部,就有50多个场景和业务线在大量使用,外部也有很多邀约的客户,把规模撑起来了。

5月15日宣布降价之后,我们的调用规模涨得更快,这时候我们又看到了更多可以优化的点。

《智能涌现》:正式宣布降价后,效果怎么样?

谭待:首先,大家完全没有任何负担做AI创新了,规模涨得很快。很多创业公司每天的调用量会超过10亿Tokens,现在10亿Tokens才多少钱?就1000块钱。比起5月15日模型发布时,现在平均每家客户日均Tokens使用量增长了二三十倍。

而且有很多我们没有想到的使用场景。我们就看豆包原来的日调用量,是1200多亿Tokens,降价后,现在已经超过5000亿Tokens。

其次是,我们宣布降价的时候,有的人说价格不重要,但慢慢地后面很多厂商都开始跟了。

《智能涌现》:你们的主力模型豆包Pro 128k定价是0.005元/千Tokens,比起行业价格降低了95.8%,而32k的模型是0.0008元/千Tokens,更是降了99.3%。这个价格可以说是个“地板价”,是怎么定的?

谭待:我们先把目标定好了,要把红利释放出来,有一个持续的价格。不亏,但是我也不用赚太多。我开始以为是和行业平均水平相比是降90%,我没想到后面一比,降了99%。

《智能涌现》:后面还会有降价空间吗?

谭待:从这个角度来说,价格已经不是瓶颈了。降到这么低了以后,无论再降多少,其实给用户带来的增益是不大的。现在更重要的是相同价格下,把模型能力再往上提,这是更有意义的事情。

《智能涌现》:这是不是有点像之前做CV(视觉识别)那一波AI创新。准确度从70%到90%很重要,但是最后从95%到98%其实意义也不大了,客户也都能接受了。

谭待:它可能是做不到98%。但我们应该要反过来看,以前是5%的Bad Case(不符合预期的结果),现在变成2%,效果上还是提升了一倍。

《智能涌现》:行业里也有不少评论,说现在国内开始打价格战,对行业有不利的地方。因为训练大模型很贵,这样一来大家都赚不到钱。

谭待:我不认同这个观点。站在行业的角度来说,这让中国的AI繁荣了,这是件好事。

云计算也是一样的,云更早进入价格战,那是好事,企业数字化转型更容易了,成本都降低了,不能只站在一家公司角度来看。

《智能涌现》:过去在互联网的语境下,“价格战”的贬义成分太大了。

谭待:我觉得是有区别的,以往To C互联网的商业模式是不一样的,羊毛出在猪身上。但是To B的价格战,企业本身就靠这个来收费的,持续提供这个价格,最后大家都会受益。

《智能涌现》:这对开发者肯定是好消息。但在你们内部呢?有一些云厂的销售同学和我们说,都没有动力卖AI了,因为AI卖不上价钱。怎么考虑这个问题?

谭待:这是个很好的问题。我觉得对我们来说没有什么损失。

首先,火山是个云平台,客户也不是只要大模型,他其实是要一套整体方案,里面有大模型,有云,也有数据产品。

大模型本身的单位收入是下降了,但通过大模型,帮客户解决更多的问题,你以后会有更多的机会和他做更多的生意。如果大模型做好了,客户甚至和我们说会说,不行,我的IT架构要重构,然后基于火山来做这个事情。

《智能涌现》:做IT架构的重构,这个怎么理解?空间和机会体现在什么地方?

谭待:以前的IT支出里有很多东西,不是通过云的方式来解决的,而是通过软件功能的叠加——背后都是靠人力做的,很多东西没办法转化成算力。

但有了大模型之后,很多场景,不管Copilot还是Autopilot的方式,很多AI场景都是可以由大模型来服务,而大模型底层就是云。以前云切不到的市场,就变成了可以去切的市场。

《智能涌现》:客户现在对AI的认可度有多高?云计算刚出来的时候,很多企业用户会把云计算等同于“先进”的概念,然后去做数字化。大模型现在有达到这样的效果吗?

谭待:企业并不是说现在上了AI以后,所有的IT环境马上全部被AI取掉,肯定做不到,都是先把某一些可以用AI提升效率的场景识别出来。

举个例子,我们看到有些客户,模型一旦调用量起来,上下游的服务就崩溃了,他们就会把这些架构基于云原生改造一下,撑起这个负载。

《智能涌现》:这些案例,会多大程度体现在收入上?

谭待:不全是从收入角度来看,我们现在也不太看短期。我们更看通过这个事情跟多少客户建立了更深的合作,帮他解决多少问题,最后自然而然就会有结果。

《智能涌现》:短期不看收入的话,现在你最看重什么指标?

谭待:企业使用的Token数,但以后我觉得也不会只是这个模式。我以前认识一个朋友,他以前是写小说的,后来“弃文从诗”。我问,你为什么做这个选择?他说写诗是按行收钱的,写小说是按字收钱的——同样100个字,价格是不一样的。

大模型的商业模式肯定会有所变化,最后的经济模型是更端到端的模型。比如有一个Agent,它帮你解决多少问题,你就给它付多少钱,同样100个字,由谁产出是不一样的,这是更高级的商业模式。

AI应用没爆发,本质还是模型能力问题

《智能涌现》:今年开始,行业里现在讨论一个很古早的词:Killer App。大家在疑惑,为什么还没有出现杀手级的应用。火山作为一个重要的基础设施提供方,你怎么看现在AI应用所处的时期?

谭待:我觉得其实现在已经有Killer App了,ChatGPT就是。无论是用户数和收入数,它比所有的互联网产品,比TikTok、抖音都快,这已经是一个很强的信号了。

现在谈Killer App,我觉得本身还是站在To C的角度看这个事情。大模型在C端场景肯定会跑得很快,因为试用面非常广,比如聊天类、情感陪伴类的App,现在都跑得很快。

其次,我们也不用只看Killer App,因为还有很多生产力的场景在企业端,比如AI客服。在这些场景,不适用Killer App的概念,我们也不以DAU之类的指标讨论。

企业服务不会讲Killer App。ERP(企业管理系统软件)是Killer App,每个企业都要有,但不会有人谈这个概念。

《智能涌现》:从全球范围来说,除了ChatGPT到达Killer App的水平,其他产品都差得太远了。比如情感陪伴、交友,都还是主打的比较小范围的人群,同质化程度还高。

谭待:我觉得要看时间,比如开始PC时代的Killer App是搜索引擎,但搜索引擎是很晚才出现的,以前都是门户网站、电商网站。但这些网站多了之后,搜索引擎再出来了。

包括移动互联网刚萌芽的时候,抖音、美团这些App,也是过了好几年以后才出来的。

《智能涌现》:你是做云计算出身。如果跟云计算相比,你怎么看这一轮AI技术的普及?它会和云计算普及的路径一样吗?

谭待:云计算这个事情,即使你是做技术的,去了解它也挺复杂的,不是个人就能轻松搭起来事情。我2010年到2011年的时候在阿里待过。那个时候,全球可能就AWS一个想清楚云是什么了,谷歌也都没想清楚。

但AI不一样,作为个人,就能很方便的体会它的功能,好坏你也很快能知道。你想知道AI是什么,下个豆包就行了。从这个角度来说,它就不像云计算,需要太复杂的布道。

《智能涌现》:这样的普及路径,会影响To B业务的决策和购买逻辑吗?

谭待:每个企业是有惯性的,To B业务会变得慢一些。但是至少你去了解这个产品好不好的时候,客户的体验会变。

AI带来的一个大改变是,它让To B业务可见可得,POC(原型验证)的时间会短很多。以前,决策和使用是分离的,决策者做选择,但使用者会觉得这太烂了。

但是AI把这些鸿沟都抹平很多。以前客户要看PPT、去参观、做访谈,最后决策者顶多看看Demo,体验得不是那么完整。现在我和客户去聊,客户会和我们说我平时用的豆包,他要调Demo里的什么东西,后台改一改,马上就能调了。甚至售前自己就能动手,不需要售前回来让研发再改。

这也是为什么我们To C和To B都是一个品牌,都是豆包。

《智能涌现》:就国内的大模型而言,你觉得现在差异化大吗?

谭待:价格上差异就很大。

《智能涌现》:大家不是都降很多了吗?

谭待:国内的厂商其实没有跟得彻底,我们是最强的主力模型也降到了一个0.0008元/千Tokens,但大部分厂商不是降最强,而是把次强的模型降的比较低,或者把一个小模型给免费了。你去看看一些友商的主力模型多少钱,和豆包的价格还差着至少几十倍。

用开源的模型来测成本,也比用豆包要贵。如果用开源的Llama去做,工程优化要自己做,没有规模优势。同样的效果下,自己做工程优化,也比直接用云上的要贵好几倍。

《智能涌现》:除了价格之外,其他差异呢?

谭待:模型现在还在快速的进化中,还有很多能力没有开发出来,后面还是会有很多差异,它会越来越好。但看全球范围内,可能就那么三四家做得很好,至少不会是像国内十家这么多。

《智能涌现》:现在火山的客户,主要集中在什么行业?

谭待:千行百业都有。做得比较好的手机厂商,包括三星、小米、OPPO、vivo、荣耀。汽车厂商我们做得也很多,都是很大的公司。金融银行也有一些案例。

但切入角度会不一样。比如手机和汽车,我们做的是比较完整的人机交互场景。但很多大国企或银行,他们可能先从一个小点来试。

所以做AI的好处是,你可以一点点开始,没必要一上来就切核心系统。

《智能涌现》:各家大模型平台的客户画像差异大吗?做大模型的很多都是云厂商,云厂商的客户群体也都会有行业差异。

谭待:大模型业务规模小的时候是有差异的,规模大了就没什么差异了。现在中小客户肯定要多一些,但我们去看行业分布,可能不一定会有特别大的差异。

《智能涌现》:C端和B端,你觉得大模型在哪边会先起来?

谭待:我们现在量差不多,但C端的马太效应很强,可能头部的几个客户,就贡献了非常多DAU。C端都是这个逻辑,哪怕不是AI的时候也是这样的规律,但B端发展就很长远了。

《智能涌现》:现在大模型能做的事情还是相对比较简单,比如,大家都觉得Agent(智能体)这个定义甚至都没有对齐。为什么现在现在大模型的执行只能停留在这么简单的场景?

谭待:模型能力不够强嘛。

《智能涌现》:有什么关键地方要突破?

谭待:挺多的,模型能力要强,智力要强。前段时间不是高考嘛,豆包终于“考上了”文科一本,但还没考上清华北大,连理科一本都没考到,这是很明显的事情,水平还没够。但没问题,我们有足够的信心。

第二,还有很多复杂的问题没解决好,比如长期记忆。这肯定是需要一些模型结构上的创新,还有多模态要做得更好。成本也要控制,加上这些能力之后,成本涨太多也不行。

我觉得大模型还是处在很早期。移动通信革命三四十年了,从七八十年代开始,AI的发展历史比它更长,我们这才刚干了两年。90年代我们还在用大哥大的时候,能想到现在的iPhone吗?这都是几十年间的变化。

《智能涌现》:现在火山大模型的业务体量,无论是客户量还是收入,符合你的预期吗?

谭待:我觉得可以的,达到预期了。我们希望看到一个繁荣的生态,现在确实达到了我们想要的效果。而且不仅是我们在涨,我们看到友商也在涨。

《智能涌现》:心里有一个预估的量吗?

谭待:比如总Token数有个目标,既有总量也有分层,比如Token数超过多少多少的用户数量,要达到一个水平。我们希望客户形成一个纺锤形、或者漏斗结构的分布。如果Token总量很高,但过亿Token的客户只有十个,那也不健康。

《智能涌现》:现在的形状是什么样的?

谭待:现在还没有到倒金字塔的形状,腰部用户的部分还可以更粗一点。

《智能涌现》:很明显,大模型降价之后,AI更加普惠了,能做的事情也变多。你觉得现在的早期使用者们,“一人公司”的趋势明显吗?

谭待:现在“一人公司”少一些,“十人公司”挺多的。我看海外的,有两三个人就能做不少事情。

以前我们开玩笑说,创业就差一个程序员,现在也不需要了。我们访谈的一些用户说,我没有Code(代码),这个Demo根本做不出来原型验证(POC),但现在可以了,这就是0到1的突破。以后大模型再好一点,可能就0到100的事情,都可以用AI来解决。

OpenAI原来有个讨论,什么时候出现公司只有一个人的独角兽公司(估值10亿美金以上),是五年还是更久。

这样的话,我们更不应该只看Killer App,因为创业公司的很多想法,都是去解决很垂直的问题。

鼓吹“上AI就能业务增长”,这是骗子

《智能涌现》:你现在的精力是放在技术这边更多一点,还是客户这边比较多?

谭待:差不多。短期内这两边是分不开的。AI不像云计算已经很成熟了,AI的模型提升、产品提升,客户怎么用,需要有一个反馈的过程,不能只坐在办公室里面去看。

《智能涌现》:客户现在的需求或者疑惑,聚焦在哪些层面比较多?

谭待:有很多让你意想不到的方式。

比如教育场景,以前有的人想,我把解题给你解好就行了。但现在很多场景是,客户需要你扮演好一个老师,告诉我怎么做到这一点,不是只告诉我答案是什么,这对模型就不只是模型能力上的要求。

《智能涌现》:你觉得这是一个产品层面的问题吗?

谭待:你可以认为是个产品或者需求问题,但背后也都是技术问题。

《智能涌现》:在客户这边,“Must have”的场景,现在会多吗?比如现在,企业认为AI是个可有可无的东西,或者可能会考虑到降本增效问题。

谭待:大家已经有共识,AI是那个Next Big Thing,所以他肯定不会错过。现在我们已经不需要再去教育企业一定要用AI,但你要和他探讨哪些场景适合用AI。有时大家会低估AI的能力,有时候也会高估。

《智能涌现》:所以,比起以前数字化的时代,AI相当于给数字化这个理念带去了一点新升级。

谭待:也许是的。以前做数字化,很重要的一步是要把非结构化数据变成结构化的,还要让人理解结构化数据。现在AI全给他解决了,数字化的门槛降低了。

《智能涌现》:企业看待AI和看待数字化的视角是相同的吗?以前企业做数字化,对老板来说,他觉得也许是提升了一点效率,但很多还是把它看做成本。企业去问数字化要增长的时候,其实它的贡献是很乏力的,AI可以改变这个状态吗?

谭待:我觉得它是不同维度的决策,技术只是说让业务这件事做得更好而已。老板一方面是要怎么去看我的业务模式,另一方面是怎么通过数字化,把我的业务效率提升。

假设一个零售商问我,怎么样实现业务增长?我第一点肯定不是跟他讲你要上AI,我肯定说:你先做抖音电商。然后再说,我们通过AI能帮你在哪些地方提效。如果一上来就说“上了AI就能增长”,我觉得是骗子。

《智能涌现》:我有个朋友,原来在火山卖云挺苦的,后来2022年左右走了。看到大模型之后,他觉得这件事给了火山特别大的机会。你们怎么看?

谭待:我们2021年底才推出云,第一年当然不好做,都是最难的,他再坚持一年就好了。其实我们这几年增长还是蛮快的,在行业是最快的。

我觉得时势造英雄。如果没有新客户,客户没有新场景,你就算做得最好,又有什么用呢?之前的云计算黄金年代,是因为移动互联网起来了,后面各行各业的数字化都逐渐成熟,云计算就涨得没那么快了,这是行业发展的自然规律。

但下一个时代就是AI。我觉得每十年或者更久,都会有个新的点出来,还是要抓住这个新的点,保持自己的技术领先。

《智能涌现》:你觉得你现在接触到的开发者焦虑吗?

谭待:我自己感觉大家没有特别焦虑的。为什么呢?你看现在的模型也还可以,价格又这么低,你就多尝试,没有什么好焦虑的。可能是投资人比较焦虑。(笑)

《智能涌现》:一些开发者焦虑的点是,因为现在虽然模型便宜,他们刚开始的时候还挺好的,还能赚到钱,但是他们一旦开始扩大规模,投流,ROI就算不正了,真正留存下来的用户很少。

谭待:我觉得那是流量的问题,那不是AI的问题。你不用AI,你换个别的东西也会投不正。好比短剧很火,有的短剧就能赚钱,还有的短剧不能赚钱,这也很正常。

《智能涌现》:你最近看到最有意思的AI应用场景,是什么?

谭待:挺多的,比如有小朋友都直接用豆包来学英语。还有我们一个企业客户想把大模型用起来,就在公司内部搞一个AI黑客松,员工根据平时遇到的业务需求,开发了100多个产品,可能里面就能有两三个成功的。

我们现在和一些车厂合作,他甚至把自己的用户邀请过来,参与到整个设计中。用户参与设计,他可能更抓到自己的痛点是什么。

《智能涌现》:你们服务的企业,现在训练和推理算力比例有多大的变化?

谭待:训练还是会多一些。但是推理现在也涨的非常快了,比起去年有几十倍的涨幅,训练的涨幅不到两倍。我们原来有个预测,认为是2025年推理会超过训练,现在看起来确实是这样。

《智能涌现》:你觉得AI应用什么时候会有大爆发?

谭待:首先今年不是大爆发,但肯定是小爆发了,但是我觉得明年就会有大爆发。即使从全球范围来看,现在肯定也都是在AI应用的早期,未来有更亲民的价格,保证模型效果理想的情况下。AI应用才会蓬勃发展,不断有化学反应,生态才能建好。

《智能涌现》:从2023年开始,你们就一直强调不会做基础大模型,以后会做吗?

谭待:以后也不会。豆包大模型是字节跳动一个专门的团队在做,火山没必要自己做模型,做好云和MaaS就行了。

做云计算和做大模型的人,肯定是完全不一样的。全球大厂都是分开做的,亚马逊的模型是Claude,云就给AWS做;Google做谷歌云和Gemini的也不是一帮人。

我们火山就是专注把云这个事做好,但MaaS是云很重要的一块。MaaS要做成了,我们的MaaS服务就把最好的模型提供给我们的客户,这个一直都没有变过。

👇🏻扫码加入「智涌AI交流群」👇🏻

欢迎入群

欢迎交流


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1