当前位置:首页|资讯|百度|腾讯|文心一言|ChatGPT|李彦宏

百度文心一言能否与ChatGPT一战 李彦宏还没给出答案

作者:冷眼旁观发布时间:2023-03-20

原标题:百度文心一言能否与ChatGPT一战 李彦宏还没给出答案

毕舸

随着ChatGPT的爆火,以及3月15日凌晨,OpenAI正式推出GPT-4,国内AI企业能否一战,也就成为热点话题。3月16日下午,百度召开新闻发布会,主题围绕新一代大语言模型、生成式AI产品文心一言。从现场展示来看,文心一言某种程度上具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性都逐渐接近人类水平。但百度CEO李彦宏也坦承,这类大语言模型还远未到发展完善的阶段,有赖于通过真实的用户反馈而逐步迭代。

ChatGPT的爆火,让其背后语言模型——GPT也受到市场广泛关注。以OpenAI新推出的GPT-4为例,其为多模态大模型,与此前ChatGPT所用的模型GPT-3.5相比,它的文本处理量扩大至2.5万个单词,还能处理图像内容。在用户同时输入文本和图像的情况下,能够生成自然语言和代码等文本。

ChatGPT背后的大规模预训练模型GPT-3.5,以及GPT-4,都需要长时间的投入,包括算法、算力、数据等多维度的“喂养”。GPT-1训练参数量为1.2亿个,数据库规模为5GB;GPT-2训练参数量为15亿个,数据库规模为40GB;GPT-3训练参数量飞跃至1750亿个,数据库规模达到45TB;GPT-4训练参数量据传达到100万亿个。

相比之下,百度方面表示,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等。

但有意思的,发布会开始后,百度集团股价出现持续下挫,跌幅一度达到9%。也在一定程度上说明,目前大家对于百度类GPT产品仍持谨慎观望态度。

这其实也可以理解。大语言模型指向资金、算力、数据等各方面的大投入,训练一次GPT-3所要消耗的成本高达近8400万元人民币;标注数据方面,在模型训练第一步,OpenAI雇佣标注师对1.3万条数据进行人工回答,在第二部分则需对模型给出的3.3万条答案进行排序。

此外,该技术还依赖高性能的GPU芯片所建成的GPU服务器集群,中国(深圳)综合开发研究院 数字战略与经济研究所所长对此称,业内的公认说法是,1万枚英伟达A100芯片是做好AI大模型的算力门槛。目前我国厂商拥有的GPU主要是英伟达中低性能产品(如英伟达A10),拥有超过1万枚GPU的企业不超过5家,其中,拥有1万枚英伟达A100 GPU的企业至多只有1家。

更为重要的是,OpenAI从2015年发展至今,除了获得巨额资金,投资方也没有急于要求其尽快商业变现,这使得OpenAI能够以庞大的技术团队,专注于其大预言模型的持续迭代。

这也说明,当科技研发进入类似于生成式AI的“无人区”,除了先行者的眼光与冒险精神外,来自大后方的支援也必不可少,包括资金、人才等方面的共济,更在于政府、投资界和企业家形成共识,注重长周期投入、强化技术研发的前沿性和引领性,允许试错和失败,而非将短期盈利放在首位。

而国内AI企业与之间的差距,或许恰恰体现于这一点上。无论是长期以来重商业创新、轻基础技术创新,还是一窝蜂追风口,都可能造成国内AI企业在核心技术领域的底盘不稳,乃至于在重大技术研发关口错失机会,从而被国外竞争对手甩开差距。

当然,百度被公认为国内投入AI研究最多、时间最长的企业之一,近年来我国AI企业还涌现出不少独角兽。此外,我国在算力、数据、应用层场景等方面也有着自身优势,但国内AI企业仍需加快补齐底层技术短板。同时,政策层面也应加大支持,既鼓励百度、阿里、腾讯等大型企业在大语言模型的持续投入,也为众多中小型企业在垂直领域“小模型”的研发与应用上提供广阔发展空间。

OpenAI总裁格雷格·布罗克曼称,公司正在测试GPT-4高级版本,是普通GPT-4储存内容能力的5倍。显然,面对OpenAI等一众国外企业现阶段的领跑,国内AI企业当沉下心来,以五到十年为周期,以长期主义换“长赢”。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1