当前位置:首页|资讯

谷歌员工曝AI改进速度放缓,Gemini已成立新团队解决问题

作者:智东西发布时间:2024-11-14

智东西11月14日消息,据外媒The Information报道,一位参与工作的内部人士称,谷歌最近一直在为提升其聊天机器人产品Gemini的性能而努力,该公司希望模型性能提升的速度可以与去年相当,这促使研究人员专注于其他方法来勉强取得效果。

这种情况和OpenAI的遭遇类似。此前有报道称,OpenAI模型性能提升速度有所放缓,该公司正改变技术策略来解决问题。

回到谷歌本身,上述人士称,谷歌在投入了大量算力和训练数据,如来自网页的文本和图像后,并没有实现一些高管所期待的性能提升。当研究人员使用更多的数据和算力来训练模型时,过去版本的Gemini大模型改进速度更快。

谷歌的经历是scaling law(缩放定律)受到考验的另一迹象。许多研究人员认为,只要使用更专业的AI芯片来处理更多的数据,模型就会以相同的速度改进。但目前来看,这两个因素似乎远远不够。

这个问题成为谷歌的心头大患。因为在开发者和客户数量方面,Gemini模型落后于OpenAI的GPT模型,而谷歌一直希望它在算力资源方面的优势,可以助力它在模型性能方面超越OpenAI。与此同时,两家公司都在开发由现有技术版本提供支持的新产品,这些产品可以帮助软件程序员和其他办公人员,在处理繁琐及复杂工作时,实现自动化。

“我们对在Gemini上看到的进展很满意,在合适的时机我们会披露更多消息。”谷歌发言人称,公司正在重新考虑如何处理训练数据并在数据上大量投资。这位发言人说,谷歌还成功地加快了模型的响应速度,这“对于以谷歌的规模提供AI服务很重要”。

在OpenAI,研究人员发明了推理模型等新技术,以弥补在模型训练阶段,使用传统scaling law技术导致的性能提升放缓问题。谷歌似乎也在效仿。最近几周,DeepMind在其Gemini部门内组建了一个团队,该团队由首席研究科学家Jack Rae和前Character.AI联合创始人Noam Shazeer领导,旨在开发类似OpenAI推理模型的能力。

开发Gemini的研究人员也一直专注于对模型进行手动改进。参与这项工作的人说,改进工作包括更改它们的“超参数(hyperparameters)”,或者是决定模型如何处理信息的变量,比如,模型在训练数据中不同概念或模块之间建立联系的速度。研究人员在称为“模型调优(model tuning)”的过程中测试不同的超参数,以检验哪些变量会带来最佳结果。

上述人士说,谷歌在其传统方法中遇到的一个问题是,它在用于开发Gemini的数据中发现了相同信息的副本。他们说,这可能损害了Gemini的表现。对此,谷歌发言人回复称,此类问题对团队来说并不新鲜。

另外,该人士还透露,谷歌研究人员曾尝试使用AI生成的数据(也称为合成数据),以及音视频作为Gemini的训练数据来改进模型性能,但没有产生显著效果。

结语:巨头遇到瓶颈,“AI泡沫”还是AGI?

一周时间,OpenAI和谷歌这两大AI巨头接连被爆出模型性能提升缓慢问题,且目前来看两家公司都没有找到有效解法,scaling law的有效性受到挑战。

从公司个体来看,两巨头的技术领先地位将面临极大挑战;从行业来看,技术瓶颈长期无解可能会导向悲观派所说的“AI泡沫”。

世界离AGI还有多远?还要看这些巨头公司们多久突破技术瓶颈。

来源:The Information

本文来自微信公众号“智东西”,编译:依婷,36氪经授权发布。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1