当前位置:首页|资讯|GPT-4|谷歌

万众期待的Gemini大模型:比GPT-4强,但强的不多?

作者:华尔街见闻发布时间:2023-12-07

原标题:万众期待的Gemini大模型:比GPT-4强,但强的不多?

谷歌憋了好几个月的大招、人类迄今为止最强大的AI模型——Gemini,终于发布了。按照谷歌的说法,它可以像人类一样理解我们周围的世界,处理代码、文字、音频、图像和视频通通不在话下。Google DeepMind团队称,Gemini在32项基准性能测试中的30项上超过了GPT-4。

然而,多位科技分析人士认为,虽然Gemini的性能的确优于现有的多模态模型,但它和GPT-4的差距并没有那么夸张。从谷歌放出的演示视频来看,很少有什么我们在过去一年的AI炒作狂潮里没见过的东西。

如果以谷歌的算力资源、研发能力和丰富的数据都仅能做到勉强击败GPT4,更大问题在于,Gemini或许就是以人类目前的技术,能够打造的大模型的上限了。

比GPT-4强,但强得不多

根据谷歌放出的演示视频,Gemini是玩“你画我猜”的一把好手,不仅可以准确地描述测试者在纸上画出的图形,还能根据测试者画出的轮廓猜测她绘制的是什么东西。

在另一个例子中,测试者给Gemini展示了一张煎蛋卷在平底锅中烹饪的图片,并用语音询问煎蛋卷是否已经煮熟,Gemini也用语音回答道:“还没有煮熟,因为鸡蛋还是液态的。”

看起来很新鲜,但Gemini真的如谷歌所言的全方位超越GPT-4吗?

不见得。

基准的MMLU测试用于衡量AI模型在文本和图像的任务上的表现,包括阅读理解、大学数学以及物理、经济学和社会科学中的多项选择测验。谷歌CEO劈柴表示,在MMLU测试中,Gemini全面击败GPT4。对于纯文本问题,Gemini得分为90,人类专家得分为89。GPT-4得分为86;对于多模态问题,Gemini得分为59,而GPT-4得分为57。

圣达菲研究所的AI研究员Melanie Mitchell对媒体表示,Gemini基准测试的表现令人印象深刻,这的确说明Gemini是一个非常复杂的人工智能系统,但她指出,自己并没有明显感受到Gemini和GPT-4在实际能力上的差距。

Mitchell还指出,Gemini在语言和代码基准测试上的表现要比在图像和视频上表现更好:

“多模态基础模型仍然有很长的路要走,才能在许多任务里任务大范围、可靠地应用。”

斯坦福大学基础模型研究中心主任Percy Liang也对媒体表示,虽然Gemini具有良好的基准分数,但由于我们不知道训练数据中的内容,很难知道如何解释这些数字。

Google DeepMind还称,在人类测试者的帮助下,Gemini减轻了幻觉出现的频率,在回答问题时已经变得更加准确,在被要求时可以给出信源,并且不会再遇到难回答的问题时胡编乱造。

不过,这一点同样需要谷歌公开更多数据,否则目前也很难去验证。

仓促上阵

深度学习教父杰夫·辛顿(Geoffrey Hinton)在四月份离开谷歌时对媒体表示

“谷歌一直非常谨慎地向公众发布AI产品,可能发生的坏事太多了,谷歌不想毁了自己的声誉。面对看似不值得信赖或无法销售的技术,谷歌采取了谨慎的态度,因此错过了更关键的机会。”

可能正是因为意识到了这一点,所以谷歌在推动Gemini上线时非常着急。

Gemini最强大的满血版Gemini Ultra,还需要等待几个月才能和公众见面。谷歌称,Ultra版目前只会提供给部分客户、开发者、合作伙伴以及安全与责任专家使用。

有分析人士指出,谷歌甚至自己也不了解Gemini Ultra的所有新功能,也没有为Gemini制定出货币化战略。考虑到人工智能模型训练和推理的高昂成本,谷歌可能需要很长时间才能想出盈利策略。

会不会是谷歌的营销策略导致了今天产品发布的失败?也许是吧。又或者,打造最先进的生成式人工智能模型真的很难——即使你重组了整个人工智能部门来加快进程,效果可能也不尽如人意。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1