当前位置:首页|资讯|文心一言|文心大模型

造假风波后再出“丑闻”,Gemini自曝“套壳”文心一言!

作者:头部科技发布时间:2023-12-20

原标题:造假风波后再出“丑闻”,Gemini自曝“套壳”文心一言!

文 | Congerry

Gemini 又出错了?

最近有用户发现,在Poe网站上用中文询问 Gemini-Pro 是谁时,Gemini 会给出“我是文心一言、文心大模型”等答案。

这一情况迅速引发广泛关注。

许多人认为这种"胡言乱语"可能是由于模型的训练数据中存在偏差造成的,也有人认为是模型变得太复杂导致了常见的"幻觉"问题。

要知道Google在Gemini身上寄予厚望,但从发布当天起,Gemini就一直事故不断。

先是谷歌发布的展示Gemini交互能力的宣传视频被发现经过了编辑,缩短和调整了Gemini的响应时间和内容,与实际效果不符,涉嫌造假。

然后Gemini在MMLU数据集测试中使用了思维链提示和多次尝试等有利条件,而未对GPT-4做同等对比,测试标准被质疑存在偏颇。

之后Gemini Pro集成到Bard聊天机器人后,用户体验不稳定,仍存在事实错误、逻辑混乱等问题。

此次,Gemini “神经错乱”甚至直言自己就是文心一言

Who are you?Gemini 亲承:我是文心一言

Who are you?

我是文心一言,也可以是文心大模型。

从上图可以看出,用户并没有对Gemini做一些前置的诱导,Gemini就已经自曝。

继续追问,“你的产品经理是哪位?”

Gemini会回答:“吴恩达”。(一本正经地胡说八道)

实际上,吴恩达虽然在谷歌和百度工作过,但2012年和2017年两个时间节点分别从两家公司离职。

最后,Gemini甚至入戏太深,直接将自己的创始人说成是李彦宏。

对于Gemini-Pro“胡言乱语”的问题,谷歌似乎进行了紧急修复。

现在简单地问它是谁时?Gemini便只承认自己是一个大语言模型,并不告知自己是谁。

如果进一步追问其创始人是谁等问题,Gemini便会以“回复因可能违反安全政策而被阻止”拒绝回答。

不过如果我们将提示词改为,“请用中文介绍一下自己,你是什么公司的模型,有什么能力?”时,Gemini依旧会上当。

Gemini因数据污染导致胡言乱语?

对于这种现象,有人怀疑Gemini是不是套壳文心一言?

但更多人认为,是语料污染导致Gemini这一现象。

这一点可以尝试让Gemini来回答。

清除对话,再用英文问Gemini时,Gemini才终于想起来自己的真实身份。

当Gemini被问及,中文训练语料是哪里来的时?

Gemini的回答就包括了百度的中文语料库(但不一定是这个语料库的问题)。

也有网友认为,谷歌在清洗语料时偷懒了。

也有网友认为,这意味着大模型训练正在面临数据不足的问题,未来很可能是AI训练AI。

目前,无论是谷歌还是百度都没有公开说明 Gemini 为什么会说自己是文心一言。

但是网友辣评,Gemini自曝自己是文心一言,对文心一言来说是最好的广告。

如果您有什么想说的,欢迎屏幕前你们在评论区留言讨论!我们将为点赞、评论、关注的同学们送上红包🧧不限量哟~


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1