文 | Congerry
Gemini 又出错了?
最近有用户发现,在Poe网站上用中文询问 Gemini-Pro 是谁时,Gemini 会给出“我是文心一言、文心大模型”等答案。
这一情况迅速引发广泛关注。
许多人认为这种"胡言乱语"可能是由于模型的训练数据中存在偏差造成的,也有人认为是模型变得太复杂导致了常见的"幻觉"问题。
要知道Google在Gemini身上寄予厚望,但从发布当天起,Gemini就一直事故不断。
先是谷歌发布的展示Gemini交互能力的宣传视频被发现经过了编辑,缩短和调整了Gemini的响应时间和内容,与实际效果不符,涉嫌造假。
然后Gemini在MMLU数据集测试中使用了思维链提示和多次尝试等有利条件,而未对GPT-4做同等对比,测试标准被质疑存在偏颇。
之后Gemini Pro集成到Bard聊天机器人后,用户体验不稳定,仍存在事实错误、逻辑混乱等问题。
此次,Gemini “神经错乱”甚至直言自己就是文心一言。
Who are you?Gemini 亲承:我是文心一言
Who are you?
我是文心一言,也可以是文心大模型。
从上图可以看出,用户并没有对Gemini做一些前置的诱导,Gemini就已经自曝。
继续追问,“你的产品经理是哪位?”
Gemini会回答:“吴恩达”。(一本正经地胡说八道)
实际上,吴恩达虽然在谷歌和百度工作过,但2012年和2017年两个时间节点分别从两家公司离职。
最后,Gemini甚至入戏太深,直接将自己的创始人说成是李彦宏。
对于Gemini-Pro“胡言乱语”的问题,谷歌似乎进行了紧急修复。
现在简单地问它是谁时?Gemini便只承认自己是一个大语言模型,并不告知自己是谁。
如果进一步追问其创始人是谁等问题,Gemini便会以“回复因可能违反安全政策而被阻止”拒绝回答。
不过如果我们将提示词改为,“请用中文介绍一下自己,你是什么公司的模型,有什么能力?”时,Gemini依旧会上当。
Gemini因数据污染导致胡言乱语?
对于这种现象,有人怀疑Gemini是不是套壳文心一言?
但更多人认为,是语料污染导致Gemini这一现象。
这一点可以尝试让Gemini来回答。
清除对话,再用英文问Gemini时,Gemini才终于想起来自己的真实身份。
当Gemini被问及,中文训练语料是哪里来的时?
Gemini的回答就包括了百度的中文语料库(但不一定是这个语料库的问题)。
也有网友认为,谷歌在清洗语料时偷懒了。
也有网友认为,这意味着大模型训练正在面临数据不足的问题,未来很可能是AI训练AI。
目前,无论是谷歌还是百度都没有公开说明 Gemini 为什么会说自己是文心一言。
但是网友辣评,Gemini自曝自己是文心一言,对文心一言来说是最好的广告。
如果您有什么想说的,欢迎屏幕前你们在评论区留言讨论!我们将为点赞、评论、关注的同学们送上红包🧧不限量哟~