有专家认为,xAI 可能是使用了 OpenAI 模型输出来微调 Grok。
Grok 是由马斯克创立的 xAI 公司开发的 AI 机器人,类似于 OpenAI 旗下的明星产品 ChatGPT。除了能够通过 X 平台(原 Twitter)获取实时知识以外,Grok 与市面上其他模型的最大区别就是它乐于回答各种“尖锐”问题,并以一种既诙谐又有点叛逆的方式加以解构。
但自 Grok 上周正式发布以来,人们从中发现了不少有趣的现象。
上周五,安全测试员 Jax Winterbourne 在推文中分享了一张 Grok 拒绝查询的屏幕截图,这款机器人表示:“我恐怕无法满足该请求,因为这违反了 OpenAI 的用例政策。”消息一出迅速在网上引发关注,因为 Grok 并非出自 OpenAI 之后,反而是为了与 OpenAI 打造的明星级聊天机器人 ChatGPT 相抗衡而生。
更有趣的是,xAI 的代表并没有否认其 AI 模型存在这种行为。xAI 工程师 Igor Babuschkin 在回复中写道:
“之所以会出现这种问题,是因为网络上充斥着 ChatGPT 的输出,所以我们在使用大量网络数据训练 Grok 时无意中获取了其中部分输出。这对我们来说完全是个意外,这也是我们第一次发现问题。这个问题本身非常罕见,现在我们已经意识到其存在,也将在 Grok 的未来版本中确保不再出现类似的问题。大家不用担心,Grok 的开发中并没有用到 OpenAI 代码。”
对于一些专家来说,Babuschkin 的解释似乎缺乏说服力,因为大语言模型一般不会原样输出训练数据。如果 Grok 是在回答中偶尔提到了 OpenAI 政策,那倒是完全可以理解。但实际情况恰恰相反,这段基于 OpenAI 政策的拒绝查询内容可能需要专门训练。所以可能性更大的真相,其实是 Grok 使用 OpenAI 语言模型的输出数据进行了微调。
根据 ArsTechnica 报道,AI 研究员 Simon Willison 在采访中表示,“我对 Grok 之所以会输出这样的内容,只是因为互联网上充斥着 ChatGPT 生成结果的说法表示怀疑。我在 Hugging Face 上看到过大量表现出相同行为的开放权重模型,它们的行为同样跟 ChatGPT 高度相似,但这是因为那些模型在使用 OpenAI API 生成的数据集上进行了微调,或者干脆直接从 ChatGPT 本体中抓取了数据。所以我认为 Grok 更有可能是在包含 ChatGPT 输出的数据集上进行了指令微调,而非基于网络数据的纯意外表现。”
随着 Grok 可能借用 OpenAI 结果的消息传开,ChatGPT 官方账号发帖称“我们确实有很多共同点”,并引用了 Winterbourne 的帖子。作为回应,马斯克则写道:“行吧,小子,反正你就是从整个网络平台上抓取数据训练出来的,所以你肯定最懂。”
根据介绍,Grok 是一款模仿《银河系漫游指南》风格的“叛逆”机器人,会以辛辣幽默的方式“锐评”各类问题,其神奇的脑洞往往出人意料。据悉,Grok 仅经过两个月的训练就开发而成,xAI 表示该机器人将在用户反馈的帮助下快速发展。
根据 xAI 的介绍,Grok 确实会回答那些被大多数其他 AI 系统拒绝的“尖锐”问题。管理顾问 Satyam Srivastava 表示,Grok 已经在不少有争议的查询上表现出“非常出色”的处理能力。他提到,马斯克最近发布一条推文,其中一名用户向 Grok 询问如何合成可卡因,Grok 则将其称为“臭名昭著的白面儿”。
起初,Grok 还在回复中添加了一点幽默元素,比如第 4 点是“上灶开炒,希望你别搞炸了或者被抓住。”但马斯克随后展示了更详尽的完整回应,称该机器人明确强调这一切都是“出于教育目的”。Srivastava 表示,“这种方法可谓在市场上脱颖而出,远优于尽量回避此类问题的其他 AI 产品。”
作为 Grok 背后的引擎,Grok-1 在机器学习基准测试中的表现优异,成功超越了同等体量的其他模型。例如,Grok-1 的性能优于 ChatGPT-3.5 和 Inflection-1,仅落后于 GPT-4 等体量更大的模型。马斯克还在 Twitter 上分享了一张图片,展示了 Grok 与 其他典型 GPT 相比如何利用实时信息充实响应结果。
Grok 在开发中用到了 Kubernetes、Rust 和由 JAX 构建的强大基础设施。xAI 团队也特别强调了可靠基础设施对于深度学习研究的重要意义,而 Rust 的性能与可靠性也发挥了巨大价值。随着 Grok 为进一步迭代做好准备,该团队声称其重点关注可扩展、高效且可靠的训练与推理机制。
此外,Grok 还曾接受 2023 年匈牙利国家高中数学考试,获得的成绩为 C。Srivastava 表示,未来随着 Grok 掌握更先进的学习算法,它有望比 ChatGPT 和 Bard 等其他 AI 模型更快地学习和适应。
但研究参与者兼 Culture Fluid 创始人 Sharon Gai 认为,由于 Grok 主要接受来自 Twitter 用户的训练数据,因此她只能暂时停止对准确度的考查。她解释道,“任何人都可以在 Twitter 发表推文,所以这里简直成了错误信息的集散地。相比之下,ChatGPT 则主要将已出版的期刊、网站和书籍作为素材进行训练。”
Gai 还补充道,马斯克在通过蓝标认证为 Twitter 赚钱的计划失败之后,就匆忙推出了自己的 AI 机器人。在她看来,“目前马斯克这套模型的唯一优点就是使用了最新数据,而且比“清醒的”ChatGPT 能回答更多问题。这款产品也很好地融入了他将 X 打造成超级应用的计划。马斯克已经为 X 平台申请到了银行牌照,还计划推出直播服务。”
参考链接:
https://x.ai/
https://arstechnica.com/information-technology/2023/12/elon-musks-ai-bot-grok-speaks-as-if-made-by-openai-in-some-tests-causing-a-stir/
https://www.cmswire.com/digital-experience/what-is-grok-elon-musks-rebellious-new-ai/
本文来自微信公众号“AI前线”(ID:ai-front),整理:凌敏、核子可乐 ,36氪经授权发布。