当前位置:首页|资讯|马斯克|OpenAI

马斯克AI公司发布大模型Grok-1权重与架构 对OpenAI发动最新攻势

作者:腾讯科技发布时间:2024-03-18

马斯克AI公司发布大模型Grok-1权重与架构 对OpenAI发动最新攻势

划重点

  • 1 马斯克旗下AI公司周日公开了大模型Grok-1的权重与架构。
  • 2 xAI宣称Grok-1是由该公司从头开始训练、拥有3140亿参数的混合专家模型。
  • 3 马斯克选择将Grok的代码开源,被视为对OpenAI发动的最新攻势。

腾讯科技讯 3月18日消息,据国外媒体报道,埃隆·马斯克再次在人工智能领域掀起风暴,这次他选择以公开Grok背后代码的方式,进一步推进他在这场技术大战中的攻势。此前,他曾因相关议题对OpenAI提起诉讼。

周日,马斯克公开了旗下xAI公司研发的人工智能聊天机器人Grok的原始计算机代码。Grok是去年发布的,其设计理念源于科幻小说《银河系漫游指南》(the Hitchhiker’s Guide to the Galaxy),旨在为用户提供尖刻而富有洞见的回答。尽管xAI是一个独立于X的实体,但其技术已经被整合到社交媒体平台中,通过用户帖子的训练来不断提升其智能水平。订阅X高级功能的用户可以向Grok提问,并收到其回复。

xAI在其官方网站上宣称,它正在公开其大语言模型Grok-1的基本模型权重和网络架构。Grok-1是由该公司从头开始训练、拥有3140亿参数的混合专家模型。

xAI表示,这是Grok-1预训练阶段的原始基础模型检查点(Checkpoint,指在特定时间点保存模型状态的操作,以便在未来某个时间点恢复模型状态),该阶段于2023年10月结束。这意味着该模型没有针对任何特定的应用程序(例如对话)进行微调。

xAI正在Apache 2.0许可下发布权重和架构。该模型的细节包括:

  • 1 在大量文本数据上训练的基础模型,没有针对任何特定任务进行微调
  • 2 3140亿参数混合专家模型,在给定Token上活动的权重为25%
  • 3 2023年10月,xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练 

马斯克此次选择将Grok的代码开源,即公开给所有人查看和使用,再次体现了他对开源理念的坚定支持。去年,他就曾对X的推荐算法进行同样的开源操作,尽管之后并未进行更新。 

马斯克上周日在谈及开源X推荐算法时表示:“虽然还有很多工作要做,但这一平台已然成为目前最透明、最能寻求真相的平台之一,尽管它的门槛相对较低。” 

开放Grok聊天机器人代码的举动是马斯克与ChatGPT的创造者OpenAI之间的最新一次交锋。马斯克曾是OpenAI的创始人,但后来离开并提起诉讼,指控其违反了开放和透明的承诺。马斯克坚信,如此重要的技术不应该只被谷歌、微软等少数科技巨头所控制,而应该让更多的人参与进来。微软是OpenAI的亲密合作伙伴。OpenAI已表示将寻求采取行动驳回马斯克的诉讼。

在过去的一年里,随着人工智能技术的快速发展和普及,关于开源生成式人工智能的争议在科技界中愈发激烈。这一技术能够创建逼真的图像、视频,并产生类似人类的文本回复,其潜力巨大,但也伴随着一系列的安全和伦理问题。因此,在人工智能底层代码是否应该公开的问题上,硅谷内部存在着严重的分歧。

一方认为,这种强大的技术必须防范入侵者,因此应该保持代码的封闭和专有。而另一方则坚信透明的好处大于坏处。通过公开自己的人工智能代码,马斯克坚定地站在了支持开源的阵营,这一决策可能使他在开发这项技术方面超越已有的竞争对手。

代码的开放将极大地促进技术的共享和创新。其他公司和独立软件开发商可以基于马斯克的代码进行修改和重用,这将加速聊天机器人和其他人工智能系统的研发进程。Facebook和Instagram的母公司Meta也开放了其名为LLaMA的人工智能技术。谷歌和一家著名的法国初创企业Mistral AI也做了一些开源项目。 

马斯克在去年的行动中展现出了他在人工智能领域的雄心壮志。他成立了xAI,一个以“理解现实”为使命的公司。去年11月,他表示,参与他440亿美元私有化X交易的投资者将持有xAI 25%的股份。

对于聊天机器人的态度,马斯克一直持开放和包容的立场。他反对限制聊天机器人讨论的话题,认为这种限制是对技术潜力的浪费。 

在最近的一篇帖子中,马斯克警告说:“我的一个朋友建议我澄清所谓觉醒人工智能的危险本质,尤其是被迫推进多样性。如果一个人工智能系统被编程为不惜一切代价推进多样性,就像谷歌的Gemini那样,那么它可能会为了实现这一目标而不择手段,甚至可能杀人。” 

不过,开源代码和商业利益之间往往存在着千丝万缕的联系。OpenAI作为市场的领导者,拥有最强大的聊天机器人技术,可以说是最受欢迎的聊天机器人,所以它没有理由开放其代码。

而对于正在努力迎头赶上的马斯克和xAI来说,开源代码可能是一种有效的策略。通过开放自己的技术,他们可以吸引更多的开发者和研究者参与进来,共同改进和优化系统,并帮助创造公平的竞争环境。

亚利桑那州立大学的计算机科学教授苏巴拉奥·坎姆汉帕蒂(Subbarao Kambhampati)认为,将当今人工智能技术开源是最安全的方法。但他补充说,像xAI和Meta这样的公司并不一定因为这个原因而开放技术的源代码,毕竟,“马斯克与杨立昆(Yann LeCun,Meta首席人工智能科学家)不是这场争论最好的代表” 。(编译/金鹿)

延展阅读

为何要开源Grok?美媒:马斯克别无他法,否则将打自己脸


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1