当地时间3月17日,马斯克在其xAI公司官网上宣布:我们正在对外公布包括3140亿参数的Grok-1的基础权重模型和网络架构。马斯克表示,xAI将在GitHub上开源它的人工智能聊天机器人Grok。这将允许研究人员和开发人员在该模型的基础上对它进行开发,并能进一步影响Grok的下一步更新。
《纽约时报》报道,埃隆·马斯克周日发布了其人工智能聊天机器人版本背后的原始计算机代码,这是这位世界上最富有的人之一在控制人工智能未来的战争中采取的升级行动。究竟Grok-1是什么,而它的开源为什么带来这么大的反应呢?
参数量最大的开源模型
xAI是马斯克去年创办的人工智能公司。虽然xAI是一个独立实体,但人工智能的技术已经集成到了X的社交媒体中。xAI会根据用户的帖子进行训练,如今X的高级用户可以向Grok提出问题。
所谓开源,就是指的是开放代码供所有人查看和使用。xAI公司资料介绍,Grok-1是一个由xAI从头开始训练拥有3140亿参数的混合专业模型。目前开源的是其2023年10月的原始基础模态。这也意味着这个模型目前还没有针对任何应用开发,甚至包括对话应用。“我们将根据Apache2.0许可证发布这些权重和架构。”xAI公司介绍说。
“还有很多工作要做,但这个平台已经是迄今为止最透明、最求真的平台”,马斯克周日在回应有关评论时说道。
它的能力究竟如何?据Daily.dev相关文章显示,Grok-1原始版本Grok就已拥有630亿参数,一次性可以覆盖和记忆8000字的文本,而且其数据来自X上的实时新闻和数据。而Grok-1号称已拥有3140参数,远超OpenAIGPT-3.5的1750亿,更不要说Meta的Llama2(700亿个参数)和Mistral(120亿个参数)等开源竞争对手。诸多媒体报道表示,这是迄今参数量最大的开源大语言模型。
科技媒体站VentureBeat表示,该模型允许商业使用,但发布的内容并不包括用于训练模型的数据,也不包括X平台上的实时数据。相关软件工程师向银柿财经表示,这通常是为了保护数据隐私和安全性,以及维护训练数据的专有性。同时,也避免了因为数据访问问题而可能产生的法律或合规问题。
备受关注
Grok-1的开源无疑在业内引起了一场地震。几乎所有业内的专家,包括浙江大学人工智能团队,英伟达中国的软件团队都向银柿财经表示,他们都积极关注到了该消息,并正在积极测试。
浙江大学计算机学院教授朱霖潮向银柿财经表示,OpenAI和谷歌都没有开源自己的模型,但Meta还是开源了其Llama2模型,这已经帮助很多企业和行业,落地了很多属于自己的大模型。“很多企业不想自己的数据传到科技巨头平台上,担心这会引发数据泄露,如果我们用了它所开源的代码,就可以训练属于自己公司或行业的模型,就可以避免数据泄露”
“也许它没有像GPT跑得这么好,但对很多公司来说,数据安全更重要。”
开源的价值
据Verge报道,事实上,当Grok聊天机器人刚刚推出时,要和Grok聊天还需要是X的订阅者。Grok本来想成为OpenAI的ChatGPT或谷歌Gemini的替代品,想成为一个更无厘头,更与时俱进的聊天机器人。然而,在早期测试中,它并不那么有趣,也缺乏任何可以让它脱颖而出的特质。
通过开源会让它逐渐迭代和优化。“通过开源其大模型,全世界的工程师都能参与到整个开源的大模型生态来,这里就发挥了一个最关键的概念叫群体智慧。”360创始人周鸿祎在相应的采访中也这样表示。“通过一个虚拟的开源社区,不同公司不同国家不同背景的程序员,大家在里面充分地共享知识,有1%的想法很有价值和意义,就能带来比过去这种闭源模式带来更大的进步。”
《纽约时报》报道认为,马斯克目的是要向闭源巨头进行挑战。目前美国已经有很多科技公司开源或有限开源了大模型。但应用最广泛的模型要么是闭源,要么就是提供有限开发许可,比如Meta开源的Llama 2,依然要求拥有7亿用户的客户支付费用,而且不允许开发人员在Llama2的基础上进行迭代。
马斯克曾公开批评那些不开源其人工智能模型的公司,他认为这种做法阻碍了人工智能研发的进展。他所批评的就包括,他曾参与创立但正在起诉的OpenAI公司。马斯克声称该公司违反了最初创立时达成的开源协议。
亚利桑那州立大学计算机科学教授 苏巴拉奥·坎巴姆帕蒂接受《纽约时报》采访时认为,人工智能开源将是利用AI的最安全方式。
“开源社区一直和闭源做对抗,这样的对抗可以防止技术不会垄断在一二家巨头的手上,头部优势会被逐渐抹平,不会形成巨大行业壁垒”。朱霖潮对银柿财经表示。