文丨Congerry
OpenAI因一直不愿开源GPT-4被马斯克戏谑为CloseAI,现在,大模型格局再次发生巨变。
今天,Meta 与微软联手正式发布了开源大模型 Llama 2,性能直逼 GPT-3.5,而且免费、开源,还可商用!
Meta 在一篇博客文章中表示,Llama 2 将由微软通过其 Azure 云服务发布,并将在 Windows 操作系统上运行,并称微软是该版本的“首选合作伙伴”(意味着微软将为 Llama 2 提供技术支持和优化服务)。
啊,这不是背刺OpenAI。
此外,Llama 2 现在也将通过直接下载和亚马逊网络服务、Hugging Face 和其他提供商提供。
Llama 2 包含了70亿、130亿和700亿参数的不同大小的模型。
在许多外部基准测试中,包括推理、编码、熟练程度和知识测试,Llama 2的表现都优于其他开源语言模型。
但是,与 GPT-4 和 PaLM-2 等闭源模型相比,Meta 自己也说 "性能差距很大"。不过,Llama-2 在大多数情况下能达到 ChatGPT 的 GPT-3.5 的水平。
GPT-4 和谷歌的 PaLM 仍领先于 Llama 2
目前,Meta 首先开源发布了 7 亿和 13 亿参数的 Llama 2 及对应的聊天机器人版本 Llama 2-Chat(可以根据用户的输入生成自然和有趣的回复)。
Llama 2 是 Meta 利用公开在线数据源进行训练的。经过微调的聊天模型 "Llama 2-chat "使用了公开可用的训练数据集和一百多万条人类注释。
相较于今年2月发布的Llama 1,Llama 2 在三个方面进行了显著地改进:
首先,训练数据量增加了 40%,从 Llama 1 的 1.4 万亿个 token 增至 2 万亿个 token。训练数据中的文本来源更多样化,包括书籍、论文、新闻报道、网页内容等在线公开来源。
其次,Llama 2 还将单条文本的最大长度从 2048 个 token 提升至 4096 个 token,更长的文本输入意味着可以包含更多上下文信息,提升模型的理解能力。
最后,Llama 2 在更大模型的版本中采用了「分组 Attention」机制(一种降低计算复杂度的方法),可以显著降低计算和内存需求,提升推理速度。
最重要的是,在更大更强的基础上,Llama 2 还可以免费商用。
有评论称,“让像 Llama 这样复杂的模型广泛地供企业免费使用,可能会颠覆 OpenAI 等公司在新生的人工智能软件市场上建立起来的早期主导地位。”
不过扎克伯格表示:“开源推动创新,因为它使更多的开发人员能够使用新技术进行开发。我相信,如果生态系统更加开放,将会带来更大的进步。”
图灵奖得主,Meta 的人工智能主管 Yann LeCun 发文表示:"Llama -2 将改变 LLM 市场的格局。"
软件开发平台 Replit 的首席执行官 Amjad Masad 表示,“开源模式的任何渐进式改进都在蚕食闭源模式的市场份额,因为你可以以更低的成本运行它们,而且依赖性更小,”。
不过,值得一提的是,当被问及为什么微软会支持一个可能降低 OpenAI 价值的产品时,微软的一位发言人表示,让开发者选择他们使用的模型类型,将有助于扩大微软作为人工智能工作首选云平台的地位。
此外,Meta也与高通宣布,Llama 2将能够在高通芯片上运行。
这样一来,Llama 2一类的生成式AI模型均可以在使用高通芯片的智能手机、PC、VR/AR头显和汽车等终端上运行。这也意味着,英伟达、AMD处理器对AI产业的垄断也将被打破。
如果您有什么想说的,欢迎屏幕前你们在评论区留言讨论!我们将为点赞、评论、关注的同学们送上红包🧧不限量哟~