当前位置:首页|资讯|LLaMA|大语言模型|微软|谷歌

Meta“搞大事”了:发布GPT“平替”Llama 2,开源、免费、还可商用!

作者:品 玩发布时间:2023-07-19

原标题:Meta“搞大事”了:发布GPT“平替”Llama 2,开源、免费、还可商用!

Meta最近“杀红眼”了。

在上周Meta推出Threads对战Twitter、以史上最快速度突破1亿用户之后,今天,Meta又在大语言模型方面和微软强强联手,向谷歌和OpenAI发起了新的挑战。

在今天的微软的Inspire 合作伙伴大会上,Meta宣布和微软深化合作,正式推出新一代开源大型语言模型Llama 2,并将该模型免费开放给商业和研究使用。

此次Meta高调开源Llama 2,无疑是在正面硬刚走“技术保密路线”的GPT-4和谷歌的PaLM 2。扎克伯格在Facebook上发帖表示:“Meta有着悠久的开源历史,开源推动创新,它让更多开发人员能够使用新技术进行开发,同时提高了技术的安全性。我们相信如果生态系统更加开放,将会带来更多进步,这就是我们开源 Llama 2 的原因。”

面对OpenAI和谷歌正在努力构建的技术围墙,Meta似乎想要另辟蹊径、通过生态开放来切入这场巨头间的大模型竞赛。

模型升级+开源可商用,Meta拿出LLaMA2 “大杀器”

今年2 月,Meta 首次发布了自家的大语言模型LLaMA(Large Language Model Meta AI)系列,包含 70 亿、130亿、330亿 和 650 亿4个版本。

当时Meta表示LLaMA拥有超高性能,使用130亿参数的LLaMA在规模仅为ChatGPT 的十分之一的情况下,性能表现可以优于GPT-3。使用650 亿参数的 LLaMA 则可以与 DeepMind700 亿参数的 Chinchilla模型和谷歌5400 亿参数的 PaLM模型比肩。

LLaMA模型表现,图片来自Meta

但2月版本的LLaMA并不是ChatGPT的直接竞争对手,LLaMA定位于“开源的研究工具”,所使用的是各类公开可用的数据集。它当时更多的着眼于研究领域,仅在非商业许可下提供给政府、社区和学术界的研究人员。

值得注意的是,LLaMA发布后还出现了一个“泄露风波”,从而在业界推动了一波GPT平替风潮。虽然当时Meta称LLaMA是开源的,但研究人员仍然需要向Meta提出申请和审核。但就LLaMA发布不久后,其模型源代码的文件却在技术论坛上疯传,直接助推了包括斯坦福大学Alpaca、加州大学伯克利分校ColossalChat等基于LLaMA构建的语言模型和产品的出现。

当时因为泄漏的种子文件还被一度合并到了 Meta Research官方GitHub 上,并得到了一些项目维护者的批准,也有人猜测LLaMA的泄露是Meta有意为之,其目的就是为了日后的商业化做铺垫。

但不论此前LLaMA的泄露是否是Meta的试水之举,今天,Llama 2正式开启了开源商用版本。

根据Meta的官方数据,Llama 2 相较于上一代其训练数据提升了40%,包含了70亿、130亿和700亿参数 3个版本。Llama 2 预训练模型接受了 2 万亿个 tokens 的训练,上下文长度是 Llama 1 的两倍,其微调模型已经接受了超过 100 万个人类注释的训练。

在训练流程方面,跟 ChatGPT类似,Llama 2也经历了预训练阶段(PT)、指令微调(SFT)以及人类反馈强化学习(RLHF)三个阶段。在包括推理、编码、熟练程度和知识测试等外部基准测试中,Llama 2 在许多方面都显著高于MMLU、TriviaQA等其他开源语言模型。

Meta 表示Llama 2可免费用于研究和商业用途,开发者们可以直接在Llama 2官方网站下下载该模型。为了避免此前LLaMA泄漏后带来的深度伪造和色情聊天机器人等不良信息和产品的出现,Llama 2已经经过了红队测试,避免模型产出不良和有害内容,并且为开发者们制定了使用指南和守则。

图片来自Meta

Meta搞免费开源,搅动大模型池水

Meta发布首个开源可商用大语言模型的消息,无疑是在行业内释放了一个重磅炸弹。

用Yann LeCun的话来说,Meta此举可能将就此改变大模型行业的竞争格局。

众所周知,OpenAI和Google目前是大语言模型领域中的两大霸主,但他们在最新、最先进的模型上都选择了“闭源”,OpenAI目前只是以API付费的方式向开发者提供服务。而此次,Meta在性能上足以比肩GPT-3.5的Llama 2免费开放给所有人,这肯定会吸引大量的开发者和创业者使用抛弃OpenAI和谷歌转向Llama 2。

对于Meta来说,在AI用户争夺战上的落后让它不能再和OpenAI、谷歌一样走非开源语言模型路线,开放生态则是目前一个很好的切入点。开源之后,Meta将拥有更多的可训练数据,开发人员能够帮助Llama 2去发现和解决漏洞,并且能够很快打开市场,为未来的商业化铺路。一定程度上来说,Meta此次也是在反向施压OpenAI和谷歌。

此次,为了鼓励更多开发者加入Llama生态,Meta还开放了人工智能研究社区和Llama影响力挑战赛,鼓励开发者们基于Llama 2来进行创建、交流和讨论,并进一步解决环境、教育和其他公共领域的问题。

除了Meta官方以及合作伙伴微软之外,Llama 2 还可以通过亚马逊AWS、Hugging Face 和其他提供商获取。

“双M”联盟走向深化,微软或成最大赢家?

除了Llama此次的开源、商业特点之外,Meta 和微软(Microsoft)的联盟也尤其引人注目。

Meta和微软向来关系不错,此前Meta搞元宇宙时,纳德拉就为其站台并且率先带着微软的一众产品进入Meta的VR平台。在AI领域,两家巨头也有着长期的合作历史。从2017年两家共同推出了可互换人工智能框架的开放生态系统,到ONNX Runtime 与 PyTorch 的集成等,Azure一直都是Meta的云业务上的战略合作伙伴。

图片来自扎克伯格Instagram

此次,两家就Llama 2进行了更加深入、全面的合作。微软表示,Llama 2将在Azure AI模型目录中提供,使得使用Microsoft Azure的开发者能够构建并使用Llama 2,同时利用他们的云原生工具进行内容过滤和安全功能。Llama 2也已优化为可在Windows本地运行,为开发者提供无缝的工作流,将更广泛地提供给企业并可由企业定制。

值得注意的是,Meta和微软也是今年以来股价涨幅最大的科技巨头之一,Meta今年上涨了154%,微软上涨了48%。

总体来看,一边抓着OpenAI闭门研究、探索商业化变现,另一边跟Meta联合搞开源生态,微软或许是此次AI热潮中最得意的人

那么,你对于Meta这一次的商业版大模型开源怎么看,你们认为Meta此举会引发行业内的开源热潮吗?欢迎大家留言讨论!

注:封面图来自于Meta,版权属于原作者。如果不同意使用,请尽快联系我们,我们会立即删除。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1