当前位置:首页|资讯|大语言模型|LLaMA|微软|GPT-4

Meta开源大语言模型Llama 2,结盟微软、高通对抗GPT-4?

作者:芯智讯发布时间:2023-07-19

原标题:Meta开源大语言模型Llama 2,结盟微软、高通对抗GPT-4?

7月19日消息,据外媒Theverge报道,Meta在今天凌晨通过其官网正式发布了首个免费商用的开源大语言模型Llama 2。同时宣布,微软成为应用 Llama 2 的首选合作伙伴。与此同时,高通也宣布正与 Meta 合作,从 2024 年起将 Llama 导入笔记本电脑、智能手机、智能耳机等产品。

据介绍,Llama 2模型目前支持70亿、130亿、700亿等多个参数规模版本。相较第一代的Llama,Llama 2经过了2万亿个tokens训练,其对上下文训练的长度是Llama的两倍,达到了4096。另外,Llama-2-chat模型还接受了超过100万个人工标注训练。由于其强大的参数规模以及性能表现,被认为是最有实力挑战“GPT-4”的大模型。

Meta表示,Llama 2 的训练资料比 Llama 多 40%,其中包括公开可用的线上资料来源。Llama 2 在推理、编辑程式、知识测试等方面,优于 Falcon 和 MPT 等大型语言模型。

Meta在新闻稿中解释称,其开源 Llama 2 的决定,是希望让企业、新创团队、研究人员能够取得更多 AI 工具,进行更多实验和尝试。

“我们相信开放方式对于当今 AI 模型开发是正确的决定,尤其是在技术快速发展的生成式 AI 领域”,Meta指出,这意味着开发者和研究人员能够进行测试,快速辨识并解决开发问题。

在开放 Llama 2的同时,Meta 还希望提高安全性和透明度。为此 Llama 2 模型已经通过红队演练,或者通过内部和外部产生对抗性提示以促进模型微调,还披露了如何评估和调整模型。

据介绍,开源的 Llama 2 将通过微软 Azure 平台提供给客户。Meta 也表示 LLama 还会通过亚马逊AWS、Hugging Face 以及其他服务商让客户使用。

值得一提的是,微软此前已经与OpenAI结盟,并投资了巨额资金,已发布的多款AI产品都导入了GPT-4。此番与Meta合作,微软似乎也是不想把鸡蛋放在一个篮子里。

编辑:芯智讯-林子


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1