当前位置:首页|资讯|LLaMA|GPT-4

Meta计划7月发布Llama 3,能力接近GPT-4,最高1400亿参数

作者:华尔街见闻发布时间:2024-03-01

原标题:Meta计划7月发布Llama 3,能力接近GPT-4,最高1400亿参数

当地时间周三,科技媒体The Information援引知情人士报道,Meta计划在今年7月份发布Llama 3大模型。

Llama 3肩负的使命巨大。

报道称,Meta希望Llama 3能够比肩OpenAI的GPT-4,后者已经成为一个强大的多模态模型,不仅能够处理更长的文本,还支持图像输入。

但Meta的一位员工透露,由于研究人员尚未开始对模型进行微调,因此公司尚未决定Llama 3是否是多模态的。微调是开发人员为现有模型提供额外数据的过程,以便大模型学习新信息或处理任务。

Meta员工还说,Llama 3最高可能拥有超过1400亿个参数,相比之下,去年7月发布的Llama 2的参数最高为700亿。

据此前报道称,GPT-4模型参数规模约为1.8万亿,Llama 3不到这一数字的十分之一。

另外,在推出Llama 3之前,Meta还在尝试克服Llama 2中发现的一个问题——无法处理任何有争议的问题。

由于开发人员在Llama 2中增加了安全护栏,它会拒绝回答一系列被认为有争议的问题。

据Meta员工称,这些护栏使得Llama 2在公司高层领导以及模型研究人员眼中显得“过于安全”,研究人员计划放松Llama 3在这一方面的限制,以便它更多地与用户互动,提供背景信息,而不仅仅是拒绝回答。

人们对Llama 3的期待与日俱增,但Meta仍面临着旷日持久的人才竞争。

两名知情人士称,负责Llama 2和Llama 3安全工作的研究员Louis Martin已于本月离开公司。其中一位知情人士称,强化学习负责人Kevin Stone也在本月离职。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1