当前位置:首页|资讯|GPT-4|大语言模型

Llama3惊艳登场!性能直逼GPT-4,最大模型参数将超 4000 亿

作者:港股那点事发布时间:2024-04-19

原标题:Llama3惊艳登场!性能直逼GPT-4,最大模型参数将超 4000 亿

北京时间 4 月 19 日,Meta 重磅发布发布了其最先进开源大型语言模型的下一代产品——Llama 3,一夜间重新坐稳王者之位。

据悉,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 80 亿和 700 亿的预训练和指令微调版本。

Meta 在官方博客中表示,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 80 亿 和 700 亿 参数尺度下最好的模型。”

在Llama 3发布后,扎克伯格向外媒表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”

最强开源大模型,直逼 GPT-4

Meta 本次开源了 8B 和 70B 两款不同规模的模型。

Llama 3 8B:基本上与最大的 Llama 2 70B 一样强大。
Llama 3 70B: 第一档 AI 模型,媲美 Gemini 1.5 Pro、全面超越 Claude 大杯。

在MMLU、HumanEval和GSM-8K上,Llama 3 70B击败了Gemini 1.5 Pro。尽管无法与Anthropic性能最强的模型 Claude 3 Opus媲美,但 Llama 3 70B的性能,已经优于Claude 3系列的中杯模型Sonnet。

具体来说,Llama 3的亮点和特性概括如下:

基于超过15T token训练,大小相当于Llama 2数据集的7倍还多;
训练效率比Llama 2高3倍;
支持8K长文本,改进的tokenizer具有128K token的词汇量,可实现更好的性能;
在大量重要基准测试中均具有最先进性能;
增强的推理和代码能力;

此次的大模型通过后期训练程序上的改进很大程度上降低了 Llama 3 的错误拒绝率,提高了对齐度,并增加了模型响应的多样性。Meta 研发团队还发现,推理、代码生成和指令跟随等能力也有了很大提高,这使得 Llama 3 的可操控性更强。

与前代 Llama 2 模型相比,Llama 3 可谓是迈上了一个新的台阶。

80 亿参数模型与 Gemma 7B 和 Mistral 7B Instruct 等模型相比在 MMLU、GPQA、HumanEval 等多项基准上均有更好表现。而 700 亿参数模型则超越了闭源超级明星大模型 Claude 3 Sonnet,且与谷歌的 Gemini Pro 1.5 在性能上不相上下。

据Meta介绍,Llama 3将被整合到其虚拟助手Meta AI中,这是免费使用的同类产品中最先进的AI应用程序。Meta AI助手已经在Facebook、Instagram、WhatsApp和Messenger等应用中上线,随后也将迎来更新。

Meta首席产品官Chris Cox在接受采访时说,这家社交媒体巨头为Llama 3配备了新的计算机编码能力,这次除了可以输入文本外,还可以输入了图像,不过目前该模型只能输出文本内容。因此,Llama 3目前还不是多模态大模型。

但他补充说,更高级的推理能力,比如制定更长的多步骤计划的能力,将在随后的版本中出现。并计划在未来几个月发布多模态版本,这意味着它们可以同时生成文本和图像。

值得注意是,以上还只是 Meta 的开胃小菜,真正的大餐还在后头。在未来几个月,Meta 将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。其中,超 400B 的重量级选手更是有望与 Claude 3 超大杯“掰手腕”。

Llama 3 的到来,也在社交平台 X 上掀起一股新的讨论风暴。

Meta AI 首席科学家、图灵奖得主 Yann LeCun 不仅为 Llama 3 的发布摇旗呐喊,并再次预告未来几个月将推出更多版本。

就连马斯克也现身于该评论区,用一句简洁而含蓄的「Not bad 不错」,表达了对 Llama 3 的认可和期待。

英伟达高级科学家Jim Fan认为之后可能会发布的Llama 3-400B以上的版本其将成为某种“分水岭”,开源社区将能用上GPT-4级别的模型。他做了一个对比图,可以看到,Llama 3 400B已经在多语言推理任务、代码能力,可与GPT-4、Claude 3相匹敌。更亮眼的是,它在所有能力上,均打败了Gemini Ultra 1.0。

附模型下载链接:https://llama.meta.com/llama-downloads/

GitHub项目地址:https://github.com/meta-llama/llama3

格隆汇声明:文中观点均来自原作者,不代表格隆汇观点及立场。特别提醒,投资决策需建立在独立思考之上,本文内容仅供参考,不作为实际操作建议,交易风险自担。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1