Meta发布最新开源大模型Llama 3，持续追赶OpenAI
图片来源：视觉中国
当地时间4月18日，Meta发布了其最新开源模型Llama 3，提供8B和70B的预训练和指令微调版本。这是目前为止最先进的开源模型，会对包括OpenAI在内的大模型公司形成强力竞争，也能够让众多依赖开源模型的人工智能公司受益。
在大盘小跌的情况下，Meta股价上涨1.54%。
根据Meta官方介绍，Llama 3在两个定制的24K GPU集群上基于超过15T的数据进行了训练——这比Llama 2使用的数据集大7倍，多4倍的代码，并且Llama 3支持8K上下文长度，是Llama 2容量的两倍。
图片来源：Meta官方
此外，Meta还放出了Llama 3两个版本与谷歌Gemma、谷歌Gemini、Mistral、Anthropic的Claude 3等竞争对手的参数对比。
对于用户来说，也能够通过Meta自己推出的Meta AI来感受Llama 3。Meta CEO 扎克伯格介绍，Meta AI 将集成到Meta旗下各大产品 WhatsApp、Instagram、Facebook 和 Messenger 顶部的搜索框中，并建立了一个网站 meta.ai，使其更易于使用。
根据Meta首席科学家Yann LeCun称，未来几个月Llama将继续推出更多版本，也将很快释放Llama 3的研究论文。英伟达高级科学家Jim Fan认为之后可能会发布的Llama 3-400B以上的版本其将成为某种“分水岭”，开源社区将能用上GPT-4级别的模型。
值得关注的是，Llama 3的推出像其此前版本一样引发了开源社区的轰动，但就在本周早些时候，百度创始人李彦宏公开表示，开源模型将越来越落后。
李彦宏称，开发者通过百度的文心4.0降维裁剪出来的更小尺寸模型，要比直接拿开源模型调出来的模型，同等尺寸下效果明显更好；同等效果下，成本明显更低。“大家以前用开源觉得开源便宜，其实在大模型场景下，开源是最贵的。所以开源模型会越来越落后。”