当前位置:首页|资讯|通义千问

阿里云发布最强开源模型Qwen2

作者:中国证券报发布时间:2024-06-07

中证网讯(记者 杨洁)阿里云6月7日宣布,发布开源模型Qwen2-72B,该模型性能超过美国最强的开源模型Llama3-70B,也超过大多中国闭源大模型。用户可在魔搭社区和Hugging Face免费下载。阿里云透露,团队还在训练更大的模型,继续探索模型及数据的Scaling Law(尺度定律),此外,还将把Qwen2扩展成多模态模型,融入视觉及语音的理解。

据阿里云通义千问团队披露,Qwen2系列包含5个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B为混合专家模型(MoE)。Qwen2所有尺寸模型都使用了GQA(分组查询注意力)机制,以便让用户体验到GQA带来的推理加速和显存占用降低的优势。在中英文之外,模型训练数据中增加了27种语言相关的高质量数据,提升了模型的多语言能力。Qwen2还增大了上下文长度支持,Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。

阿里云介绍,得益于预训练数据及训练方法的优化,相比此前开源的通义千问Qwen1.5,Qwen2实现了整体性能的代际飞跃。对比当前最优的开源模型,Qwen2-72B在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型,如Llama-3-70B以及Qwen1.5最大的模型Qwen1.5-110B。

阿里云CTO周靖人表示:“坚持开源开放是阿里云的重要策略,我们希望打造一朵AI时代最开放的云,让算力更普惠、让AI更普及。”据了解,通义千问Qwen系列模型在全球总下载量已突破1600万次。全球开源社区还出现了超过1500款基于Qwen二次开发的模型。Qwen系列的72B、110B模型多次登顶HuggingFace的Open LLM Leaderboard开源模型榜单。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1