当前位置:首页|资讯|通义千问

阿里云发布通义千问(Qwen-7B)——超大规模语言模型系列

作者:云影同学yunyuv发布时间:2023-08-03



通义千问(Qwen-7B)是阿里云最新发布的一系列超大规模语言模型,这个牛气十足的大模型令人惊叹。基于Transformer架构,Qwen-7B系列汇聚了70亿参数。在本次发布中,我们将为您详细介绍Qwen-7B的模型参数、性能表现、安装使用方法以及诸多强大功能。

无论是面向研究人员还是开发者,Qwen-7B都将成为您在自然语言处理领域的得力助手。让我们一起深入了解这一令人振奋的超大规模语言模型系列吧!


Qwen-7B模型参数和性能

Qwen-7B系列模型自带多项令人瞩目的特点:

  1. 大规模高质量预训练数据:利用超过2.2万亿token的自建大规模预训练数据集,Qwen-7B在语言模型预训练方面具有强大的能力。数据集内涵丰富,包括文本、代码等多种数据类型,广泛覆盖通用领域和专业领域。

  2. 优秀的模型性能:相较于同规模的开源模型,Qwen-7B在多个评测数据集上展现出色的表现。无论是自然语言理解与生成、数学运算解题还是代码生成等领域,Qwen-7B都展现出强大的潜力。

  3. 更好地支持多语言:Qwen-7B采用更大词表的分词器,在分词效率方面具有优势,同时也更加友好地支持其他语言。用户可以轻松在Qwen-7B基础上训练特定语言的7B语言模型。

  4. 8K的上下文长度:Qwen-7B及其衍生模型均支持长达8K的上下文长度,为用户提供了更大的输入空间。

  5. 支持插件调用:Qwen-7B-Chat在插件调用方面做出了特定优化,目前模型能够有效调用插件并升级为Agent。

Qwen-7B在全面评估自然语言理解与生成、数学运算解题、代码生成等领域的多个评测数据集上表现出色。这些数据集包括MMLU、C-Eval、GSM8K、HumanEval、WMT22等,Qwen-7B的表现不仅超越了同等规模的大语言模型,还甚至超越了像12-13B参数等更大规模语言模型的性能水平。这一突出表现进一步证明了Qwen-7B在各种任务上的卓越能力。



Qwen-7B-Chat经过针对API、数据库、模型等工具的优化,使得用户可以开发基于Qwen-7B的LangChain、Agent甚至Code Interpreter等应用。在即将开源的内部评测数据集上测试了Qwen-7B-Chat的工具调用能力,发现其表现稳定可靠。



此外,实验结果还显示了模型在扮演Agent角色方面的能力。有关更多信息,请查阅相关文档链接。在Hugging Face提供的评测数据集上,Qwen-7B模型在工具选择、工具使用和代码方面表现如下:





Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1