通义千问开源1100亿参数大模型，支持多语种训练
据头部财经了解，通义千问宣布开源了其1100亿参数模型Qwen1.5-110B，这一举动立即引发了业界的广泛关注。
通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构，采用了分组查询注意力方法（GQA），使得模型在推理时更加高效。110B模型支持32K上下文长度，具备优秀的多语言能力，支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。
Qwen1.5-110B的出色表现并非偶然，它延续了Qwen1.5系列的Transformer解码器架构，并采用了先进的分组查询注意力方法（GQA），使得模型在推理时更加高效。同时，该模型支持32K上下文长度，并具备优秀的多语言能力，支持多种语言，展现了其强大的跨语言处理能力。
值得一提的是，Qwen1.5-110B在MMLU、TheoremQA、GPQA等多个基准测评中均取得了优异的成绩。研发团队指出，尽管预训练方法与同系列其他模型并无明显差异，但性能的提升主要得益于参数规模的扩增。这一发现为大模型的研发提供了新的思路，即通过增加参数规模来提升模型性能。
此外，通义千问团队在不到3个月的时间内连续推出了8款大语言模型，模型参数规模从5亿到1100亿不等，展现了其强大的研发实力和高效的工作能力。这些模型在开源社区中收获了热烈反响，吸引了大量开发者的关注和使用。
目前，通义千问的开源模型下载量已经超过了700万，这一数字不仅彰显了其模型的受欢迎程度，也证明了通义千问在开源社区中的影响力。开发者可以在魔搭社区ModelScope和HuggingFace等开源社区轻松下载并使用Qwen1.5-110B，为他们的项目提供强大的支持。
随着通义大模型的落地应用开启加速度，越来越多的企业开始接入通义大模型，探索其在各个领域的应用潜力。从新东方、同程旅行到长安汽车、西部机场集团，再到亲宝宝等多家企业，他们都看中了通义大模型在数据处理、智能客服、风险识别等方面的优势，希望借助大模型的力量提升业务效率和用户体验。
不仅如此，通义大模型还在天文观测、矿山安全等领域取得了突破性的应用。中国科学院国家天文台基于通义千问开源模型开发了新一代天文大模型“星语3.0”，将大模型技术首次应用于天文观测领域，为天文学研究提供了全新的视角和工具。同时，陕煤建新煤矿等十余座矿山也推出了由通义大模型支持的新型矿山重大风险识别处置系统，实现了对矿山安全风险的实时监测和预警，为矿山安全生产提供了有力保障。
来源：https://www.top168.com/news/202404/6016.html