腾讯发布开源MoE大语言模型Hunyuan-large，总参数398B为业内最大

钛媒体App 11月5日消息，腾讯发布开源MoE大语言模型Hunyuan-large，总参数398B为业内最大，激活参数量52B。公开测评结果显示，腾讯混元Large在CMMLU、MMLU、CEval、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面领先，超过Llama3.1、Mixtral等一流的开源大模型。据了解，该模型在技术创新上可实现高质量合成数据，通过使用合成数据增强训练，有效应对自然数据的不足。在上下文处理能力方面，预训练模型支持高达256K的文本序列，显著增强了处理长上下文任务的能力。

同时，腾讯混元宣布，为填补行业真实长文评测集不足，腾讯混元即将开源企鹅卷轴评测集助力业界应用研究。自研企鹅卷轴(PenguinScrolls)基于公开金融、法律、学术论文等多种自然长文本，长度范围达1K-128K，覆盖各种深度阅读理解、长文推理任务。