10月16日,C-Eval大模型评测榜单更新,榜单显示,vivo自研大模型在C-Eval全球中文榜单中排名第一。vivo相关负责人透露,vivo自研AI大模型将会在即将发布的OriginOS 4系统中被首次应用,其中包括十亿、百亿、千亿三个不同参数量级的5款自研大模型,全面覆盖核心应用场景。
C-Eval榜单是由清华大学、上海交通大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集,涵盖52个不同学科,共有13948道多项选择题,是目前较为权威的中文AI大模型评测榜单。CMMLU数据集则是一个综合性的中文评估基准,由MBZUAI、上海交通大学、微软亚洲研究院共同推出,在评估语言模型在中文语境下的知识和推理能力方面极具权威性。
【来源:凤凰网科技】