信通院可信AI代码大模型评估结果出炉 智谱AI CodeGeeX获最高等级

北京智谱华章科技有限公司的智谱CodeGeeX代码大模型参与中国信通院组织的可信AI代码大模型首轮评估，最终获得4+级评级, 成为国内首批通过该项评估的企业之一。

在信通院官方发布的评测中，给予了CodeGeeX代码大模型较高评价：

“参与本次评估的智谱CodeGeeX代码大模型在通用能力方面，其代码解释、代码生成、代码转换等方面表现突出；在专用场景方面，其支持网站开发、桌面应用开发、移动应用开发、数据库开发、人工智能开发等多个场景的能力；在应用成熟度方面，其具备较完善的数据安全合规机制，在数据分类分级、模型服务可追溯性、风险可控性及可维护性等方面均表现优秀。”

CodeGeeX代码大模型基于智谱GLM大模型通过代码数据预训练和指令微调而成，支持超过100种编程语言，具备优秀的模型特性、强大的代码能力、全面的开发辅助能力。代码补全能力支持上下文补全、跨文件补全等；研发问答能力用于代码解释、代码翻译、代码注释、代码审查、代码修复、生成单元测试等任务，显著提高开发效率。基于多来源检索增强RAG技术，可实现基于本地知识库及开源代码仓库的问答，大幅提升准确率。同时，模型具备Code Interpreter代码解释器能力，可以批量处理多种格式的文件、批量实现数据可视化、绘制数学函数图等。

图1：CodeGeeX代码大模型的核心能力

目前，CodeGeeX插件产品的个人用户已经超过100万+，企业版本也已经广泛应用于科技、金融、医疗和制造等多个行业，每天为程序员生成超过2000万行代码，显著提高程序员的编程开发效率。CodeGeeX插件产品适配了VSCode、JetBrains IDEs全家桶、Visual Studio 2022、并独家适配了Visual Studio 2019、HBuilderX和deepin-IDE。在不同场景下，都已成为程序员必备的智能编程助手。

背景信息：信通院可信AI代码大模型评估介绍

可信AI代码大模型评估围绕通用能力、专用场景能力、应用成熟度，为模型能力提升和企业选型提供规范性参考。

（一）通用能力：考察模型的代码理解、代码生成与补全、代码转换、单测生成、代码诊断与优化、研发问答六大能力，一方面采用由多语言、多任务组成的专用评测数据集进行准确度等客观指标的评分，另一方面结合多位编码专家对可接受度指标的主观评分，综合评估代码大模型通用水平。

（二）专用场景能力：关注大模型所支持的专业场景数，如网站开发场景、数据库开发场景、大数据开发场景、人工智能开发场景等，以及相应场景下模型的代码生成和辅助编程的能力。

（三）应用成熟度：关注大模型数据管理机制、模型及其服务管理机制，评估应用实施阶段的服务质量。

图2：可信AI代码大模型评估内容