【AI大模型展】孟子GPT大模型——专注垂直领域、专业赛道

作者：数据猿发布时间：2023-11-05

澜舟科技AI大模型

该AI大模型由澜舟科技投递并参与数据猿与上海大数据联盟联合推出的《2023中国数据智能产业AI大模型先锋企业》榜单/奖项”评选。

澜舟科技孟子 GPT是一个生成式可控大语言模型，能够通过多轮的方式帮助用户完成特定场景中的多种工作任务，如知识问答、多语言翻译、通用写作、金融场景任务等。它具有更加安全可控的生成能力、支持不同参数规模的迁移学习、可根据不同业务需求定制垂直模型，为客户量体裁衣；支持融入行业数据、知识图谱和实时检索引擎满足专业领域任务。孟子GPT大模型面向企业提供L1、L2、L3、L4四个层级的产品服务，即孟子通用大模型、行业大模型、任务模型、AI Agents，以满足不同行业和场景在数字时代，更具多样性的需求。

应用场景/使用群体

澜舟科技孟子GPT大模型专注垂直领域和专业赛道。面向企业级用户提供私有化的大模型训练、优化、业务场景定制等服务能力，聚焦在金融、营销、文化、政务等行业，应用场景包括，智能客服、智慧营销、企业知识问答、机器翻译、智能写作等。

产品功能

孟子GPT大模型根据企业具体需求提供L1、L2、L3、L4四个层级的产品服务，即孟子通用大模型、行业大模型、任务模型、AI Agents。

孟子GPT通用大模型：孟子GPT通用大模型目前已发布70亿、400亿参数量规模大模型，具有优秀的通用写作、多语言翻译、知识问答、多轮对话等能力。孟子GPT-40B基于FlashAttention的高效注意力计算，训练速度提升了8.5倍；基于TGI等加速框架，推理速度提升4.6倍，在中文及多语言翻译能力、通用写作、多轮对话等方面也有了很大的提升。同时，在C-Eval、SuperCLUE等权威榜单中均取得优异成绩。

孟子金融行业大模型：澜舟科技推出孟子GPT-7B金融行业大模型，基于孟子GPT通用大模型底座，整合了更多的泛金融领域的数据和专业知识，并定义了100多个任务。通过高效的模型优化算法，成功继承了底座的通用能力，并在金融行业的领域任务上获得了更加出色的表现。从语言理解到语言生成，涵盖实体识别、情感分析、信息抽取、文本理解、文本生成、文本翻译、智能对话、智能问答等多个方面。同时采用 Few-shot 训练和测试，泛化能力强，可支持众多面向金融场景的应用。

澜舟智会：澜舟智会是一款基于孟子GPT大模型打造的基于L3层面向场景任务模型的应用型产品，是一款面向企业用户的端到端会议内容分析平台产品，集成了全文摘要及关键问答提炼、会议要点智能导航、全文意义搜索和问答、大模型优化的语音转录等功能。可以对用户上传的会议音频和视频进行文字转录和深度智能分析。通过对分析结果的展示和交互，用户可以对会议的关键信息进行快速的理解、查找和导航定位。

产品优势

澜舟科技是国内最早开始从事大模型创业的团队之一。创始人周明博士是世界NLP领域的领军人物，是世界级的科学家，澜舟科技自2021年成立以来，就一直致力于预训练模型的研发与应用，基于团队自研的大规模预训练语言模型-孟子预训练模型，可处理多语言、多模态数据，同时支持多种理解和生成任务，能快速满足不同领域、不同应用场景的需求。且屡次荣登CLUE、ZeroCLUE和FewCLUE榜单前列，拥有20多项大模型技术专利和3项软著。两年间，澜舟科技积极探索大模型技术的应用和发展，坚持技术积累和业务验证，于今年3月份首次推出基于孟子GPT大模型的对话机器人MChat，同年5月份孟子GPT-7B通用大模型面向企业用户开放内测，7月份上线澜舟智会以及孟子GPT-7B金融行业大模型，8月份正式发布孟子GPT-40B通用大模型。坚持专注垂直领域、专业赛道，澜舟科技始终致力于在特定的专业领域内深耕细作，为企业用户提供个性化的、私有化的部署服务。围绕B端场景，形成了独特的L1-L2-L3-L4闭环支持体系。在这个系统中，孟子大模型可以提供全方位的模型支持，包括底座模型、工程化体系和工具交付、以及生成内容的溯源和控制等。通过这一系统，我们能够全面满足用户在各个层次的需求，帮助他们实现更好的业务目标。同时，我们也注重与用户的深度合作，根据他们的具体需求进行定制化开发，确保我们的产品和服务能够真正满足他们的实际需要。

技术说明

孟子GPT系列模型在研发过程中注重同下游应用场景相结合，使单位算力投入上的效果产出最大化，为了达到这个目标，澜舟科技在研发孟子GPT系列模型的过程中，注重对有限资源的充分运用，包括：

1、大语言模型的持续学习：

大语言模型在落地过程中需要不断地进行调整才能满足客户需求，原因是一方面客观世界上的语言和知识就是在不停的发展和变化，每天都有新的知识和新的词汇产生；另一方面，由于每个客户本身的行业/业务特点都会有差异，同时也有大量线下工作不能被大模型预先覆盖到，因此大语言模型必须具备良好的持续学习能力来适应不断更新，有显著个性化差异的客户需求。

为了达到这个目的，澜舟技术团队针对大语言模型的持续训练在技术上做了若干优化，包括：

① 澜舟技术团队研发了在continue-pretraining和transfer-pretraining场景下的尺度定律（scaling-raw），以此来指导持续学习场景下的大模型训练，实属业内首创。

② 澜舟技术团队设计了多阶段的数据融合策略，来最大化提升持续训练场景下的单算力产出，包括：

● 基于类lora模式的持续训练。

● 基于moe模式的模型混合。

● 基于多阶段学习的统一模型预训练。通过不同的模型训练方式，来最有效地综合多来源的数据，以提升算力利用效果。

2、高容错率的分布式训练集群设置：

大语言模型在训练过程中会设计到成百上千张GPU，经常会有不稳定问题影响集群训练，为了提升集群训练的容错率，尽量在单个节点故障的情况下，可以尽可能提升剩余节点的利用率，澜舟技术团队优化了大规模分布式训练的训练策略，包括节点崩溃后的自动退出和状态保持机制，以及节点数变化后的自动batching机制等。

服务客户

澜舟科技孟子GPT大模型已为多家企业提供大模型技术服务，包括中文在线、华夏基金、创新奇智、数说故事、新华智云、中金、同花顺等。

中文在线利用孟子预训练技术构建针对文学生产领域的专业模型。实现多属性可控文学生成提供续写、基于关键词生成、基于用户自定义模板生成、文学实体渲染等能力。创作内容辅助，通过模型快速生成内容流畅、逻辑通顺的文学内容片段，为人工写作提供有效辅助参考。通过对模型的持续技术迭代，进一步激发中文在线的内容创作和生产、以及用户产品应用的创新，颠覆现有的内容生产模式，重塑数字内容生产和用户交互方式，带来内容体验生态的全面进化。

澜舟科技与新华智云携手积极探索大语言模型在文化数字化全应用场景，通过对文化数据清洗、大模型训练、模型开发、模型评估、结果分析、实例输出等环节，将大语言模型应用在文化数字化的全技术链路中。提供具备专业的历史文化知识的大模型服务及应用能力，在角色扮演、文化知识问答等实际业务场景进行验证。双方持续发挥各自的技术优势和资源，共拓文化大模型，推动文化大模型在文化和旅游融合领域的应用探索。

同花顺基于孟子的泛金融领域预训练模型融入同花顺领域数据，共建大模型应用于问答、对话、信息抽取等场景，为各个业务都带来显著提升。

除此之外，澜舟科技也在坚持自主技术创新，积极探索更多创新应用，强化大模型发展中的场景牵引作用，打造大模型标杆项目。未来，澜舟科技将继续坚持核心技术的研发，多模态能力进一步增强，致力于垂直领域、专业赛道的探索，打造全球顶尖的大模型和产品效果。