探展WAIC | 百度王海峰首次对外披露飞桨生态最新数据，解读文心大模型3.5版核心技术
7月6日，2023世界人工智能大会（WAIC）开幕，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰解读文心大模型3.5版核心技术，发布飞桨生态最新进展，阐述人工智能产业模式。
飞桨已凝聚750万名开发者，文心3.5效果提升50%，推理速度提升30倍
当前，以大语言模型为代表的人工智能技术在全球掀起科技和产业创新浪潮。IT技术栈发生根本性改变，从芯片、操作系统和应用三层架构，转变为芯片、框架、模型、应用四层架构。深度学习框架和大模型构成了产业智能化基座。
据了解，百度在人工智能四层技术栈均有布局和自研技术，尤其在位于四层架构核心的框架层和模型层。百度方面表示，文心大模型的最新成果，也得益于飞桨深度学习平台和文心的联合优化。王海峰现场透露，截至目前飞桨已凝聚750万名开发者，这也是百度2023年以来首次对外披露飞桨生态最新数据。
百度称，文心大模型现已升级到3.5版本。王海峰表示，3.5版的文心大模型效果、功能、性能全面提升，实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等，模型效果提升50%，训练速度提升2倍，推理速度提升30倍。
文心大模型3.5有哪些核心技术创新？
今年3月，百度发布了大语言模型文心一言。文心一言是知识增强的大语言模型，首先从数万亿数据和数千亿知识中融合学习得到预训练大模型，在此基础上采用有监督精调、人类反馈的强化学习和提示等技术，并具备知识增强、检索增强和对话增强等技术。
王海峰解读了文心大模型3.5的核心技术创新，在基础模型训练上，采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略，并采用多种策略优化数据源及数据分布，加快了模型迭代速度，提升了模型效果和安全性。同时，有多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术加持，进一步提升模型效果及场景适配能力。
在知识增强和检索增强基础上，文心大模型3.5提出了“知识点增强技术”，对用户输入的查询、问题等进行分析理解，解析出生成答案所需要的相关知识点，之后运用知识图谱和搜索引擎为这些知识点找到相应答案，最后再用这些知识点构造输入给大模型的提示，为大模型注入更具体、更详细、更专业的知识点，提升大模型对世界知识的掌握和运用。
在推理方面，通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术，提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
新增插件机制，将逐步开放插件生态
百度介绍，文心大模型3.5新增了插件机制，文心一言已经于6月17日对外发布官方插件百度搜索和ChatFile。百度搜索是默认的内置插件，使得文心一言具备生成实时准确信息的能力。ChatFile是长文本摘要和问答插件，支持超长文本输入。
王海峰表示，文心一言将发布更多百度官方和第三方插件，同时也将逐步开放插件生态。
现场王海峰展现了文心一言在办公、会议、编码等场景的应用。王海峰称，凡是要跟语言文字或程序代码打交道的应用场景，都可能有文心一言的用武之地。
据介绍，在文心一言这类大模型产业落地的进程中，可以采用“集约化生产，平台化应用”的模式，即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来，通过低门槛、高效率的生产平台，为千行百业提供大模型服务。