百度CTO王海峰：全栈AI技术加持 打造大语言模型文心一言
雷递网 乐天 3月16日
百度今日在北京总部召开新闻发布会，百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰出席，李彦宏展示新一代知识增强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成五个使用场景中的综合能力，王海峰解读了文心一言的技术特性及其背后的技术积累。
在人工智能时代，IT技术栈可分为“芯片层、框架层、模型层、应用层”四层，百度称，其自2010年起开始全面布局人工智能，是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用，百度在技术栈的各层都有领先业界的关键自研技术，实现了层与层反馈，端到端优化，提升效率。
在框架层，飞桨是百度自主研发的中国首个开源开放的产业级深度学习平台，包括核心框架、产业级模型库、开发套件、工具组件，以及学习和实训社区，能够标准化、自动化地支撑模型生产和应用。
在模型层，文心大模型包括NLP、CV、跨模态等基础大模型，对话、跨语言、搜索、信息抽取等任务大模型，生物计算领域大模型，行业大模型，以及支撑大模型应用的工具平台，形成了基础-任务-行业三级大模型技术体系，具备知识增强和产业级两大特色。
王海峰认为，文心一言是百度多年技术积累和产业实践的水到渠成，尤其是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。飞桨有效支撑了大模型的灵活开发、高效训练和推理部署。文心大模型从2019年发布以来，已经从最初的自然语言理解大模型，发展成了跨语言、跨模态、跨任务、跨行业的能力完备的大模型平台。
文心一言是新一代知识增强大语言模型，也是百度继文心一格之后的又一个生成式AI产品，具备对话交互、内容创作、知识推理、多模态生成等能力。
王海峰表示，新一代知识增强大语言模型文心一言，是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术，ERNIE和PLATO中已经有应用和积累，在文心一言中又有了进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。
在知识增强方面，文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化，是从大规模知识和无标注数据中，基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用，是引入外部多源异构知识，做知识推理、提示构建等等。
在检索增强方面，文心一言的检索增强，来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，更好地满足用户需求。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，实现更好的对话连贯性、合理性和逻辑性。
百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景，并建立起人类反馈、奖励模型和策略优化之间的飞轮机制，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。文心一言融合不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
王海峰强调，飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练，飞桨动静统一的开发范式，以及自适应分布式架构，可以实现大模型的灵活开发和高效训练。在推理部署方面，飞桨支持大模型高效推理，并提供服务化部署能力，包括计算融合、软硬协同的稀疏量化、模型压缩等等。如今，飞桨平台已凝聚535万开发者，服务20万企事业单位，基于飞桨创建了67万个模型。
———————————————
雷递由媒体人雷建平创办，若转载请写明来源。