百度首席技术官王海峰揭秘：文心一言是如何炼成的？
“‘奇变偶不变’下一句是什么？”“这句话的下一句是‘符号看象限’。”
“‘波棱盖卡秃噜皮了’是什么意思？”“波棱盖卡秃噜皮了是指膝盖在马路牙子上磕破皮的意思，是一句东北方言。”
“宫廷玉液酒多少钱一杯？”“宫廷玉液酒是小品中‘太后大酒楼’的招牌酒水，售价180元，由二锅头兑水而成。”
……
文心一言部分回答 截图自文心一言测试页面
自3月16日百度新一代知识增强大语言模型“文心一言”开启邀请测试后，连日来人们逐渐对其超出预期的表现刮目相看。尤其在类似上述“只有中国人看得懂”的问答中，文心一言的表现超过了ChatGPT和GPT-4。
文心一言是如何炼成的？在它背后有哪些技术加持？近日，百度首席技术官王海峰对文心一言所应用的技术及其特性和背靠的技术积累一一作了解读。
百度CTO王海峰
核心技术加持，文心一言将越来越强大
新一代知识增强大语言模型文心一言，是在百度ERNIE及PLATO系列模型基础上研发的，具有对话交互、内容创作、知识推理、多模态生成等能力。王海峰介绍说，支撑文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。
“前三项是这类大语言模型都会采用的技术，在ERNIE和PLATO中已有应用和积累，并在文心一言中进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。”王海峰说。
王海峰介绍，文心一言的知识增强主要有“知识内化”和“知识外用”两种方式。其中，知识内化是从大规模知识和无标注数据中基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用则是引入外部多源异构知识，做知识推理、提示构建等。
文心一言的检索增强则来自以语义理解与语义匹配为核心技术的新一代搜索架构。王海峰说，通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，这也是文心一言能够在一些问答中强于ChatGPT表现的重要原因之一。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，从而更好实现对话的连贯性、合理性和逻辑性。
文心一言还融合了不同类型的数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
此外，百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景。比如“宫廷玉液酒多少钱一杯”等中文语境下特有的“知识问答”，必须要用中文语料“开小灶”。
文心一言将变得越来越好。王海峰说，文心一言开放测试后，将迅速建立起人类反馈、奖励模型和策略优化之间的“飞轮”机制。随着真实用户的反馈越来越多，文心一言的效果会越来越好、能力会越来越强。
集齐四层架构“召唤”文心一言
百度早在2019年就发布了文心大模型ERNIE1.0，如今已从最初的自然语言处理（NLP）大模型发展成为跨语言、跨模态、跨任务、跨行业的大模型平台。王海峰认为，文心一言是百度多年技术积累和产业实践的水到渠成。
传统的IT技术栈一般分为三层——芯片层、操作系统层和应用层。而随着人类进入AI时代，IT技术栈发生了新的变化，从三层变为四层——芯片层、框架层、模型层、应用层。其中，文心一言位于模型层。
百度是全球范围内少有的在IT四层技术栈架构中，每一层都有领先技术的公司。从高端芯片“昆仑”到“飞桨”深度学习框架，再到“文心”预训练大模型，以及搜索、智能云、自动驾驶、小度等各类应用，百度在各个层面都有领先业界的自研技术。
在芯片层，百度自研AI芯片“昆仑”已在多场景实际部署数万片，展现出出色的性能，并为文心一言提供底层算力保证。
在框架层，百度自主研发了中国首个开源开放的产业级深度学习平台——飞桨，它包括核心框架、产业级模型库、开发套件、工具组件及学习和实训社区，能够标准化、自动化地支撑模型生产和应用。
在模型层，百度文心大模型不仅拥有NLP、计算机视觉（CV）、跨模态等基础大模型，以及对话、跨语言、搜索、信息抽取等任务大模型，还有生物计算领域大模型、各行业大模型及支撑大模型应用的工具平台，形成了“基础-任务-行业”三级大模型技术体系，具备知识增强和产业级两大特色。
在应用层，以百度搜索为例，每天响应几十亿次真实的用户使用需求，能够提供最真实、最及时的反馈，从而倒逼大模型、深度学习框架和芯片的优化。
“全栈布局的优势在于，百度在技术栈四层架构中，可以实现‘层与层的反馈’和‘端到端的优化’，进而大幅提升效率。”王海峰指出，框架层和模型层之间有很强的协同作用，可以帮助构建更高效的模型，并显著降低成本。正是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。
值得一提的是，超大规模模型的训练和推理给深度学习框架带来很大考验，为了支持千亿参数模型的高效分布式训练，百度飞桨专门研发了4D混合并行技术。在推理部署方面，飞桨支持大模型高效推理，并提供服务化部署能力。王海峰强调，正是有赖于飞桨深度学习平台的支撑，今天的文心一言效果更好、效率更高、性能更强。
文心一言根据“画一张晶莹剔透的牡丹花”指令生成的图片。
通用人工智能？AI模拟人的智能并服务人类
在文心一言新闻发布会上，百度创始人、董事长兼CEO李彦宏谈到，不断涌现的新技术正给社会带来各种各样新的可能性。
“文心一言们”的下一站会是通用人工智能（AGI）吗？王海峰分享了他的思考。
王海峰说，回顾前几次工业革命，可以发现机械技术、电力技术、信息技术等通用性强的技术，会在工业大生产阶段真正发挥价值。AI也一样，目前其技术在不断进步、应用越来越广泛，接下来如何在工业大生产阶段发挥价值，“是我们追求的目标”。
“但是，正如人造卫星永远不会和月球这样的自然卫星画等号一样，我个人认为，AI永远不会直接跟人类的智能完全画等号。”王海峰告诉《中国科学报》，不断进步的人工智能体会模仿人的许多能力如学习、理解和思维，但AI始终不是人类智能。
“我们研究AI是在研究用技术手段来模拟、延伸和拓展人的智能，最终目的是为人类带来更先进的科技，服务于人类更美好的生活和社会的发展。”王海峰说，“当你发现AI在很多领域都达到甚至超越人类水平的时候，你可以认为它在一定程度上已经实现了AGI，但是，我们也可以不关心这个概念本身，而是关心它为人类带来的价值。”
（原标题：百度首席技术官王海峰揭秘：文心一言是如何炼成的？）
来源：中国科学报
流程编辑：tf027