李彦宏谈文心一言：对标ChatGPT门槛很高，百度在全球大厂中第一个做出来
3月16日下午消息，百度于北京总部召开新闻发布会，主题围绕新一代大语言模型、生成式AI产品文心一言。百度创始人、董事长兼首席执行官李彦宏出席及百度首席技术官王海峰出席，并展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。
从现场展示来看，文心一言某种程度上具有了对人类意图的理解能力，回答的准确性、逻辑性、流畅性都逐渐接近人类水平。但李彦宏也多次提及，这类大语言模型还远未到发展完善的阶段，进步空间很大，未来这段时间它一定会飞速发展，日新月异。
百度同时公布了文心一言的邀请测试方案。3月16日起，首批用户即可通过邀请测试码，在文心一言官网体验产品，后续将陆续开放给更多用户。此外，百度智能云即将面向企业客户开放文心一言API接口调用服务。3月16日起正式开放预约，搜索“百度智能云”进入官网，可申请加入文心一言云服务测试。
目前，大语言模型和生成式AI代表了一个新技术范式，是全球每家企业都不可错过的机会。百度文心一言定位于人工智能基座型的赋能平台，将助力金融、能源、媒体、政务等千行百业的智能化变革。李彦宏表示：“百度希望和大家一起，推动人工智能技术进步，让所有人都能使用最先进的生产力工具，让所有人都能从中受益。”
发布会现场，李彦宏展示了文心一言在五个使用场景的表现，包括文学创作、商业文案创作、数理推算、中文理解和多模态生成。
在文学创作场景中，文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结，并提出了五个续写《三体》的建议角度，体现出对话问答、总结分析、内容创作生成的综合能力。
此外，文心一言准确回答了《三体》作者、电视剧角色扮演者等事实性问题。生成式AI在回答事实性问题时常常“胡编乱造”，而文心一言延续了百度知识增强的大模型理念，大幅度提升了事实性问题的准确率。
在商业文案创作场景中，文心一言顺利完成了给公司起名、写Slogan、写新闻稿的创作任务。
连续三次内容创作生成中，文心一言既能准确理解人类意图，又能清晰地表达，这是基于庞大数据规模而发生的“智能涌现”。文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据，以及5500亿事实的知识图谱等。
文心一言还具备了一定的思维能力，能够学会数学推演及逻辑推理等相对复杂任务。面对“鸡兔同笼”这类锻炼人类逻辑思维的经典题，文心一言能理解题意，并有正确的解题思路，进而像学生做题一样，按正确的步骤，一步步算出正确答案。
文学创作、商业文案创作、数理推算是大语言模型常见的优势和能力，在此基础上，文心一言还表现出更优秀的中文理解及多模态生成能力。
在现场展示中，文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论，还用“洛阳纸贵”四个字创作了一首藏头诗。
多模态生成方面，李彦宏现场展示了文心一言生成文本、图片、音频和视频的能力。有趣的是，文心一言甚至能够生成四川话等方言语音；文心一言的视频生成能力则因成本较高，现阶段还未对所有用户开放，未来会逐步接入。
“多模态是生成式AI一个明确的发展趋势。”李彦宏表示，“未来，随着百度多模态统一大模型的能力增强，文心一言的多模态生成能力也会不断提升。”
从文心一言的表现看，某种程度上它具有了对人类意图的理解能力，回答的准确性、逻辑性、流畅性都逐渐接近人类水平。但整体而言，这类大语言模型还远未到发展完善的阶段，有赖于通过真实的用户反馈而逐步迭代。
王海峰表示，文心一言，是新一代知识增强大语言模型，是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术，ERNIE和PLATO中也已经有应用和积累，在文心一言中又有了进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。
李彦宏强调：“文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮，效果会迅速提升，给你‘士别三日，当刮目相看’的惊喜。”
李彦宏称，目前百度是全球大厂中第一个做出对标ChatGPT产品的企业。李彦宏指出：“无论是哪家公司，都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理，需要多年的坚持和积累，没法速成。”
可以说，文心一言是百度过去多年努力的延续。人类进入人工智能时代，IT技术的技术栈发生了根本性变化，从过去三层到“芯片-框架-模型-应用”四层。今天，百度是全球为数不多、在这四层进行全栈布局的人工智能公司，从高端芯片昆仑芯，到飞桨深度学习框架，再到文心预训练大模型，到搜索、智能云、自动驾驶、小度等应用，各个层面都有领先业界的自研技术。
李彦宏认为，百度AI全栈布局的优势在于，可以在技术栈的四层架构中实现端到端优化，大幅提升效率。尤其是框架层和模型层之间，有很强的协同作用，可以帮助构建更高效的模型，并显著降低成本。事实上，超大规模模型的训练和推理，给深度学习框架带来了很大考验。比如，为了支持千亿参数模型的高效分布式训练，百度飞桨专门研发了4D混合并行技术。
自2月份百度官宣“文心一言”以来，已有超过650家企业宣布接入文心一言生态。
李彦宏预测，大语言模型将带来三大产业机会。
第一类是新型云计算公司，其主流商业模式从IaaS变为MaaS。文心一言将根本性地改变云计算行业的游戏规则。之前企业选择云厂商更多看算力、存储等基础云服务。未来，更多会看框架好不好、模型好不好，以及模型、框架、芯片、应用这四层之间的协同。
文心一言将通过百度智能云对外提供服务，帮助企业构建自己的模型和应用，农业、工业、金融、教育、医疗、交通、能源等重点领域，都会因此效率大幅提升，并在每一个行业快速形成新的产业空间，助力数字中国的实现。李彦宏预告称，百度智能云将于近期举办新闻发布会，主题围绕文心一言的云服务和应用产品，既有公有云服务和也可以做私有化部署。
第二类是进行行业模型精调的公司，这是通用大模型和企业之间的中间层，他们可以基于对行业的洞察，调用通用大模型能力，为行业客户提供解决方案。这方面，百度文心大模型已经在电力、金融、媒体等领域，发布了10多个行业大模型。
第三类是基于大模型底座进行应用开发的公司，即应用服务提供商。李彦宏断言，对于大部分创业者和企业来说，真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型，这很不现实，也不经济。基于通用大语言模型抢先开发重要的应用服务，这可能才是真正的机会。目前，基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景，已经涌现出很多创业明星公司，可能就是未来的新巨头。
“我们相信，人工智能会彻底改变我们今天的每一个行业。AI的长期价值，对各行各业的颠覆性改变，才刚刚开始。未来，将会有更多的杀手级应用、现象级产品出现，将会有更多的里程碑事件发生。”李彦宏说道。
百度今日在北京总部召开新闻发布会，百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰出席，李彦宏展示新一代知识增强大语言模型文心一言在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成五个使用场景中的综合能力，王海峰解读了文心一言的技术特性及其背后的技术积累。
在人工智能时代，IT技术栈可分为“芯片层、框架层、模型层、应用层”四层，百度称，其自2010年起开始全面布局人工智能，是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用，百度在技术栈的各层都有领先业界的关键自研技术，实现了层与层反馈，端到端优化，提升效率。
在框架层，飞桨是百度自主研发的中国首个开源开放的产业级深度学习平台，包括核心框架、产业级模型库、开发套件、工具组件，以及学习和实训社区，能够标准化、自动化地支撑模型生产和应用。
在模型层，文心大模型包括NLP、CV、跨模态等基础大模型，对话、跨语言、搜索、信息抽取等任务大模型，生物计算领域大模型，行业大模型，以及支撑大模型应用的工具平台，形成了基础-任务-行业三级大模型技术体系，具备知识增强和产业级两大特色。
王海峰认为，文心一言是百度多年技术积累和产业实践的水到渠成，尤其是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。飞桨有效支撑了大模型的灵活开发、高效训练和推理部署。文心大模型从2019年发布以来，已经从最初的自然语言理解大模型，发展成了跨语言、跨模态、跨任务、跨行业的能力完备的大模型平台。
文心一言是新一代知识增强大语言模型，也是百度继文心一格之后的又一个生成式AI产品，具备对话交互、内容创作、知识推理、多模态生成等能力。
王海峰表示，新一代知识增强大语言模型文心一言，是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术，ERNIE和PLATO中已经有应用和积累，在文心一言中又有了进一步强化和打磨；后三项则是百度已有技术优势的再创新，也是文心一言未来越来越强大的基础。
在知识增强方面，文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化，是从大规模知识和无标注数据中，基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中；知识外用，是引入外部多源异构知识，做知识推理、提示构建等等。
在检索增强方面，文心一言的检索增强，来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，更好地满足用户需求。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，实现更好的对话连贯性、合理性和逻辑性。
百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景，并建立起人类反馈、奖励模型和策略优化之间的飞轮机制，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。文心一言融合不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
王海峰强调，飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练，飞桨动静统一的开发范式，以及自适应分布式架构，可以实现大模型的灵活开发和高效训练。在推理部署方面，飞桨支持大模型高效推理，并提供服务化部署能力，包括计算融合、软硬协同的稀疏量化、模型压缩等等。如今，飞桨平台已凝聚535万开发者，服务20万企事业单位，基于飞桨创建了67万个模型。