DoNews7月6日消息,7月6-8日,以“智联世界 生成未来”为主题的第六届世界人工智能大会(WAIC2023)在上海举办。百度CTO王海峰在会上首次披露了飞桨深度学习平台最新数据。据王海峰现场透露,截至目前,飞桨已凝聚750万名开发者。
百度自2010年起全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到人工智能应用,百度在AI四层技术栈的各层都有布局。
其中,飞桨深度学习平台位于框架层,向上支撑大模型生产,提高模型部署效率和灵活性,向下适配各类硬件,提高硬件适配效率和降低成本。
文心大模型是飞桨模型库的重要组成部分,以创新性的知识增强技术为核心。经过飞桨与文心大模型的协同优化,最新升级的文心大模型3.5的模型效果提升50%,训练速度提升2倍,推理速度提升30倍。
3月,百度发布大语言模型文心一言。文心一言是知识增强的大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。
王海峰解读了文心大模型3.5的核心技术创新,在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。
同时,创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。
在知识增强和检索增强基础上,文心大模型3.5提出了“知识点增强技术”,对用户输入的查询、问题等进行分析理解,解析出生成答案所需要的相关知识点,之后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后再用这些知识点构造输入给大模型的提示,为大模型注入更具体、更详细、更专业的知识点,显著提升大模型对世界知识的掌握和运用。
在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
现场王海峰展现了文心一言在办公、会议、编码等场景的应用,文心一言成为工作中的“超级助理”,帮助总结工作沟通要点,实时记录会议内容,形成会议议题、摘要及总结等关键信息,可以通过各类插件完成指令任务,包括查询日程、创建会议、设置待办、申请休假等,也可以在工程师编码过程中自动推荐和生成代码。据悉,目前这些功能已通过智能工作平台“如流”应用于百度的工作流程中,帮助提升工作效率,提高决策质量。
王海峰表示,凡是要跟语言文字或程序代码打交道的应用场景,都可能有文心一言的用武之地。已经有很多在积极应用文心一言的场景,例如能源、金融、教育、办公、媒体,等等。在文心一言这类大模型产业落地的进程中,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。