目前,文心产业级知识增强大模型已经具备了理解、生成、逻辑、记忆等四方面的能力。
关于它们的获取方式,我们可以以文心一言为例来了解一些情况。
首先,文心一言通过融合学习数万亿数据和数千亿知识得到了预训练大模型。在这基础上,它采用了有监督精调、人类反馈强化学习和提示等技术,同时还拥有知识增强、检索增强和对话增强等技术优势。
此外,通过多种策略来优化数据源和数据分布,进行基础模型的长文建模,实施多类型多阶段的有监督精调,以及多任务自适应有监督精调等技术创新,全面提升了基础通用能力。
在已有的检索增强和知识增强的基础上,文心一言还通过加强知识点,提升了对世界知识的掌握和应用能力。它还通过构建大规模逻辑数据、逻辑知识建模,以及多粒度语义知识的组合,借助符号神经网络来增强逻辑能力。通过建立全面的数据、内容、模型和系统安全体系,也确保了大模型的安全性。
正因如此,自从文心一言在3月份开放测试以来的短短5个月里,技术和应用效果都取得了显著提升。
在本次大会中,吴甜也宣布了一组数据:
在过去的5个月里,文心一言的成长迅速,已经熟练掌握了超过200种创作体裁。其内容丰富度是初始发布时的1.6倍,为用户提供了更丰富、更有深度的文案书写。另一个令人欣喜的能力是大语言模型的逻辑思考能力。通过提升思维链的长度,目前的“文心一言”的思维链长度已经是初始发布时的2.1倍,这使得其思考过程更加深入。同时,通过增强知识点的涵盖,使得在为用户提供帮助时拥有更广阔的思维,现在的知识点覆盖已经达到了初始发布时的8.3倍。