当前位置:首页|资讯|ChatGPT

让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低

作者:36氪发布时间:2023-12-21

原标题:让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低

自ChatGPT引爆全球AI浪潮以来,AI圈子已经迅速走过了造出了通用大模型的第一道关卡,如今最关键的问题在于——如何让大模型高效地在实际应用场景中落地?

百川智能的最新实践是:用大模型+增强技术,可以大大提升企业应用大模型的效率。

现在,全球大模型领域都在“开卷”长文本,这是目前大模型能否落地更多场景的关键一步。10月,百川就发布发布最新的长窗口模型Baichuan2-192k,意味着能够处理约35万个汉字,是OpenAI旗下GPT-4的14倍,“长文本专家”Anthropic旗下Claude2大模型的4.4倍。

而在12月19日,百川智能宣布正式推出基于搜索增强的Baichuan2-Turbo系列API,包含Baichuan2-Turbo-192K及Baichuan2-Turbo。

目前,百川智能已经升级了官网模型。企业用户可以在API中上传公司的PDF、Word等多种文本上传以及URL网址,即可体验搜索增强和长窗口加持后的Baichuan2大模型。

给大模型“外挂硬盘”,秒建公司知识库

百川智能认为,大模型是新时代的计算机,就如同中央处理器一样;而上下文窗口可以看做计算机的内存,存储了当下正在处理的文本。互联网实时信息与企业完整知识库,则共同构成大模型时代的硬盘。

而基于搜索增强技术推出的API系列,用百川智能CEO王小川的话来说:

“就像硬盘一样,让大模型可以挂上外部知识库。”

大模型成为AI时代的基础设施底座,已成为行业不少人的共识。不过,大模型的技术探索仍在早期,尽管模型参数变大,但还有许多问题尚待解决——“胡说八道”的幻觉问题,以及“记不住上一句问了什么”的对话窗口问题等等,都极大限制了大模型能够发挥出的效能。

但是,基于大模型+搜索增强这一路线之后,大模型的可用性可以有效提升——想要让大模型记得上一回合讲了什么,不需要通过扩大参数、使用更多算力来重读文本。“长窗口本身越大,它的性能会越低。因此如何用更好的搜索降低长窗口的负担,这个也是长窗口搜索要做好的工作。”王小川表示。

现在,哪怕基于参数没那么大的模型,模型单次获取的文本量级大大提高,并且速度也能大大提升。

Baichuan-192k API效果到底如何?百川智能展示了长文本领域的经典测试“大海捞针”的结果:

“大海捞针”测试(Needle in the Heystack)是由海外知名AI创业者兼开发者Greg Kamradt设计的,业内公认最权威的大模型长文本准确度测试方法。

简单而言,这一测试是将一段信息放在一段长文本中的任意位置,检测大模型的回答准确率如何。

△“大海捞针”压力测试图

目前,对于192k token以内的请求,百川智能可以实现100%回答精度。“我们的长窗口能够做到全绿,相当于能完全不遗漏地把192k里的信息全部召回。”王小川表示。

并且,结合搜索系统,Baichuan-2能够获取的原本文本规模提升了两个数量级,达到5000万tokens,相当于35万汉字的规模。

百川智能分别测评了纯向量检索和稀疏检索+向量检索的检索的效果。测试结果显示,稀疏检索+向量检索的方式可以实现95%的回答精度。在文本总量提升大概250倍的情况下,其召回精度可达95%。

△在中文场景下的长文本测试

本次测试,百川智能使用中文场景,实验配置如下:

大海(HayStack):博金大模型挑战赛-金融数据集中的80份长金融文档。

针(Needle):2023 年 12 月 16 日,在极客公园创新大会 2024 的现场,王小川进一步分享了大模型的新思考。在王小川看来,大模型带来的新的开发范式下,产品经理的出发点,应该从思考产品市场匹配(PMF),到思考技术与产品的匹配怎么做,即 TPF(Technology Product Fit,技术产品匹配)。

查询问题:王小川认为大模型时代下,产品经理的出发点是什么?

总而言之,这次的发布相当于让大模型的运行速度和精度都再进一步。大模型即使再加长窗口,也能做到数据更新、更快、更准、更全的召回,还能够远远比做行业模型的成本要低。

大模型做定制,不等于项目化

除了新的API系列外,本次发布中,百川也发布了另一项功能:百川搜索增强知识库。使用过程也很简单:企业从私有化部署到云端把自己的知识上传到其中,即可生成一个一个外挂的系统,跟Baichuan2系统对接——相当于每个企业可以定制自己的硬盘,做到即插即用。

API和增强知识库的推出,最直观的落地效果是,模型比原先长窗口处理速度更快,成本更低。

如今的Baichuan-2能够拓展到大量To B场景当中,例如金融、政务、司法、教育等行业的智能客服、知识问答、合规风控、营销顾问等场景。

在发布会现场,百川也展示了金融行业的知识库搜索场景。某银行的知识库总量有6T,共12905个文档,Baichuan2能够海量的知识库可以查找找到文档里的内容。将36万字的文档通过API输入到模型中,就能精确找到答案。

△百川现场展示投研信息提取和分析

可以说,大模型+搜索增强的方法,为以后大模型在行业落地提供了一条务实的路径。

企业知识库是现在大模型应用的主流场景。在以前,企业想要建一个企业知识库,需要通过预训练或者微调训练大模型,也需要比较高素质的AI人才。当底层的大模型数据每更新一次,都要重新训练或微调,成本也较为昂贵,且可控性和稳定性也很容易下降。

另外一点是,构建大模型知识库的主流方法是向量检索,但向量数据库应用成本也相对高昂,而向量模型的效果过于依赖训练数据的覆盖。在训练数据未覆盖的领域泛化能力会有明显折扣。用户Prompt和知识库中文档长度的差距,也会给向量检索带来了很大挑战。

针对这些问题,在推出大模型+搜索增强的过程中,百川智能也解决了一些技术难题,比如在通用RAG(检索增强生成)的技术基础上首创了Self-Critique大模型自省技术——以让大模型在输出答案之前“再自检”,给用户筛选出最优质的答案。

最终结果是,将搜索增强知识库和超长上下文窗口结合后,模型“接上外挂”,就可以连接全部企业知识库以及全网信息。可以替代绝大部分的企业个性化微调,解决99%企业知识库的定制化需求——企业要做定制化,成本可以大大降低。

王小川坦承,目前大模型在行业化中落地,客制化(Customized)是无法避免的,但可以通过技术的迭代,不断降低给客户交付的能力。“我们避免项目化,用产品化取代项目化。”他解释。

随着新模型和API系列发布,目前百川智能也正在快速推进商业化落地。百川智能透露,目前多个行业的头部企业已与百川智能达成合作。

👇🏻 扫码加入「智涌AI交流群」👇🏻

欢迎交流

欢迎交流


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1