关键字: [出海日城市巡展, Bedrock, 生成式Ai金融应用, 检索增强生成架构, 财报信息抽取, 知识库向量化, 行业场景适配]

本文字数: 1900, 阅读完需: 10 分钟

导读

在这场金融行业论坛上,演讲者介绍了生成式AI在金融行业的应用及思考。演讲重点阐述了生成式AI在金融行业的四大主要应用场景:智能客服、广告文案图像生成、文档信息抽取和内部知识检索、财报分析等。演讲还探讨了金融行业对生成式AI的四类需求:面向业务人员的现成解决方案、面向业务开发人员的Prompt Engineering和RetrievalAugmentedGeneration、面向算法人员的模型微调、面向算法团队的模型预训练。其中,RetrievalAugmentedGeneration(RAG)架构在金融行业应用广泛,可实现实时信息检索和生成,但工程实践复杂,需要解决财报解析、标的解析、Embedding向量选择等挑战。亚马逊云科技可为客户提供Embedding向量数据库、大语言模型Bedrock、Agent能力等支持,并分享RAG架构的最佳实践。

演讲精华

以下是小编为您整理的本次演讲的精华，共1600字，阅读时间大约是8分钟。

亚马逊云科技(AWS)作为全球领先的云服务商,在金融行业服务了众多客户。这些客户覆盖了银行、保险、资本市场、支付行业等细分领域,可谓是金融行业的主要赛道。除了行业内的客户外,一些监管机构如美国金融业监管机构也是亚马逊云科技的用户。

在银行领域,亚马逊云科技的客户包括数据供应商Refinitiv及其母公司伦敦证交所集团。在资本市场,亚马逊云科技服务了包括知名在线经纪商Robinhood在内的多家经纪商客户,国内也有不少在线经纪商选择使用亚马逊云科技的服务。量化对冲基金(Quant Hedge Fund)和私募基金也是亚马逊云科技的合作伙伴,获得亚马逊云科技的服务支持。公募基金和风投/私募股权(VC/PE)公司同样是亚马逊云科技在金融行业的客户群体。

去年以来,生成式人工智能(Generative AI)成为人工智能领域的一大热门话题。尽管生成式AI属于机器学习的一个分支领域——自然语言处理(NLP),但它在2022年出现了爆发式增长。虽然机器学习技术早已兴起,但亚马逊云科技一直在与客户合作,不断创新机器学习应用,并邀请客户在亚马逊云科技年度盛会re:re:Invent上分享创新实践和最佳经验。

生成式AI在金融行业可分为四类主要应用场景:智能客服、广告文案/图像生成、文档信息提取和内部知识检索、财报分析等。以智能客服为例,亚马逊云科技观察到很多面向个人客户(ToC)的金融客户在2022年底生成式AI模型GPT推出之初,就迅速跟进并在智能客服领域积累了先进实践。他们利用生成式AI的文本生成和图文生成能力,为智能客服系统提供图文并茂的应用体验。

广告文案和图像生成是另一个应用场景。除了文本生成(text-to-text)外,生成式AI还可以实现文本生成图像(text-to-image)和图像生成图像(image-to-image)等能力。亚马逊云科技有客户正在探索利用生成式AI自动生成广告文案和创意图像,以节省人力成本。

文档信息提取和内部知识检索则与生成式AI的检索增强生成(Retrieval Augmented Generation,RAG)架构密切相关。财报分析是金融行业一个富有特色的应用场景,通过分析财报可以生成相关报告和见解。文档自动生成和代码生成虽然跨行业通用,但同样可以提高金融行业的工作效率。

金融行业对信息准确性和时效性要求很高,这对通用大语言模型带来挑战。以财报分析为例,提取的财报数据、实体名称、关键指标等不允许有任何错误。另外,在智能客服场景下,客户可能会询问某只证券的实时价格等实时信息,通用大语言模型难以满足这一需求。因此,金融行业在采用和适配大语言模型时,工程实践的难度会高于其他行业如电商、游戏等。

为更好地满足金融行业的特殊需求,亚马逊云科技推出了Bedrock服务。Bedrock是一种全托管的大语言模型服务,囊括了多种大语言模型和工程实践方案,旨在为客户提供更全面的支持。目前Bedrock已上架的模型包括亚马逊云科技自研的Amazon Titan模型,以及来自合作伙伴的多种模型。

另外,亚马逊云科技还与StabilityAI合作,为文本生成图像(text-to-image)和图像生成图像(image-to-image)等场景提供支持。与StabilityAI合作的还有Jericho 2模型,拥有出色的翻译和文本摘要能力,可以提高写作效率。

除了Bedrock之外,亚马逊云科技在SageMaker JumpStart上还提供了更多种类的大语言模型选择,客户可以根据需求自行进行模型微调或从头预训练模型。

在金融场景中,客户常需要检索实时行业信息,如某只证券的实时价格。通用大语言模型由于训练窗口期的限制,无法满足这一需求。为解决这个问题,需要采用RAG(Retrieval Augmented Generation)架构。

RAG架构的工作原理是:首先将相关文本(如财报、新闻等)映射为向量;当用户提出查询时,将查询也映射为向量,并根据向量距离在文本向量库中召回最相关的文档段落;最后由大语言模型对这些段落进行优化、润色和编排,生成自然语言回复。

RAG架构涉及诸多复杂的工程实践。以财报为例,需要解决PDF解析、实体名称映射等问题。财报格式多种多样,有的是标准PDF,有的则掺杂了图表等非结构化信息,给解析带来挑战。解析出的实体名称也可能存在歧义,需要进一步映射以确保准确性。

此外,对于长文本和短文本,embedding模型的选择也不尽相同。长文本需要更高维度的embedding模型,而短语可以使用低维模型。召回策略同样需要根据场景权衡,有些可以用传统的倒排索引,有些则需要基于embedding的nearest neighbor召回。

亚马逊云科技为客户提供了多种支持,包括embedding向量数据库的架构选择、大语言模型的支持(如Bedrock)、对话模型(Agent)的支持等。亚马逊云科技也积累了在PDF提取、追踪、embedding模型选择等方面的最佳实践,愿意与客户分享探讨。

总的来说,RAG架构在金融行业的应用场景非常广泛,但工程复杂度也很高。相比而言,FAQ(问答对)场景和只需回答一般性查询的智能客服场景,工程复杂度则相对较低,因为它们更多依赖大语言模型的生成能力,对实时行业数据的需求不太强。

亚马逊云科技服务了众多在RAG场景下的客户,如老虎证券的GPT应用、长桥资本的多模态对话系统等,他们都在处理复杂的财报、公告等文档,并利用智能检索技术为用户提供服务。这些客户正处在RAG实践的前沿,所面临的工程难度很大。

相比之下,一些内部客户在FAQ场景下的实践则相对简单。但即便如此,亚马逊云科技在提示工程(Prompting)方面也发现了一定的复杂度,需要与客户深入探讨。

除了RAG架构之外,亚马逊云科技在模型微调和模型预训练方面也为算法人员和算法团队提供了支持。亚马逊云科技拥有自研的训练芯片和推理芯片,具有优秀的性价比。对于成熟的模型,客户可以考虑使用亚马逊云科技的推理芯片进行推理,以获得更高的性价比,而训练过程则可能仍需使用传统GPU。

以字节跳动为例,它就使用了亚马逊云科技的推理芯片进行推理。亚马逊云科技也有很多客户在评估使用亚马逊云科技芯片进行大规模推理,以降低推理成本。

综上所述,生成式AI在金融行业的应用需要结合行业特点进行大量的工程适配,涉及数据处理、模型选择、系统架构等多个环节,这使得工程复杂度高于其他行业。亚马逊云科技不仅提供了Bedrock等生成式AI服务,还有数据存储、大数据分析、数据仓库等一整套产品支持整个机器学习流程。

同时,亚马逊云科技拥有解决方案架构师、AI实验室、快速应用开发团队、专业服务团队、培训认证团队等多支队伍,可以通过原型开发、咨询、专业服务等多种方式,与客户紧密合作,共同探索生成式AI在金融行业的应用实践,推动金融行业的创新。

总结

亚马逊云科技(AWS)作为全球领先的云服务商,在金融行业拥有众多客户,包括银行、保险、资本市场和支付行业等。随着生成式人工智能(AI)的兴起,亚马逊云科技总结出了四大主要应用场景,其中金融行业的特色应用包括智能客服、财报分析等。

金融行业对信息准确性和时效性要求极高,因此适配大语言模型的工程实践难度高于其他行业。亚马逊云科技推出了Bedrock服务,囊括了多种大语言模型和工程实践,以满足不同场景的需求。其中,RetrievalAugmentedGeneration(RAG)架构可以实时检索相关信息,并由大语言模型进行优化和润色,在金融行业有广泛应用前景。

亚马逊云科技不仅提供了Embedding向量数据库、大语言模型等基础产品,还积累了诸如PDF解析、标的映射等最佳实践,愿意与客户探讨并提供端到端的咨询支持。总的来说,生成式AI在金融行业的应用需要复杂的工程实践,亚马逊云科技正在为此做好充分准备。