原标题：生成式AI在金融行业的应用及思考

关键字: [亚马逊云科技出海日2024, 生成式Ai金融应用, 企业内部知识库, 大模型微调训练, 数据集成治理, 人工智能落地工程]

本文字数: 2400, 阅读完需: 12 分钟

导读

张呈刚先生在2024年亚马逊云科技出海日上做了题为”生成式AI在金融行业的应用及思考”的演讲。在这个演讲中,他讨论了生成式AI在金融行业的应用场景和挑战;具体解释了金融行业对生成式AI的应用有很多机会,如智能客服、金融文本处理、内部知识库问答等,但也面临着监管合规、数据隐私、可解释性等挑战。演讲重点阐述了亚马逊云科技如何通过ByteRock、SageMaker等服务,以及合作伙伴生态系统,帮助金融机构实现生成式AI在提高效率、降低成本、创新产品等方面的价值。这是一场由亚马逊云科技举办的演讲。

演讲精华

以下是小编为您整理的本次演讲的精华，共2100字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

生成式人工智能在近年来迅速崛起,引发了广泛关注和热议。在这场由亚马逊云科技金融行业架构师团队负责人张呈刚先生主讲的演讲中,他全面深入地探讨了生成式人工智能在金融行业的应用现状、挑战和机遇,并分享了亚马逊云科技为企业提供的全方位支持和解决方案。

张呈刚一开始就指出,2022年底ChatGPT的出现给人们带来了惊喜,展现了其在理解语义和生成内容方面的出色能力,使生成式人工智能的应用范围得到极大扩展。他形象地比喻说,与之前的深度学习技术主要应用于判定式人工智能(如分类、判断等)不同,生成式人工智能更像是一种开放式的问答,可以根据提示生成丰富的内容,就像我们在学生时代写作文一样。

接着,张呈刚阐述了金融行业作为一个数字化程度很高的行业,在生成式人工智能方面做了很大推进。他指出,传统金融行业是一个数据密集型行业,拥有大量数据沉淀,为生成式人工智能的应用提供了良好基础。同时,金融行业也面临一些特殊挑战。作为一个强监管行业,监管机构对生成式人工智能的应用持审慎态度,尤其是涉及向客户提供投资建议等场景,要求高度的可解释性。然而,生成式人工智能和深度学习技术本身就存在一定的”黑箱”特性,很难完全解释其内部工作原理,这就造成了一定的困难。另外,金融行业对数据隐私性有严格要求,而大模型训练通常需要大量数据,如何在保护数据隐私的同时获取足够的训练数据也是一个挑战。

尽管如此,张呈刚还是列举了金融机构在生成式人工智能领域的一些应用场景。其中,欺诈检测是一个典型场景。以加密货币交易所Coinbase为例,它面临着大量欺诈行为,生成式人工智能可以帮助识别和防范这些欺诈活动。另一个常见场景是客户服务,生成式人工智能可以用于智能客服系统,提高客户服务的效率和质量。

金融文本处理也是生成式人工智能的重要应用领域。金融行业中存在大量文本数据,如研报、财报等,传统上更多是对这些文本进行识别和理解。但现在,生成式人工智能使自动生成研报等内容成为可能。事实上,张呈刚提到,一些券商App上已经开始使用生成式人工智能根据收盘情况和个股涨跌自动生成相关内容。

智能投顾是另一个值得关注的场景,但也是一个相对敏感的领域。由于涉及向客户提供投资建议,监管要求很高,可解释性是关键。因此,虽然一些金融机构正在尝试智能投顾,但进展相对滞后。

除了这些金融特有的场景,张呈刚还提到了一些通用场景,如市场营销活动物料生成、企业内部知识库问答等,这些场景在金融行业也有广泛应用。

值得一提的是,张呈刚强调了多模态场景在金融行业的应用趋势。传统的人机交互方式是文本,但现在人们越来越倾向于使用图像、语音等多模态方式与生成式人工智能进行交互,这给金融行业带来了新的机遇和挑战。

为了满足金融行业的特殊需求,一些金融机构和科技公司开始推出行业特定的大模型。例如,彭博社(Bloomberg)推出了一个500亿参数的金融大模型,使用了一半公开语料和一半金融语料进行训练,旨在更好地理解金融术语和场景。老虎证券在其券商App中集成了TagGPT模型,为客户提供金融问答服务。长桥证券则在其社区中推出了PortAI,允许用户通过对话的方式与之互动。另外,还有一家海外公司BroadRidge推出了专门面向债券领域的BondGPT模型,支持语音交互和图像生成等功能。

这些行业特定的大模型虽然参数规模可能不及通用大模型,但由于专注于金融领域,在理解金融术语和场景方面表现出色,更符合金融机构的需求。不过,张呈刚也指出,目前还处于”千模大战”的时期,没有一个明确的胜出者,各大模型在不同场景下表现不尽相同,企业需要根据自身需求进行选择。

针对企业在采用生成式人工智能时可能扮演的不同角色,张呈刚进行了分析和介绍。他将企业分为四种角色:Buyer(买家)、Builder(构建者)、Model Consumer(模型消费者)和Model Tuner(模型调优者)以及Model Builder(模型构建者)。

Buyer角色指的是那些不愿意深入参与技术细节,只希望获得一个交钥匙的解决方案的企业。这类企业通常是相对传统的金融机构,他们更倾向于采购的模式,只关心最终的业务场景,而不关心底层使用了什么大模型或技术工具。对于这类客户,张呈刚表示,亚马逊云科技不仅提供云服务和大模型,还有专业服务团队、合作伙伴生态系统(包括ISV软件供应商、SI系统集成商等)等,可以深入了解客户需求,并提供从原型开发到最终落地的一站式服务。他强调,落地生成式人工智能解决方案是一个复杂的系统工程,需要深入了解企业的业务场景、整合各种工具和数据源、处理安全合规等诸多问题,光有大模型是远远不够的。

Builder角色则指那些愿意亲自参与构建和调优生成式人工智能解决方案的企业。在这一大类中,张呈刚进一步细分为三个小类:Model Consumer(模型消费者)、Model Tuner(模型调优者)和Model Builder(模型构建者)。

Model Consumer是最基础的一类,它们不会自己训练大模型,而是直接消费现有的大模型。在这一领域,张呈刚重点介绍了两种技术路线:提示词工程(Prompt Engineering)和检索增强生成(Retrieval-Augmented Generation,RAG)。

提示词工程指的是通过精心设计的提示词,引导大模型生成所需的输出。这种方式相对简单,但需要一定技巧来获得理想的结果。而RAG技术则是将企业内部的知识库作为大模型的补充,在回答问题时,先通过向量检索找到相关的知识片段,再结合这些片段和问题一起提交给大模型,从而减少幻觉和错误回答的风险。张呈刚指出,RAG技术是目前企业落地场景中使用最多的一种方式,不仅适用于对内场景(如员工问答、会议纪要生成等),也适用于对外场景(如智能客服、保险问答等)。但他也强调,RAG场景的落地并不简单,需要处理企业内部各种异构数据源、权限控制等诸多工程问题,这就需要利用亚马逊云科技的数据服务,如全面的数据库产品线、LakeFormation(数据集成)、DataZone(数据治理)等。

Model Tuner角色则是指那些不满足于现有大模型能力,希望通过自己的数据对大模型进行微调的企业。这种方式的技术难度更高,需要掌握相关算法,并拥有足够的算力资源(如GPU)。在这一领域,张呈刚着重介绍了亚马逊云科技提供的算力解决方案,包括专门针对AI训练和推理优化的定制芯片Trainium和Inferentia。他提到,Trainium芯片可以用于训练数千亿至数万亿参数的大模型,而Inferentia则在性能和性价比方面都有很大提升。例如,字节跳动团队在使用Inferentia芯片后,相比使用GPU,性能和性价比都得到了大幅提升。张呈刚还介绍了亚马逊云科技的SageMaker和ByteRock等平台级服务,可以方便地进行模型微调和训练,提供了诸如分布式集群管理、断点保存等功能。

Model Builder角色是难度最高的一类,指的是那些希望自己从头预训练大模型的企业。这通常需要拥有强大的算法团队和大量的差异化数据。在这一领域,张呈刚强调了企业数据底座的重要性,包括数据的全面性(覆盖结构化和非结构化数据)、数据集成(打通数据孤岛)和数据治理(源数据管理、合规、脱敏等)。他介绍了亚马逊云科技在这些方面提供的各种数据服务和解决方案,如全面的数据库产品线、LakeFormation(数据集成)、DataZone(数据治理)等。

无论企业扮演何种角色,张呈刚都强调,生成式人工智能在企业级落地绝不仅仅是一个大模型的问题,而是一个系统工程,需要解决”最后3公里”的诸多挑战。这包括数据工程、模型调优、工具链集成、UI开发等,需要机器学习专家、UI开发人员、合规专家等多方面人才的参与。

为此,亚马逊云科技提供了全方位的支持和服务。除了云服务和大模型,还有解决方案架构师团队、产品专家团队、人工智能实验室(拥有几十名博士)、快速原型开发团队、专业服务团队和培训认证团队等,可以为企业提供架构设计、产品创新、联合创新、原型验证、专业服务和人才培养等多方面支持。

张呈刚最后总结道,生成式人工智能在企业级落地是一个系统工程,需要解决”最后3公里”的诸多挑战,包括数据工程、模型调优、工具链集成、UI开发等,需要机器学习专家、UI开发人员、合规专家等多方面人才的参与和支持。只有通过全方位的努力,才能真正实现生成式人工智能在企业中的落地应用。

总的来说,这场演讲全面介绍了生成式人工智能在金融行业的应用现状、挑战和机遇,深入分析了企业在采用生成式人工智能时可能扮演的不同角色,并详细介绍了亚马逊云科技为不同角色提供的工具、服务和支持。张呈刚的分享为相关企业提供了很好的指导和建议,有助于他们更好地把握生成式人工智能的发展趋势,制定合理的技术路线,实现生成式人工智能的企业级落地。

下面是一些演讲现场的精彩瞬间：

金融科技公司在全球范围内广泛使用亚马逊云科技服务,包括传统银行、证券公司、基金公司、期货公司、交易所,以及新兴的金融科技公司。

大模型帮助企业打通内部数据孤岛,提高工作效率,如自动生成会议纪要、安排会议时间等。

彭博社率先推出金融大模型,引领金融行业大模型浪潮

老虎证券和长桥证券推出了基于大模型的智能投顾服务,为投资者提供金融咨询和市场行情分析。

亚马逊云科技不仅提供云平台和服务,还拥有大模型生态系统,并与客户合作进行创新和快速原型开发。

亚马逊网络服务公司领导人强调,企业必须建立系统化的培训和认证机制,以跟上技术发展的步伐,并培养员工的技能。

总结

生成式人工智能(Generative AI)在金融行业引发了广泛关注和应用探索。金融行业作为数字化程度较高的行业,具有丰富的数据积累和场景需求,为生成式AI的应用提供了良好契机。然而,金融行业也面临着监管合规、数据隐私和模型可解释性等挑战。

金融机构在采用生成式AI时,可分为”Buyer”和”Builder”两大类型。“Buyer”类型机构倾向于采购整体解决方案,而”Builder”类型机构则更加主动地参与模型选择、调优和训练。在”Builder”类型中,又可细分为”Model Consumer”、“Model Tuner”和”Model Builder”三种角色,对应着不同的技术深度和投入程度。

生成式AI在金融行业的应用场景包括:金融文本处理(如研报生成)、智能客服、营销物料生成、内部知识库问答等。其中,检索增强生成(RAG)是目前最常见的落地方式,通过将企业内部知识库与大模型结合,提高了答复的准确性和相关性。

要真正实现生成式AI在企业级场景的落地,需要解决数据工程、模型调优、工具链集成、UI开发等”最后3公里”的挑战。企业需要具备算力资源、差异化数据、数据治理能力,并与云服务提供商、解决方案架构师、AI专家等多方合作,共同推进生成式AI的创新应用。

总的来说,生成式AI为金融行业带来了新的机遇,但也面临着诸多挑战。企业需要全面考虑技术、数据、人才、合规等多个层面,通过与合作伙伴的紧密协作,才能真正释放生成式AI在金融行业的巨大潜力。