关键字: [亚马逊云科技中国峰会2024, Bedrock, 生成式人工智能, 金融行业应用, 垂域大模型, 数据基座建设, 模型微调训练]

本文字数: 1800, 阅读完需: 9 分钟

导读

在”亚马逊云科技中国峰会2024”上,演讲者分享了生成式人工智能在金融行业的应用及思考。他讨论了如何利用生成式人工智能在金融行业的前中后台环节进行应用,具体解释了内部使用、智能客服、知识库构建、研报分析等应用场景,以及代码生成、多模态应用等。演讲重点关注了如何利用亚马逊云科技的大模型超市Bedrock、知识库增强(RAG)、模型微调和训练等服务,使金融机构能够获得差异化竞争优势、提高效率和用户体验。同时也指出了生成式人工智能在金融行业落地过程中可能面临的挑战,如工程实现、安全性、组织架构适配等,并介绍了亚马逊云科技提供的架构设计、原型开发、人才培养等全方位支持,帮助客户打通”最后三公里”。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。

生成式人工智能在金融行业的应用及思考一直是一个备受关注的热点话题。本次分享将从云厂商的视角出发,结合金融行业客户的实际落地情况,深入探讨生成式人工智能在金融行业的应用现状、需求框架以及一些值得思考的问题。

首先,让我们来看看生成式人工智能在金融行业的应用现状。内部使用场景是目前最容易落地的领域之一。许多企业都已经建立了大模型中台,允许员工尝试利用大模型提供辅助。对于技术人员而言,大模型可以辅助代码生成、测试用例生成等工作;对于业务人员,大模型则可以协助生成市场活动物料、宣传标语和图片等。此外,智能客服也是一个进展较为迅速的领域,不少金融机构已经在智能客服方面取得了一定的进展,如上海人寿等。

知识库构建是另一个受到广泛关注的场景。许多金融机构都在尝试将知识库向量化切片,并结合大模型来消除幻觉问题。然而,工程实现过程中存在诸多挑战,例如PDF切片、权限管理、检索排序算法等,这都需要解决相应的工程问题。不过,如果知识库采用FAQ形式,则相对容易落地。

在资本市场领域,生成式人工智能的应用进展相对更为迅速。一些证券公司和基金公司已经开始利用大模型进行研报分析、舆情分析和财报分析等工作,取得了不错的效果。值得一提的是,纳斯达克旗下一家子公司Verifing分享了他们如何利用人工智能进行反欺诈工作,而一些保险公司则分享了如何在保险全生命周期中应用人工智能,包括自动化的理赔等场景。

代码生成辅助也是一个值得关注的领域。除了代码补全和注释生成等传统场景外,一些运维人员还开始尝试通过对话的方式与大模型交互,实现所谓的ChatOps(对话式运维),根据监控指标和日志信息询问大模型是否存在异常等。在测试领域,一些企业开始利用大模型生成单元测试用例,以提高测试覆盖率。

多模态应用则是一个相对新兴的领域。目前,金融行业主要还是采用”业务加AI”的模式,将大模型应用于现有的业务流程和场景中。不过,也有一些金融机构开始探索会话式UI(COI),试图将App入口简化为对话框,通过自然语言与大模型交互,提高用户体验。不过,真正的AI Native场景在金融行业内还相对较少。

除了上述应用场景外,生成式人工智能在金融行业还催生了一些垂直领域的大模型。2022年11月,OpenAI推出的ChatGPT引发了行业的热潮,此后不久,彭博社就推出了BloombergGPT,这是一个使用约一半金融语料训练的500亿参数大模型,在翻译、命名实体识别、关系抽取等任务上表现优于通用大模型。紧接着,老虎证券在2023年4月份推出了TigerGPT,可在其App中回答一般金融问题和查询概念股走势等;同月,长桥证券也推出了PortAI,允许用户在其社区版块询问个股持仓、行情走势等。此外,还有一家名为BroadRidge的公司推出了专门针对债券领域的BondGPT模型,支持问答和文生SQL等功能。学术界在该领域同样活跃,有研究探索利用大模型预测股价、分析美联储官方术语、分析高管面部表情等。

接下来,让我们来看看生成式人工智能在金融行业的需求框架。首先,我们可以将需求方分为两大类:Buyer和Builder。Buyer更倾向于采购整体解决方案,不太关注具体的技术细节;而Builder则希望自身构建解决方案。在Builder阵营中,又可以进一步细分为Model Consumer、Model Tuner和Model Builder三种角色。

Model Consumer通常只是消费现有的大模型,利用Prompt工程或结合检索增强生成(RAG)的方式与大模型交互,而不会自己训练或调优模型。目前,大模型生态仍未收敛,预计将出现更多的通用及垂直领域大模型。为满足客户需求,亚马逊推出了Bedrock服务,为客户提供30多种大模型选择,包括开源模型如LaMa、MetroNLP等,以及商业模型如AnthropicAI、Cohere等领先的大模型。结合RAG的方式可以一定程度上解决幻觉问题,但工程复杂度因场景而异。例如,在一个保险场景中,客户可以将自有的保单数据进行向量化处理,存储到相关数据库中,然后结合大模型进行查询和问答。

Model Tuner和Model Builder对算力资源、数据资源和人才要求更高。在算力资源方面,除了传统的GPU实例外,亚马逊还提供了专门的AI芯片,包括用于模型训练的Training Chip 2和用于模型推理的Inferration Chip 2,两者均已推出第二代产品。在数据资源方面,企业需要构建优质的数据底座,包括全面收集结构化、半结构化和非结构化数据,实现数据集成和打通,并对数据进行良好的治理,避免”数据沼泽”的情况发生。亚马逊提供了一系列工具,如Amazon Glue、Amazon Lake Formation等,可以帮助企业完成从数据收集、存储到分析的全流程。最后,在模型微调和训练方面,企业可以使用亚马逊的SageMaker或HuggingFace等服务。

最后,让我们来思考一下生成式人工智能在金融行业落地过程中需要注意的一些问题。首先,我们需要认识到,生成式人工智能的落地是一个系统工程,不仅需要大模型本身,还需要解决工程化实现、安全性、组织架构适配等诸多挑战。我们可以将大模型比作一台车,而要真正深入企业、解决业务问题,就像是要登上一座山,中间可能会遇到各种困难,如天气、车辆故障等,需要有防滑链、备用能源等多种辅助手段。

其次,我们提出了”最后三公里”的概念。技术落地往往会遇到”最后一公里”的挑战,而生成式人工智能由于涉及面更广,挑战也更为复杂,因此被形象地称为”最后三公里”。具体来说,数据工程、模型调优、工具链构建等都是需要解决的重大挑战。以数据工程为例,不同场景对数据的要求不尽相同,有的需要处理PDF文件,有的需要OCR技术提取信息,有的需要构建知识图谱等,这都需要解决相应的工程问题。

为了助力企业顺利完成”最后三公里”,亚马逊提供了多种支持。首先,亚马逊有专业的架构师团队,可以帮助企业分析业务需求、进行架构设计、完成概念验证等工作。其次,亚马逊内部拥有AI实验室、快速原型团队、联合创新实验室等,可以通过头脑风暴、联合工作坊等方式,帮助企业逐步明确和优化需求。最后,亚马逊还提供人才培养和认证服务,帮助企业储备生成式人工智能时代所需的人才。

总的来说,生成式人工智能为金融行业带来了巨大的机遇,但落地过程也充满了挑战和复杂性。企业需要重视数据积累、算力资源、人才储备等基础工作,同时解决工程化实现、安全性、组织架构适配等挑战,亚马逊则可为企业提供全方位的支持,助力生成式人工智能在金融行业的顺利落地。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技中国峰会2024:云厂商视角下金融行业客户落地经验分享

金融机构正在探索会话式用户界面(COI),通过语音交互简化应用程序操作,提升用户体验。

亚马逊云科技中国峰会2024上,演讲者阐述了人工智能需求方的两大类型:Buyer和Builder,并进一步细分了Builder的三种类型。

亚马逊云科技推出了Bedrock服务,一个增强型大模型超市,支持多种开源和商业大模型,并提供安全加固和私有链接等功能。

亚马逊云科技中国峰会2024:生成式人工智能在企业落地是一个复杂的过程,需要解决工程化、安全和组织架构等多方面的挑战。

亚马逊云科技通过不同的角色和团队,如架构师、AI实验室、快速原型团队、联合创新实验室等,为客户提供全方位的解决方案和支持,帮助他们在生成式人工智能时代做好人才储备。

总结

生成式人工智能在金融行业的应用正在快速发展。亚马逊云科技观察到几个主要应用场景:

1. 企业内部使用大模型作为员工助手,如代码生成、测试用例生成等。2) 智能客服是一个落地较快的场景。3) 基于知识库的问答系统,但工程实现较为复杂。4) 资本市场研报分析、舆情分析等文本分析应用。

亚马逊云科技提出了一个需求框架,将客户分为Buyer(采购整体解决方案)、Model Consumer(使用现有大模型)、Model Tuner(微调大模型)和Model Builder(自建大模型)四类。不同类型客户对算力、数据和人才的需求不同。

落地生成式AI需要解决诸多挑战,如数据工程、模型调优、工具链集成等”最后三公里”问题。亚马逊通过架构师团队、AI实验室、快速原型团队等多种角色,帮助客户分析需求、设计架构、培养人才,共同推进生成式AI在金融行业的落地。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。