当前位置:首页|资讯|生成式AI|亚马逊

亮出全栈生成式AI架构,亚马逊云科技加速生成式AI应用之旅

作者:智能进化论发布时间:2024-04-15

原标题:亮出全栈生成式AI架构,亚马逊云科技加速生成式AI应用之旅

如果你是一家电商企业,只要告诉Amazon Bedrock Agents,它是一个要帮客户退货的客服代表,就可以快速构建一个退换货的客服系统。

如果你是企业的IT人员,只需用自然语言描述工作负载的需求,Amazon Q就像一个云计算专家,可以告诉你什么样的EC2实例更适合自身业务。

当很多人认为云计算只是为生成式AI提供基础设施底座时,在2023年re:Invent峰会上,亚马逊云科技的一系列重磅发布,预示着这家云计算巨头已经将生成式AI嵌入到越来越多云服务中,帮助企业在云上便捷、快速地构建生成式AI应用。

亚马逊云科技大中华区产品部总经理 陈晓建

一方面,Anthropic、Stability AI这样的头部科技公司始终需要更高效更具性价比的生成式AI基础设施。另一方面,更多企业需要的不是通用的基础大模型,而是如何更快开始借助生成式AI进行业务创新,加速应用落地。

面对这些差异化的需求,亚马逊云科技都能满足,这种能力来自其最新升级的全栈生成式AI三层架构。

最底层是用于基础模型训练和推理的基础设施,包括芯片、软件、网络环境等。

中间层是构建生成式AI的工具层,包括提供丰富的基础大模型选择的Amazon Bedrock平台和Guardrails、Agents等。

最上层是开箱即用的应用程序,包括企业级生成式AI助手Amazon Q、Amazon CodeWhisperer等。

覆盖硬件、软件、网络环境的基础设施底座

在生成式AI的芯片布局中,亚马逊云科技坚持开放合作和自研芯片两大策略。

今年re:Invent上可以看到我们在努力地使自己成为云上提供英伟达GPU最好的云计算厂商。”亚马逊云科技大中华区基础设施产品技术总监郭峰向媒体表示。

亚马逊云科技始终保持着在云上用英伟达芯片进行AI创新的领先地位。今年早些时候,亚马逊云科技是全球第一家将英伟达H100 GPU和Amazon EC2 P5实例推出市场的主要云服务商。

在re:Invent2023,亚马逊云科技与英伟达的合作进一步升级。

亚马逊云科技是首家将全新超级芯片GH200导入云计算的云服务商,首款使用英伟达最新芯片GH200 NVL32 的英伟达DGX云即将登陆亚马逊云科技。同时,双方还将开展“Project Ceiba”合作项目,它将配备1.6万个英伟达GH200超级芯片,并结合亚马逊云科技高性能网络传输服务EFA与虚拟化芯片Nitro,能够达到65 ExaFLOPS的性能,将成为全球最快、基于GPU的AI超级计算机。

自研芯片方面,今年新推出了新一代通用芯片Amazon Graviton4和训练芯片Amazon Trainium2。

Amazon Graviton4的创新可以参考智能进化论此前文章《云上算力进化无止境,Amazon Graviton4已出发》。

相比上代产品,Amazon Trainium2性能提升了四倍,特别针对于千亿甚至万亿参数的大模型训练做了调优。Anthropic 正计划用 Amazon Trainium2 芯片构建模型。

Amazon Graviton芯片的应用越来越广泛,涵盖了Web服务、数据库应用、大数据分析和机器学习。

由于广泛的应用场景,Amazon Graviton已被全球范围各行各业的客户用来降本增效。

全球知名广告服务商FreeWheel在广告推荐场景中广泛使用Amazon Graviton3的实例,在相同成本下,得益于CPU性能的提升,Amazon Graviton3的工作负载量增加了30%。知名游戏公司Habby采用Amazon Graviton3实例,实现性能提升25%。

在算力之外,软件与网络环境也是制约大模型训练推理效率的瓶颈。亚马逊云科技UltraClusters、EFA、Neuron为更高性能的AI训练提供保障。

EC2 UltraClusters是一种超大规模集群,由高性能计算、网络和云存储组成。每个 EC2 UltraCluster 都是一台强大的超级计算机,使客户能够在多个系统上运行最复杂的 AI 训练和分布式 HPC 工作负载。

高性能网络传输服务Amazon EFA提供了高达3.2T的网络互联能力,客户可以在单个集群中部署多达两万个GPU芯片的超级规模集群,提供相当于20个ExaFLOPS的集成能力,等同于一台超级计算机。

数据是决定生成式AI应用差异化的关键

在全栈生成式AI架构中,中间层是以Amazon Bedrock为代表的工具层。

Amazon Bedrock可以让用户通过API的方式调用丰富的基础大模型。目前,Amazon Bedrock支持的最新基础大模型包括200K标记上下文窗口的Claude2.1模型、70B的Llama 2大语言模型等。

数据是决定生成式AI应用差异化优势的关键因素。如何将企业自身数据与基础模型能力更好地结合?亚马逊云科技推出三种基于基础模型进行差异化定制的能力:

首先,对基础模型的微调。

目前,Amazon Bedrock对Cohere Command Lite,Meta Llama 2, Amazon Titan Text Lite & Express的微调能力已经发布,针对Anthropic Claude的微调能力即将推出。

其次,基于检索增强生成(RAG)能力打造企业的内部知识库。

目前,内部知识库依然是企业客户应用生成式AI的核心场景之一。今年推出的Amazon Knowledge Base服务可以快速搭建知识库类应用,它原生支持检索增强生成,并支持多种类型的向量数据库。

第三,如果企业有大量的私域数据,可以基于云上基础模型做持续的预训练。

新推出的Amazon Titan Text Lite和Express,更适合企业客户对行业模型、场景模型进行预训练。

在构建工具层,今年亚马逊云科技一个重磅发布就是可以帮助企业快速创建生成式 AI 应用程序的工具Amazon Bedrock Agents。它可以跨公司系统和数据源执行多步骤任务,开发者只需点击几下,就能创建完全托管的 Agents。

以电商退货场景为例,Amazon Bedrock Agents会通过自己的推理能力来分析和规划任务,自动推算出如果要做退货,后台需要经过几个步骤,需要调用哪些API,什么时候开始调用。然后它就会执行这个计划,采取措施、搜集信息来完成任务。整个过程都是自动执行的,大大加速了创建生成式 AI 应用的进程。

在数据安全方面,客户的任何数据都不会用于训练底层模型。所有数据在传输和静态时均经过加密,用于自定义模型的数据将保留在客户的VPC内。安全监管产品Guardrails for Amazon Bedrock,可以根据应用程序需求和政策定制保障措施,阻止生成式AI应用程序中不需要的话题,根据AI策略过滤有害内容。

提升各个角色生产力的专家助手

在生成式AI应用层,企业级生成式AI助手Amazon Q是最重磅的新产品。

亚马逊云科技大中华区产品部总经理陈晓建介绍,目前Amazon Q有四大应用场景,今后更多的亚马逊云科技的云服务内嵌到Amazon Q的能力。

第一, 作为亚马逊云科技的专家,帮助开发人员更好地选择和使用云服务。

用户可以用自然语言询问Amazon Q任何关于亚马逊科技产品的相关问题,比如什么样的EC2实例更匹配自己的工作负载,或了解故障发生的原因和解决办法。

在亚马逊云科技内部,某团队通过使用Amazon Q,短短两天之内就把一千多项应用做了Java的升级,把Java底层版本从Java8升级到了Java17。

陈晓建还举例说,如果用户想把今年re:Invent的众多视频从YouTube上下载,通过Amazon Transcribe把视频文字摘取出来,然后通过翻译服务把文字从英文转成中文。只要一条简单的自然语言指令,Amazon Q就可以帮助我们生成相应的代码,去完成所有上述一系列操作。

第二, 帮助业务人员更高效地完成工作。

Amazon Q目前可以连接40多种流行的数据源,包括像Amazon S3、Google Drive、Microsoft 365、Gmail、Salesforce、ServiceNow、Slack等,可以为员工的业务问题提供答案。Amazon Q而且严格遵守访问控制全新,仅返回用户角色授权可以查看的信息。

第三, 更强的商业智能BI能力。

将Amazon Q的能力嵌入商业智能工具Amazon QuickSight,可以获得更智能的BI能力。用户仅需通过自然语言提问,就可以自动化生成业务分析图表,辅助用户做出更精准的商业决策。

第四,将生成式AI能力嵌入云呼叫中心Amazon Connect。

Amazon Connect中的Amazon Q可以深入了解客户意图,根据实时的客户问题为坐席提供建议和行动,帮助坐席在与客户实时沟通中做出准确的响应和行动,为客户提供更快速、更准确的支持。

写在最后

可以看出,亚马逊云科技推出的全栈生成式AI架构,为生成式AI时代各个角色的参与者都提供了相对应的解决方案,无论是开发者、架构师、IT人员,或是对大模型相关技术并不了解、只是想使用生成式AI的业务人员。

这也验证了在生成式AI时代,云服务商兼具基础设施底座和加速应用构建的多重价值。

“生成式AI正在以意想不到的方式提升人类的生产力,同时也在激发人类的智慧和创造力,我相信未来生成式AI和各行各业业务的结合会充满着无限的可能性。”陈晓建分享道。

END

本文为「智能进化论」原创作品。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1