亮出全栈生成式AI架构，亚马逊云科技加速生成式AI应用之旅
如果你是一家电商企业，只要告诉Amazon Bedrock Agents，它是一个要帮客户退货的客服代表，就可以快速构建一个退换货的客服系统。
如果你是企业的IT人员，只需用自然语言描述工作负载的需求，Amazon Q就像一个云计算专家，可以告诉你什么样的EC2实例更适合自身业务。
当很多人认为云计算只是为生成式AI提供基础设施底座时，在2023年re:Invent峰会上，亚马逊云科技的一系列重磅发布，预示着这家云计算巨头已经将生成式AI嵌入到越来越多云服务中，帮助企业在云上便捷、快速地构建生成式AI应用。
亚马逊云科技大中华区产品部总经理 陈晓建
一方面，Anthropic、Stability AI这样的头部科技公司始终需要更高效更具性价比的生成式AI基础设施。另一方面，更多企业需要的不是通用的基础大模型，而是如何更快开始借助生成式AI进行业务创新，加速应用落地。
面对这些差异化的需求，亚马逊云科技都能满足，这种能力来自其最新升级的全栈生成式AI三层架构。
最底层是用于基础模型训练和推理的基础设施，包括芯片、软件、网络环境等。
中间层是构建生成式AI的工具层，包括提供丰富的基础大模型选择的Amazon Bedrock平台和Guardrails、Agents等。
最上层是开箱即用的应用程序，包括企业级生成式AI助手Amazon Q、Amazon CodeWhisperer等。
覆盖硬件、软件、网络环境的基础设施底座
在生成式AI的芯片布局中，亚马逊云科技坚持开放合作和自研芯片两大策略。
“今年re:Invent上可以看到我们在努力地使自己成为云上提供英伟达GPU最好的云计算厂商。”亚马逊云科技大中华区基础设施产品技术总监郭峰向媒体表示。
亚马逊云科技始终保持着在云上用英伟达芯片进行AI创新的领先地位。今年早些时候，亚马逊云科技是全球第一家将英伟达H100 GPU和Amazon EC2 P5实例推出市场的主要云服务商。
在re:Invent2023，亚马逊云科技与英伟达的合作进一步升级。
亚马逊云科技是首家将全新超级芯片GH200导入云计算的云服务商，首款使用英伟达最新芯片GH200 NVL32 的英伟达DGX云即将登陆亚马逊云科技。同时，双方还将开展“Project Ceiba”合作项目，它将配备1.6万个英伟达GH200超级芯片，并结合亚马逊云科技高性能网络传输服务EFA与虚拟化芯片Nitro，能够达到65 ExaFLOPS的性能，将成为全球最快、基于GPU的AI超级计算机。
自研芯片方面，今年新推出了新一代通用芯片Amazon Graviton4和训练芯片Amazon Trainium2。
Amazon Graviton4的创新可以参考智能进化论此前文章《云上算力进化无止境，Amazon Graviton4已出发》。
相比上代产品，Amazon Trainium2性能提升了四倍，特别针对于千亿甚至万亿参数的大模型训练做了调优。Anthropic 正计划用 Amazon Trainium2 芯片构建模型。
Amazon Graviton芯片的应用越来越广泛，涵盖了Web服务、数据库应用、大数据分析和机器学习。
由于广泛的应用场景，Amazon Graviton已被全球范围各行各业的客户用来降本增效。
全球知名广告服务商FreeWheel在广告推荐场景中广泛使用Amazon Graviton3的实例，在相同成本下，得益于CPU性能的提升，Amazon Graviton3的工作负载量增加了30%。知名游戏公司Habby采用Amazon Graviton3实例，实现性能提升25%。
在算力之外，软件与网络环境也是制约大模型训练推理效率的瓶颈。亚马逊云科技UltraClusters、EFA、Neuron为更高性能的AI训练提供保障。
EC2 UltraClusters是一种超大规模集群，由高性能计算、网络和云存储组成。每个 EC2 UltraCluster 都是一台强大的超级计算机，使客户能够在多个系统上运行最复杂的 AI 训练和分布式 HPC 工作负载。
高性能网络传输服务Amazon EFA提供了高达3.2T的网络互联能力，客户可以在单个集群中部署多达两万个GPU芯片的超级规模集群，提供相当于20个ExaFLOPS的集成能力，等同于一台超级计算机。
数据是决定生成式AI应用差异化的关键
在全栈生成式AI架构中，中间层是以Amazon Bedrock为代表的工具层。
Amazon Bedrock可以让用户通过API的方式调用丰富的基础大模型。目前，Amazon Bedrock支持的最新基础大模型包括200K标记上下文窗口的Claude2.1模型、70B的Llama 2大语言模型等。
数据是决定生成式AI应用差异化优势的关键因素。如何将企业自身数据与基础模型能力更好地结合？亚马逊云科技推出三种基于基础模型进行差异化定制的能力：
首先，对基础模型的微调。
目前，Amazon Bedrock对Cohere Command Lite，Meta Llama 2, Amazon Titan Text Lite & Express的微调能力已经发布，针对Anthropic Claude的微调能力即将推出。
其次，基于检索增强生成(RAG)能力打造企业的内部知识库。
目前，内部知识库依然是企业客户应用生成式AI的核心场景之一。今年推出的Amazon Knowledge Base服务可以快速搭建知识库类应用，它原生支持检索增强生成，并支持多种类型的向量数据库。
第三，如果企业有大量的私域数据，可以基于云上基础模型做持续的预训练。
新推出的Amazon Titan Text Lite和Express，更适合企业客户对行业模型、场景模型进行预训练。
在构建工具层，今年亚马逊云科技一个重磅发布就是可以帮助企业快速创建生成式 AI 应用程序的工具Amazon Bedrock Agents。它可以跨公司系统和数据源执行多步骤任务，开发者只需点击几下，就能创建完全托管的 Agents。
以电商退货场景为例，Amazon Bedrock Agents会通过自己的推理能力来分析和规划任务，自动推算出如果要做退货，后台需要经过几个步骤，需要调用哪些API，什么时候开始调用。然后它就会执行这个计划，采取措施、搜集信息来完成任务。整个过程都是自动执行的，大大加速了创建生成式 AI 应用的进程。
在数据安全方面，客户的任何数据都不会用于训练底层模型。所有数据在传输和静态时均经过加密，用于自定义模型的数据将保留在客户的VPC内。安全监管产品Guardrails for Amazon Bedrock，可以根据应用程序需求和政策定制保障措施，阻止生成式AI应用程序中不需要的话题，根据AI策略过滤有害内容。
提升各个角色生产力的专家助手
在生成式AI应用层，企业级生成式AI助手Amazon Q是最重磅的新产品。
亚马逊云科技大中华区产品部总经理陈晓建介绍，目前Amazon Q有四大应用场景，今后更多的亚马逊云科技的云服务内嵌到Amazon Q的能力。
第一， 作为亚马逊云科技的专家，帮助开发人员更好地选择和使用云服务。
用户可以用自然语言询问Amazon Q任何关于亚马逊科技产品的相关问题，比如什么样的EC2实例更匹配自己的工作负载，或了解故障发生的原因和解决办法。
在亚马逊云科技内部，某团队通过使用Amazon Q，短短两天之内就把一千多项应用做了Java的升级，把Java底层版本从Java8升级到了Java17。
陈晓建还举例说，如果用户想把今年re:Invent的众多视频从YouTube上下载，通过Amazon Transcribe把视频文字摘取出来，然后通过翻译服务把文字从英文转成中文。只要一条简单的自然语言指令，Amazon Q就可以帮助我们生成相应的代码，去完成所有上述一系列操作。
第二， 帮助业务人员更高效地完成工作。
Amazon Q目前可以连接40多种流行的数据源，包括像Amazon S3、Google Drive、Microsoft 365、Gmail、Salesforce、ServiceNow、Slack等，可以为员工的业务问题提供答案。Amazon Q而且严格遵守访问控制全新，仅返回用户角色授权可以查看的信息。
第三， 更强的商业智能BI能力。
将Amazon Q的能力嵌入商业智能工具Amazon QuickSight，可以获得更智能的BI能力。用户仅需通过自然语言提问，就可以自动化生成业务分析图表，辅助用户做出更精准的商业决策。
第四，将生成式AI能力嵌入云呼叫中心Amazon Connect。
Amazon Connect中的Amazon Q可以深入了解客户意图，根据实时的客户问题为坐席提供建议和行动，帮助坐席在与客户实时沟通中做出准确的响应和行动，为客户提供更快速、更准确的支持。
写在最后
可以看出，亚马逊云科技推出的全栈生成式AI架构，为生成式AI时代各个角色的参与者都提供了相对应的解决方案，无论是开发者、架构师、IT人员，或是对大模型相关技术并不了解、只是想使用生成式AI的业务人员。
这也验证了在生成式AI时代，云服务商兼具基础设施底座和加速应用构建的多重价值。
“生成式AI正在以意想不到的方式提升人类的生产力，同时也在激发人类的智慧和创造力，我相信未来生成式AI和各行各业业务的结合会充满着无限的可能性。”陈晓建分享道。
END
本文为「智能进化论」原创作品。