解码亚马逊云科技生成式AI背后的“技术魔法”

当生成式AI技术浪潮席卷全球，我们不禁要问：这是怎样一个时代？

我们经历了门户时代、网络游戏时代、电商时代、社交时代、视频网站时代、直播平台时代……而今天，这些历轮 “英雄”，全部在生成式AI时代会师，开启一场“群模”争霸大战。

纵观生成式AI发展现状，一个由技术驱动、智能引领的新纪元正式开启，推动着人类社会迈进向更广阔的未来。亚马逊云科技大中华区产品总经理 陈晓建，把这一切变化概括为“任何先进技术初看都与魔法无疑”，实际上每一项技术都是数十年发展的结果。我们有幸处在技术变革时代，每项创新都将对世界产生影响，可能会改变一个行业，也会改变人类生活。

就像亚马逊云科技的诞生，最早是服务于在亚马逊上建立在线零售业务的企业，之后服务于世界各地数亿客户，帮助任何规模的公司启动和扩展自己的业务。可以说，亚马逊云科技能成长为云计算领域的先驱，是溶于血液的创新力量在推动，也是全球科技变革不断演进的结果。今天，亚马逊云科技在全球33个地区提供超过200项全功能的服务，从计算到网络、存储、数据库，每项服务都在消除创新障碍，降低创新门槛。

生成式AI时代，亚马逊云科技希望在以往技术创新基础上再上新台阶，凭借强大的三层技术栈能力，帮助更多企业改变世界，创造未来。

生成式AI三层技术栈重塑新世界

▲亚马逊云科技大中华区产品总经理 陈晓建 强调

“不会有一个基础模型能适应于所有生成式AI场景，客户需要根据不同的时间，不同的应用场景灵活地选择不同的模型。为了帮助客户选择合适的模型，我们推出了Amazon Bedrock 模型评估功能，帮助客户简化评估、比较和选择基础模型的过程。” 陈晓建 强调，Amazon Bedrock是使用基础模型构建和扩展生成式AI应用程序的最简单方式。

在生成式AI技术栈的模型层，Amazon Bedrock真正实现了“模型自由”，用户可以通过单一的API访问来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI和亚马逊等领先人工智能公司提供的高性能基础模型。

以Claude 3为例，作为Anthropic和亚马逊云科技的战略合作的一部分，Amazon Bedrock同步首发了Claude 3模型家族的产品，今天，包括Claude 3 Haiku 、Claude 3 Sonnet 和 Claude 3 Opus 都已经在Amazon Bedrock可用， 成千上万的客户已经通过Amazon Bedrock体验到了 Claude 3 在认知任务中树立的新基准，以及这些模型具有的智能、速度和成本效率。

除了Claude 3、Llama 3、Command R和 Command R+以及Mistral AI系列等基础模型，Amazon Bedrock还提供自己开发的Amazon Titan系列模型。最新推出的Amazon Titan Text Embeddings V2模型，是亚马逊自研Embedding模型，针对 RAG 工作流程进行了优化，并与 Amazon Bedrock 的知识库无缝集成，可高效地提供更丰富、更相关的响应。同时推出的还有Titan Text Premier基础模型，这是Titan Text 系列中领先型号，旨在为各种企业应用程序提供卓越的性能，并对RAG以及Agent提供了专门优化，提供了更高的准确性和卓越的结果。

针对前文提到的Model Evaluation for Amazon Bedrock模型评估功能，是模型定制化服务的其中一个功能，主要目的是帮助客户快速找到最适合他们的模型。

为了简化模型部署过程，Amazon Bedrock还提供自定义模型导入功能，企业可以将基于Llama, Mistral和Flan-T5开发的定制模型导入到 Bedrock之中，以完全托管的 API方式进行访问，这一全新功能让企业既可以使用SageMaker来持续预训练或者微调一个定制化模型，又能够充分享受Bedrock的诸多模型管理功能，而无需管理底层设施；知识库功能，利用微调、持续预训练，检索增强生成(RAG)等能力，可以帮助客户利用企业系统和数据源定制个性化生成式AI应用；代理功能，允许开发人员定义特定的任务、工作流程或决策过程，增强控制和自动化，同时确保与预期用例保持一致。

除了中间的基础模型层，亚马逊云科技在底层的基础设施层、上层的应用层，都有丰富的产品服务。

在底层基础设施层，亚马逊云科技提供了用于模型训练和推理的专用能力。比如：在GPU和自研芯片方面，亚马逊云科技可以基于NVIDIA GPU提供超级芯片，极大地降低了训练和推理的算力成本。同时，基于Amazon Trainium的Trn1 EC2实例和基于Amazon Inferentia芯片的Inf2 EC2实例，与类似的基于英伟达GPU的Amazon EC2实例相比，可分别将训练成本降低高达50%(Trn1)，推理成本降低高达40%(Inf2)。

在亚马逊云科技中国峰会上，作为底层重要能力的Amazon SageMaker也有诸多更新。其中，Amazon SageMaker HyperPod已正式可用，能够将训练模型的时间减少多达 40%。值得一提的是，知名的机器学习公司Hugging Face，就一直在使用SageMaker HyperPod加速计算创新。

另外，Amazon SageMaker Jumpstart也是国内开发者和全球用户喜欢的诸多功能之一。零一万物Yi-1.5 6B/9B/34B基础模型、百川智能Baichuan-2 7B基础模型，都上线了中国区域的SageMaker Jumpstart。

在生成式AI三层技术栈的顶层，亚马逊云科技要打造的是开箱即用的能力，作为强大的生成式AI助手Amazon Q，目前已是企业加速软件开发并更好地利用业务数据的重要应用。Amazon Q有三款应用：分别是Amazon Q Developer、Amazon Q Business和 Amazon Q in QuickSight，现在均已正式可用。Amazon Q Business 还新发布了Amazon Q Apps功能，现已公开预览。

技术架构创新连接未来想象

毫无疑问，在生成式AI浪潮下，所有企业以及所有技术工作者都应该去拥抱新的技术变化。问题是，在生成式AI底层技术逻辑上，到底发生了哪些变化？是什么动力在推动着技术变革？

▲亚马逊云科技大中华区解决方案架构总经理 代闻

“很多需求一起摆在我们面前的时候, 应用架构必需要打开思路, 做出过去从没做过的创新。” 亚马逊云科技大中华区解决方案架构总经理 代闻 认为，我们应该看清变化的技术和不变的需求，积极推进架构演进，去连接未来想象。而当我们不知道如何开始的时候，那就去拆解需求，专门构建，在多元的技术中各个突破。

从历史发展来看，计算、存储、网络等基础组件能力决定了架构设计。而在最核心的计算组件中，我们首先会想到一个重点的计算拐点，那就是Nitro。亚马逊云科技刚刚发布EC2的时候，主频1.7GHz，网络带宽250Mbps，内存不到2GB，磁盘只有160GB，而且是机械盘。在之后的十多年时间里，亚马逊云科技将一种EC2做到了70种。从2017年到2023年，又将EC2发展到750种，可以为所有负载提供合适的计算实例。2017年，亚马逊云科技对外宣布了 Nitro虚拟化平台，将安全、管理和监控也卸载到了硬件上，将主机算力近乎100%地提供给客户，并且进一步加强了虚拟化的安全。更重要的是，Nitro虚拟化平台实现了虚拟化平台和服务器选择的解耦，因此底层的虚拟化技术创新和上层的服务器种类发展可以并行展开。

到目前为止，亚马逊云科技已经发布了五代Nitro芯片。持续在网络性能、存储性能 和 安全加固，获得更低的延迟、更高的吞吐量以及每秒处理更多数据包的能力。

在最新的 Nitro 平台支持下，单个虚拟机的最大 IOPS 可以到 400K，存储带宽可以到 100Gbps。亚马逊云科技还重写了主机和闪存之间的闪存转换层算法，并且将这个算法运行到 Nitro 系统的一块芯片里，将 SSD 访问延迟降低了 60%，抖动减少了 75%。

随着Nitro的创新，带宽也发展到100Gbps、400Gbps，直到现在的单机6.4Tbps，为大模型训练提供了有力的保障。并且，最新Nitro支持的包转发达到了30Mpps（Packets Per Second），即每秒处理三千万个数据包。同时，结合TCP、SRD、SIDR等数据传输协议以及路由协议，亚马逊云科技得以建成超大规模数据中心网络 UltraCluster。它支持的GPU实例可以到两万台，如果使用亚马逊自研的机器学习训练Trn1实例，可以支持扩展到三万个Trainium 加速器。

为了更符合云计算业务和新时代处理器需求，亚马逊云科技还发布了云计算处理器 Graviton。亚马逊云科技在全球规模化提供的基于 Graviton 的 Amazon EC2 实例种类达 150 多个，已经构建的 Graviton 处理器数量超过 200 万个，并拥有超过 50,000 客户。

架构体系创新还体现在韧性、弹性与效率方面。技术架构与桥梁有很多相似之处，强调安全、稳定可靠，同时又有跨度、宽度、承重等量化指标。

众所周知，很多云服务的宕机事故都与云平台的访问控制服务有关，亚马逊云科技是如何提供高可靠的访问控制服务的呢？Amazon IAM的设计理念值得业界参考！Amazon IAM分为控制平面和数据平面两部分，控制平面接受权限更改的请求，下发策略信息给到各个区域的数据平面，数据平面独立存在于每个区域，该区域中的每个云服务都直接与Amazon IAM数据平面交互，由它处理本区域内所有访问控制请求。Amazon IAM在每个区域的数据平面都采用了单元架构来实现高可用。单元架构，Cell-based Architecture，是一个架构设计方法，可以最小化故障的影响范围，降低“爆炸半径”。假设Amazon IAM 控制平面全面故障，每个区域的身份验证和授权都可以继续正常运行，并且每个区域内的其他服务都可以正常访问到现有的权限策略，不受任何影响。

为了让应用更具弹性，Serverless不仅是产品，更是一种构建方式。其中，Firecracker轻量级虚拟化技术，旨在快速启动和管理容器化工作负载，提升资源效率和安全性。同时，为了改善Java 函数的冷启动问题，Amazon Lambda SnapStart，可以提升10倍冷启动速度，并且不需要修改任何代码。在传统方式下，有状态的Serverless 对数据库来说一直是一个挑战，Caspian实现了类似“多库同宿主，允许共享预留”的逻辑，让Serverless数据库实现跨越式创新。

另外，现代化技术栈是多元技术融合场景，由生成式AI的智能体验，有可持续发展，还有安全合规等，当诸多需求摆在一起，应用架构该如何打开新思路，做出过去从没有过的创新？

亚马逊云科技专门构建了各种数据服务，包括关系型数据库、非关系型数据库、数据仓库，以及各种批式/流式的数据采集和分析服务。为了实现Zero-ETL目标，亚马逊云科技已提供6项Zero ETL的能力，包括Amazon Aurora MySQL 与 Amazon Redshift 的Zero-ETL 集成等。在亚马逊云科技中国峰会上，亚马逊云科技专门发布了3款Zero-ETL更新：1) Amazon Aurora Zero-ETL with Amazon Redshift的亚马逊云科技中国（宁夏）区域正式可用；2) Amazon OpenSearch Service zero-ETL integration with Amazon S3 在亚马逊云科技海外区域正式可用，这项创新功能将为数据湖提供强大的运营分析能力；3) Amazon DocumentDB zero-ETL integration with Amazon OpenSearch发布预览：Amazon DocumentDB兼容MongoDB的API，这项新的ZeroETL允许用户轻松使用Amazon OpenSearch API在Amazon DocumentDB文档上进行模糊搜索、交叉收集搜索和多语言等高级搜索。

小结：

从生成式AI技术到底层的架构演进，每一次革新都如同星辰般闪耀，引领着人类社会发展。而在这一璀璨的星空中，亚马逊云科技所孕育的生成式AI技术以及背后的“魔法”，不仅引领着行业创新潮流，更在重塑着我们的生活、工作方式，拓展着我们的认知边界。展望未来，正如代闻所言，作为架构师、工程师，或者任何一个有技术信仰的构建者，每一行代码，每一种选择，每一个决定，都是写给未来的信。我们应该看清变化的技术和不变的底层逻辑，积极推动技术创新，连接未来无限可能。