生成式AI来袭，亚马逊云科技的“杀手锏”是算力、模型以及数据治理能力

原标题：生成式AI来袭，亚马逊云科技的“杀手锏”是算力、模型以及数据治理能力

2023，生成式AI浪潮席卷全球，以亚马逊云科技为代表的云计算企业看到新的机会。大模型带来的不仅是AI技术深度融入产业创新场景，更推动企业对算力、模型和数据处理能力需求的疯涨！

▲亚马逊云科技 大中华区产品部总经理 陈晓建

算力

“面对算力井喷带来的挑战，亚马逊云科技将通过自研芯片提供更好的性价比。同时，借助丰富的计算、网络、存储等各种产品组合，可以应对突发的算力需求；通过Serverless有效降低运维的复杂性，从而简化算力的使用，全面满足用户的多样化的算力需求。”亚马逊云科技 大中华区产品部总经理 陈晓建，在2023亚马逊云科技中国峰会上表示，GPU不够用不只是中国独有的一种现状，全球其他国家也一样。

生成式AI的爆发，虽然只有短短几个月时间，但已经出现了各种定制化场景，包括LLM文本数据训练的大语言模型、图片和视频的生成、在线推理等等，这些场景均有不同技术要求，需要更具性价比的硬件解决方案。同时，客户只知道这是一个存在巨大潜力的发展方向，具体需要多少计算资源，并没有准确的指标，这就需要云服务公司能够提供高度弹性化的资源供给方案。

在算力支持方面，亚马逊云科技既可以提供Intel、AMD、英伟达等产品，同时也提供自研的CPU及加速芯片。2006年，亚马逊云科技发布了第一款EC2计算实例，到现在已经有600 多种实例选择，可以支持不一样的硬件、操作系统、计算平台。

1、Nitro

Nitro是亚马逊云科技的第一款自研芯片产品，去年推出的第五代Nitro将每瓦性能提高了40%。为了从底层技术上解决性能损耗难题，Nitro进行了诸多能力升级：

1) 实现了非常轻量级的虚拟化。在此前业界经常看到的虚拟化损耗通常在20-30%之间，Nitro通过硬件虚拟化，整个性能损耗不到1%。

2) 实现了网络和存储在硬件级别的隔离机制，导致在用户通信和拥有存储的数据通信之间完全隔离，不会造成互相干扰。

3) 在硬件层面实现了硬件的加密，任何进出Nitro的数据包都会进行硬件级别的加密，最大限度保证用户数据通信的安全。

2、Graviton

Graviton是亚马逊云科技推出的基于Arm的自研CPU处理器。第一个版本是在2018年上推出。第二代 Amazon Graviton2 于 2019 年 12 月推出。基于Arm架构的通用处理器Graviton 3，相比Graviton2计算性能提高多达25%，浮点性能提高多达2倍，加密工作负载性能最多加快2倍。第四代产品Gravtion3E则在针对高性能计算应用场景的向量计算性能上，再提升了35%。

3、机器学习训练芯片

在整个生命周期之中，推理所占的成本往往居高不下。原因也很简单，因为推理是7×24，在线不中断的服务，而训练往往只是一个阶段性的服务。

2019年，亚马逊云科技推出了第一代用于机器学习的推理芯片Inferentia，所对应的实例Inf1和同样基于通用GPU的EC2实例相比，带来了70%成本的降低，所以获得了广泛的应用，典型客户有Airbnb，Snap，OPPO小布语音助手等，包括以及在亚马逊内部，有大量客户在使用。

2022年又推出了第二代推理芯片，Inferentia2，进一步提升了4倍吞吐量，延迟只是之前的1/10。通过优化，第二代Inferentia可以大规模部署复杂的模型，例如大型语言模型(LLM)和Diffusion类模型。训练方面我们也推出了加速芯片Trainium。Trainium 和 Inferentia 芯片为训练模型和运行推理提供了最低的成本。

1）机器学习训练芯片-Trainium

基于Trainium的Trn1实例和通用的GPU实例对比，在训练的吞吐率上面，单节点的吞吐率可以提升1.2倍，而多节点集群的吞吐率可以提升1.5倍，从成本考虑，单节点成本可以降低1.8倍，集群的成本更是降低了2.3倍。增强型Trn1n实例的网络带宽跃升至1.6Tbps，可将万余个Trainium芯片构建在一个超大规模集群上，实现对超大模型进行并行训练。

2）机器学习推理芯片Inferentia

在推理场景中，要想达到更高的吞吐率，会带来延迟的提升，从而造成用户体验的下降，所以说开发者往往要去权衡在吞吐率和延迟之间的平衡点，而Inferentia在设计的时候就考虑到了吞吐率和延迟的优化，使得用户两者可以兼得。

以自然语言常见的BERT模型为例，In2实例的吞吐可以提升三倍，延迟降低了8.1倍，而成本只是通用GPU实例的1/4；以开源模型OPT-30B为例，相比于通用GPU EC2的实例，In2实例吞吐率增加了65%，而推理成本则降低了52%，如果用更大的660亿参数的OPT-66B为例，通用GPU已经力不从心，但In2实例依然可以保持每秒351个token数的吞吐量；视觉类模型以Stable Diffusion 2.1的版本为例，Inf2实例可实现50%的成本节约。

如今，许多领先的生成式AI初创公司，例如 AI21 Labs、Hugging Face、Runway 和 Stability AI 都采用了Trainium和Inferentia来作为他们研发和应用的平台。

为了降低算力成本，简化算力应用门槛，亚马逊云科技提供600多种不同的计算实例，从处理器、网络和存储等各种服务都能够与计算进行很好的结合，以积木的方式搭建出一个丰富灵活的计算实例的资源，满足多种不同算力的要求。以存储为例，数据规模到达PB级别时存储方式变得非常重要，“热、温、冷、冻”不同类型的存储方式，成本和性能都有很大差别。Amazon S3对象存储提供8种存储层级，同时提供智能分层，自动选择最适合的存储层级。同时，亚马逊云科技也在推动云服务全面迈向Serverless。通过全栈数据服务的Serverless化，让客户无需预置或管理基础设施，就可以运行几乎任何类型的应用程序或后端服务代码，帮助客户最大限度减轻运维工作，并增加业务敏捷性，更好地应对业务的各种不确定性。

模型

在过去十年多年的发展中，亚马逊云科技可以为用户提供几乎每一个级别的机器学习能力。对于采用底层堆栈的构建者而言，能够训练和部署最流行的深度学习框架的优化版本，比如：通过Amazon SageMaker，可以让用户为任何用例创造任何所需的机器学习模型。而对于自己开发的构建者来说，亚马逊云科技可以为他们提供内置机器学习功能的AI服务，例如 Amazon Transcribe 和 Amazon Textract，都是业界领先、常见的用例。可以说，从应用到制造，已经有数十万的用户在使用亚马逊云科技内置机器学习的AI服务。

▲亚马逊云科技 全球产品副总裁 Matt Wood

“科幻作家威廉·吉布森说未来已至，但并不是所有人都能感受得到。亚马逊云科技一直希望将拥有广阔前景的且令人兴奋的技术提供给每个人。” 亚马逊云科技 全球产品副总裁 Matt Wood强调，不管技术如何演进，简化用户应用成本，降低应用门槛，是企业自始至终都在坚持的理念。

如今，生成式AI正在重塑各个行业，典型场景包括：创意输出，如写作、设计、编码、建模等。

亚马逊云科技解锁生成式AI价值的方式是：

1、提供对一流基础模型的访问能力。Amazon Bedrock提供一流的基础模型的访问能力，这项新服务允许用户通过 API 访问来自 AI21 Labs、Anthropic、Stability AI 和亚马逊的基础模型。Amazon Bedrock 是客户使用基础模型构建和扩展生成式AI应用程序的最简单方法，为所有开发者降低使用门槛。在 Amazon Bedrock上，用户可以通过可扩展、可靠且安全的亚马逊云科技托管服务，访问从文本到图像的一系列强大的基础模型。

2、提供安全私密的环境去定制模型。借助Amazon Titan模型库可实现安全且私密的模型调优，Amazon Titan是一系列不同的模型的库，可实现文本归纳总结、搜索结果嵌入、有害内容删减等，用户可以非常安全、隐私地对这些模型做优化和微调。

3、通过定制芯片提供低成本和低延迟访问，推理芯片Inferentia和训练芯片Trainium带来极致性能。

4、需要搜寻机会提升使用体验。Amazon CodeWhisperer 可改善开发体验，这是基于机器学习为开发人员提供的一个代码生成的服务，支持包括Java、Java和Python等在内的15种不同的编程语言，个人用户可免费使用。在测试中，与未使用CodeWhisperer的参与者相比，使用CodeWhisperer的参与者完成任务的速度平均快57%，成功率高27%。

显然，亚马逊云科技拥有一站式大模型开发体验，如果用户把所有应用放在一起——机器学习的创新、定制化的芯片以及利用Amazon Bedrock使用模型，就会发现从未有过如此简单、低成本，借助机器学习进行代码构建的开发方式。

数据治理

除了模型、算力，数据是生成式AI的起点，云原生数据策略也将推动生成式AI的广泛应用。

为特定场景，定制化开发合理的工具，从而将数据更有效地转化为见解和行动，亚马逊云科技在一站式数据处理能力方面，也在持续发力。

首先，全面的工具集，满足现在和未来所需。亚马逊云科技推出15种专门构建的云上托管数据库服务，为各类用户的应用场景提供完美契合的数据服务；亚马逊云科技的分析服务已全面实现Serverless化，包括交互式查询服务Amazon Athena、大数据处理服务Amazon Managed Streaming for Apache Kafka (Amazon MSK)、实时分析服务Amazon Kinesis、数据仓库服务Amazon Redshift、数据集成服务Amazon Glue、商业智能服务Amazon QuickSight以及运营分析服务Amazon OpenSearch Service。

其次，轻松集成，连接所有数据。亚马逊云科技提出了Zero-ETL的愿景，致力于实现无缝的数据转换和调用，而用户不用编写任何的代码。我们最近推出了Aurora新的服务——Amazon Aurora可以与Amazon Redshift进行Zero-ETL集成，允许使用 Amazon Redshift 对来自Aurora的PB级事务数据进行近实时分析和机器学习 (ML)。事务数据在被写入Aurora后的几秒钟内，即可用在Amazon Redshift中。基于此，企业不必构建和维护复杂的数据管道来执行提取、转换和加载 (ETL) 操作。

其三，构建端到端的数据治理。通过数据治理，加速并保障数据流通。亚马逊云科技去年推出的一项全新的数据管理服务Amazon DataZone，可以让客户更快、更轻松地对存储在亚马逊云科技、客户本地和第三方来源的数据进行编目、发现、共享和治理。借助Amazon DataZone，管理员和数据资产管理者可以使用精细的控制工具管理和治理数据访问权限，确保数据访问发生在正确的权限和正确的情境之下。

总之，携手亚马逊云科技，企业可以探索无限可能，比如：基于自己现有的数据战略去构建应用，包括通过更广泛、更安全的应用打造生成式AI实验，还可以为特定场景打造所需要的定制化模型。