亚马逊年终王炸！两大自研AI芯片性能飙升，推AI助手硬刚微软，联手老黄造最强超算
芯东西（公众号：aichip001）
作者 | 芯东西编辑部
芯东西11月28日美国拉斯维加斯报道，北京时间11月29日凌晨，全球第一大公有云巨头AWS（亚马逊云科技）扔出了其生成式AI年终“王炸”。
摇滚乐开场，AWS的CEO亚当·塞利普斯基（Adam Selipsky）在一阵掌声中登上re:Invent舞台。
距离微软和OpenAI联盟的GPT-4新品“轰炸”过去还不到一个月，AWS紧接着放出了新的大招，从芯片、大模型平台、AI应用、生态合作等多个方面秀出“肌肉”：
1、推出第四代自研服务器CPU芯片AWS Graviton4，相比三代处理速度快30%，能将处理大型Java应用的速度提升45%。
2、推出为生成式AI和机器学习训练设计的云端AI芯片AWS Trainium2，性能比上一代芯片提高到4倍，可提供65ExaFlops超算性能。
3、英伟达创始人兼CEO黄仁勋到场，宣布英伟达与AWS达成战略合作，针对生成式AI推出全新超级计算基础设施、软件及服务。
4、推出生成式AI助手Amazon Q，支持聊天、生成内容、编程、插件及定制开发，硬杠微软Copilot。
▲现场展区展出了Amazon Q免费体验的申请二维码入口
5、数据分析平台Amazon QuickSight、呼叫中心服务Amazon Connect等应用接入Amazon Q，具备生成式AI能力。
6、Amazon Bedrock大模型平台三大升级：支持微调、知识库RAG（检索增强生成）和持续预训练，全面推出Amazon Bedrock Agent、安全产品Guardrails for Amazon Bedrock预览版。
7、S3对象存储服务更新，推出新的高性能、低延迟层S3存储类别Amazon S3 Express One Zone，比Amazon S3标准版快10倍，计算成本降低60%。
8、推出4项Zero-ETL（提取、转换、加载）集成功能，使跨数据存储的数据访问和分析更快、更容易。
9、推出由生成式AI驱动的Amazon DataZone智能推荐功能，可生成数据资产及其模式的详细说明。
10、扩大与OpenAI竞争对手Anthropic的合作，Claude大模型的早期访问、自动定制和微调功能优先提供给AWS客户。
11、全球最大药企辉瑞扩大与AWS的合作关系，辉瑞利用生成式AI每年减少了7.5亿至10亿美元的成本。
今年4月，AWS推出了覆盖IaaS（基础设施即服务）、PaaS（平台即服务）、SaaS（软件即服务）的生成式AI“全家桶”，空降全球AI大模型竞赛战场。（《亚马逊AIGC全家桶推出！迎战微软谷歌，云巨头们杀疯了》）
彼时，微软正凭借接入GPT-4的升级产品族风头正盛。AWS则扔出大模型开发平台Amazon Bedrock、计算实例EC2 Trn1n实例和EC2 Inf2及AI编程伴侣CodeWhisperer等产品，亮出亚马逊杀入生成式AI的第一枪。
今天，AWS全面披露了亚马逊生成式AI技术堆栈：底层基础架构层+中间基础模型构建工具层+上层基础模型AI应用层，版图逐渐完整。
一、新一代服务器CPU、AI训练芯片来了！支持数万亿参数大模型训练
会上，AWS CEO塞利普斯基宣布推出第四代自研服务器CPU芯片AWS Graviton4、为生成式AI和机器学习训练设计的云端AI芯片AWS Trainium2。
此前已有超过5万个客户使用Graviton。最新推出的Graviton4是AWS迄今最高能效的自研数据中心处理器，基于Arm架构，相比Graviton3，处理速度快30%，内核增加50%，内存带宽增加了75%，能将数据库应用提速40%，将处理大型Java应用的速度提升45%。AWS客户现可开始测试该处理器，由Graviton4支持的R8g实例已推出预览版。
Trainium2芯片为拥有数千亿甚至数万亿个参数的基础模型训练做了优化，性能比上一代芯片提高到4倍，内存容量提高到3倍，能效提高到2倍。OpenAI的竞争对手、明星生成式AI独角兽Anthropic计划用Trainium2芯片构建模型。
Trainium2将在Amazon EC2 Trn2实例中提供，单个实例中包含16个Trainium芯片，Trn2实例可帮助在下一代EC2 UltraCluster中扩展到多达10万个Trainium2芯片，通过搭配AWS Elastic Fabric Adapter (EFA) 网络互连，提供65ExaFlops超算级性能。基于此，客户只用几周就能训练出有3000亿个参数的大模型。
AWS Neuron SDK被用于优化跑在AWS自研训练芯片Trainium和推理芯片Inferentia的机器学习任务，支持主流AI框架。
AWS与英伟达宣布扩大战略合作。英伟达创始人兼CEO黄仁勋来到re:Invent大会现场，宣布AWS将支持英伟达最新推出的H200 GPU，并将托管一个特殊的计算集群供英伟达使用。
AWS是在云端配备英伟达GH200 Grace Hopper超级芯片的首家云大厂，双方联手推出首款结合Grace Hopper超级芯片与亚马逊UltraCluster扩展功能的云AI超级计算机，以及首次在AWS上提供首个配置GH200 NVL32的英伟达DGX Cloud AI训练即服务（能加速训练参数量超1万亿的生成式AI与大模型）。
英伟达与AWS合作构建的AI超级计算机Project Ceiba便部署在亚马逊云科技上，配备GH200 NVL32与Amazon EFA互连技术，包括16384颗GH200超级芯片，能提供65ExaFlops AI算力。
此外，AWS宣布其S3对象存储服务推出重大更新：一种新的高性能、低延迟层S3存储类别Amazon S3 Express One Zone，旨在为延迟敏感的应用提供个位数、毫秒级的每秒数十万次数据访问。
Amazon S3 Express One Zone的数据访问速度比Amazon S3标准版快10倍，请求成本降低50%，计算成本降低60%。
以上从计算到存储新品的发布，主要是AWS的底层基础架构层的能力更新，在其生成式AI技术堆栈中的位置如下图所示。
二、Amazon Bedrock全家桶升级，联手OpenAI最强竞对反击微软
今日，AWS对Amazon Bedrock生成式AI平台完成了能力新升级。
Amazon Bedrock平台是亚马逊4月推出、9月全面开放的大模型开发平台，支持用户调用来自亚马逊自己的泰坦（Titan）模型，以及AI21 Labs、Anthropic、Stability AI等第三方的多样化模型进行调用和定制化开发。
1、Amazon Bedrock推出三个客制化功能
塞利普斯基宣布，托管服务Amazon Bedrock今天推出三个客制化自定义功能：微调（Fine-tuning）、知识库的RAG（检索增强生成）、持续预训练。
通过微调，用户可以提供私有的特定任务标注训练数据集来提高模型的准确性，进一步使基础模型（FM）专业化。
Amazon Bedrock现在支持对Meta Llama 2、Cohere Command Light和Amazon Titan模型进行微调。
Amazon Bedrock知识库于今年9月推出预览版，今日起全面开放。
通过知识库，用户可以安全地将Amazon Bedrock中的基础模型与公司的数据连接起来，并进行检索增强生成，访问附加数据以生成更相关、更具体和更准确的响应，而无需不断重新训练基础模型。
此外，从知识库中检索到的所有信息都会注明来源，以提高透明度并减少幻觉。
持续预训练可用于Amazon Titan Text模型的公开预览版，包括Titan Text Express和Titan Text Lite。预训练完成后，用户可以收到唯一的模型ID，定制模型将由Amazon Bedrock再次存储。
2、全面推出Agents for Amazon Bedrock
AWS曾在今年7月推出Agents for Amazon Bedrock预览版，今天，塞利普斯基宣布其全面上市。
借助Agents for Amazon Bedrock，用户可以通过简单的几个步骤创建和部署完全托管式的Agent，通过动态调用API来执行复杂的业务任务。
Amazon Bedrock可以根据用户提供的自然语言指令，如“你是专门处理未结理赔的保险代理人”，完成任务所需的API架构，并使用来自知识库的私有数据来源详细信息创建提示语。
Agents for Amazon Bedrock可将用户请求的任务分解为较小的子任务，从而做出周密安排。
例如，对于“向所有具有待处理文件的保单持有人发送提醒”，它会将任务分解成：获取特定时间段的理赔，确定所需的文书工作，发送提醒。
Agent会确定正确的任务顺序，并处理中途出现的任何错误状况。
3、推出Guardrails for Amazon Bedrock预览版
AWS推出Guardrails for Amazon Bedrock预览版，根据应用程序需求和AI政策定制保障措施。
Guardrails可以跨基础模型，为所有应用程序提供一致的AI安全级别，阻止生成式AI应用程序中不需要的话题，根据AI政策过滤有害内容等。
据称，Amazon Bedrock平台目前在全球各行业中已有超10000个客户，包括阿迪达斯、纳斯达克、雷克萨斯等众多知名企业。
今日，AWS宣布扩大与OpenAI强力竞对Anthropic的合作。Bedrock客户将拥有其他云所没有的Anthropic旗下Claude大模型的早期访问、自动定制和微调功能的特供功能。Anthropic由前OpenAI工程师于2021年创立，于近期推出了其聊天机器人Claude的2.1版本，支持20万Tokens的超长上下文。
Anthropic的CEO兼联合创始人达里奥·阿莫迪（Dario Amodei）亲临了现场，他谈道，Anthropic和AWS之间合作由三个部分组成：计算、客户支持和硬件优化。他们的目标是为客户提供定制模型、专有数据和独特的微调功能，目前已基于AWS的服务在生物医学、法律和金融行业有成功落地案例。
与Anthropic扩大合作无疑是AWS反击微软OpenAI联盟的一记重拳。9月25日，亚马逊与Anthropic宣布达成战略合作，亚马逊称将向Anthropic投资至多40亿美元，并拥有该公司的少数股权。
全球最大药企辉瑞的首席数字与技术官莉迪亚·丰塞卡（Lidia Fonseca）也来到现场，并宣布扩大与AWS的合作关系。
丰塞卡称，辉瑞于2019年开始，通过整合来自多个实验室和仪器的数据来组织其数字基础设施，其与AWS的合作始于新冠疫情时期，“如果没有与AWS的密切关系，我们不可能实现如此巨大的影响力”。
她谈道，公司在42周内迁移了12000个应用程序和8000台服务器，退出三个数据中心转而上云，并减少了4700吨二氧化碳排放——相当于1000个家庭一年的能源使用量，这为辉瑞每年节省了4700万美元。
这使得辉瑞在生产中的云计算使用率从10%提升到80%，辉瑞还计划在其癌症生产线上继续依赖云计算。
此外，使用云服务后，辉瑞的生产效率也得到提升。丰塞卡称，其疫苗产量提高了20%，即每批次多生产约20000支疫苗，公司的疫苗年度产量从以往的2.2亿支增加到2022年的40亿支。
丰塞卡还提到，利用生成式AI，辉瑞每年减少了7.5亿至10亿美元的成本。
四、硬刚微软Copilot！AI助手Amazon Q亮相，三步完成定制
今日，AWS推出了一款新型生成式AI助手Amazon Q。它支持用户输入问题，从而进行聊天、生成内容及插件联动。
AWS的客户可以选用Amazon Q服务，通过提问的方式快速解答疑惑，有望节省大量的架构和故障排除时间，并优化工作负载。
对于开发者来说，Amazon Q嵌入了AI编程助手CodeWhisperer，将利用其对AWS的深入了解和对代码库的理解，帮助开发者提高开发效率。用户只需编写一个提示符，Amazon Q将会给出一个初版草案，然后用户可以用自然语言对话进行协作迭代。
这一功能目前在Amazon Code Catalyst可用，且不久后将向全部客户开放。AWS称用户目前还无法从其他云厂商那获取这一能力。
Amazon Q的使用步骤非常简单，大致分为三步：
第一步，用户可以通过连接结合自己的组织自定义Amazon Q，它目前支持Salesforce、微软、谷歌、Slack等40多家公司的商业应用程序开箱即用。
第二步，一旦连接，Amazon Q就会开始索引用户的所有数据和内容，学习有关业务的所有知识。
第三步，用户几乎不需要什么操作，只需在浏览器中打开完全定制的Amazon Q。这一智能助手知道用户身份角色，能针对详细问题给出量身定制的答案，并给出引用参考来源。
Amazon Q注重隐私和安全，其宣称不会在外部共享用户数据，也不会使用它来改进基础模型。此外，Amazon Q还通过一组可配置的插件支持用户采取行动。
目前，亚马逊旗下的数据分析平台Amazon QuickSight已内置了Amazon Q。业务分析师称，通过简单地告知Amazon Q他们想要可视化内容，就可以创建仪表板和报告，耗时从几小时缩短到了几分钟。QuickSight中的Amazon Q功能自今天起提供预览版。
亚马逊的呼叫中心服务Amazon Connect也接入了Amazon Q。在传统的联络中心，用户往往会花费大量时间收集客户信息以了解他们的问题，然后花更多的时间寻找正确答案。
但现在，Amazon Connect已通过机器学习、转录和分析使这变得更加容易，支持Agent在Amazon Connect中与Amazon Q聊天，帮助他们快速响应客户问题。
亚马逊称，这些应用是Amazon Q落地的一个开始，亚马逊生成式AI的技术堆栈全景图如下所示。
五、数据库推出4项Zero-ETL集成，生成式AI自动化组织数据
要实现以上所有的功能，背后的数据尤为关键。
为此，AWS宣布推出4项Zero-ETL（提取、转换、加载）集成功能：Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL与Amazon Redshift数据库的集成，以及Amazon DynamoDB与Amazon OpenSearch服务的Zero-ETL集成。
新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL功能与Amazon Redshift数据库的集成使用户可以更轻松地连接和分析来自Amazon Redshift中多个关系型或非关系型数据库中的数据，以进行综合分析。
Amazon DynamoDB与Amazon OpenSearch服务的Zero-ETL集成可实现几乎实时的全文和矢量搜索，从而获得跨多个应用的整体洞察力，在提高运营效率的同时降低成本。
AWS还宣布推出由生成式AI驱动的Amazon DataZone智能推荐功能，旨在大幅减少为组织数据提供上下文所需的时间。
该功能由Amazon Bedrock的模型提供支持，可生成数据资产及其模式的详细说明，并提出分析用例。只需单击一下，即可生成全面的业务上下文。
结语：对战微软OpenAI联盟，亚马逊如何后发制人？
微软和OpenAI联盟风头正盛，全球第一大云巨头也在年底面向AI再出一记重拳。虽然亚马逊对这波生成式反应相对慢一些，但其在IaaS、PaaS、MaaS、SaaS的布局却一点不少，尤其在底层硬件、生态聚合方面表现突出。
当下，美国三大公有云服务巨头AWS、微软Azure、谷歌云都已将生成式AI置于重要战略位置，试图为增长疲软的云业务找到新的成长曲线。AWS的打法有所区别，不是对AI公司及消费级产品的重大投资，而是建立平台汇聚众多中小企业的模型，侧重为大模型及终端客户提供底层云基座，有望通过其海量客户及底座规模实现后发制人。