当前位置:首页|资讯|亚马逊|生成式AI|ChatGPT

基础模型、自研芯片、数据,亚马逊云科技全面解锁生成式AI价值

作者:云数科技圈发布时间:2023-07-18

原标题:基础模型、自研芯片、数据,亚马逊云科技全面解锁生成式AI价值

以ChatGPT为代表的“生成式AI”掀起了新一轮AI浪潮,引发了众多科技公司的追逐,目前市场知名的大模型已经近百款,开启了“百模大战”。大模型虽然不少,但对很多企业而言,这些通用模型并不一定适用自己,它们更希望能拥有一个真正属于自己的大模型。然而,对于普通企业要实现这个愿望并不容易,因为大模型有很高的门槛,算力、数据以及技术人才,任何一项缺失或者不足都可能让这一愿望落空。

在日前落幕的2023亚马逊云科技中国峰会上,亚马逊云科技给出了自己的解决办法,并全面展示了亚马逊云科技如何帮助企业拥有自己的大模型和基于大模型的应用,从而全面解锁生成式AI的价值。

01 每个企业都可以拥有自己的大模型

对于徘徊在大模型门外的众多普通企业而言,借助云服务商的能力来降低其中的技术门槛,从而实现生成式AI应用在本企业的落地是一个不错的解决之道。作为云服务领头羊的亚马逊云科技正在为此努力。

“在云计算时代我们提供通过API访问云上应用的快捷访问,这一愿景不会因为生成式AI的出现而改变,我们希望将这项技术交到每一个构建者和每一个商业用户的手中。”亚马逊云科技全球产品副总裁Matt Wood在主题演讲时表示。

亚马逊云科技全球产品副总裁Matt Wood

正如Matt Wood所说,亚马逊云科技提供了以API形式调用的基础模型服务,同时还提供了一个安全私密的环境去对基础模型调优、去定制模型,这就是亚马逊云科技今年发布的Amazon Bedrock服务。Amazon Bedrock服务允许用户通过 API 访问来自 AI21 Labs、Anthropic、Stability AI 和亚马逊的基础模型Amazon Titan。

Amazon Bedrock 是客户使用基础模型构建和扩展生成式AI应用程序的最简单方法,大大降低了开发者的使用门槛。在 Amazon Bedrock上,用户可以通过可扩展、可靠且安全的亚马逊云科技托管服务,访问从文本到图像的一系列强大的基础模型。

其中的Amazon Titan是亚马逊云科技自研的基础模型库,目前已经有两个基础模型,包括Amazon Titan Text和Amazon Titan Embeddings,可实现文本归纳总结、搜索结果嵌入、有害内容删减等,用户可以非常安全、隐私地对这些模型做优化和微调。

今年亚马逊云还推出了生成式AI服务Amazon CodeWhisperer,这是一项基于机器学习为开发人员提供代码生成的服务,支持包括Java、JavaScript和Python等在内的15种不同的编程语言。在测试中,与未使用CodeWhisperer的参与者相比,使用CodeWhisperer的参与者完成任务的速度平均快57%,成功率高27%。这项服务目前已经正式可用,个人用户可免费使用。

02 更高性价比满足多样化的算力需求

生成式AI是建立在强大算力基础之上的,一次ChatGPT的模型训练成本就高达数百万美元。企业的生成式AI应用对算力需求虽然不像ChatGPT这么大,但算力仍然是妨碍生成式AI项目落地的重要原因。

亚马逊云科技从成立的第一天就一直致力于通过技术创新来降低成本,而自研芯片就是其中最为重要的手段。亚马逊云科技目前有三条自研芯片生产线,分别是通用芯片Graviton、专用AI芯片Trainium和Inferentia、以及Nitro,它们不仅大大丰富了实例类型,同时还大幅降低了算力成本,提升了算力性价比。

Graviton是一款基于ARM架构的通用处理器,目前已经演进到第三代,这就是Graviton3,相比之前的Graviton2,计算性能提高多达25%,浮点性能提高多达2倍,加密工作负载性能最多加快2倍。而去年新推出的Graviton 3E特别提升了向量计算的性能,这项性能指标对于高性能计算HPC来说非常重要。

Trainium和Inferentia是两款机器学习专用芯片。前者面向训练场景,后者面向推理场景。基于Trainium的Trn1实例和通用的GPU实例对比,单节点的吞吐率可以提升1.2倍,多节点集群的吞吐率可以提升1.5倍,从成本考虑,单节点成本可以降低1.8倍,集群的成本更是降低了2.3倍。而推理芯片Inferentia目前推出了第二代,第二代Inferentia可以大规模部署复杂的模型,例如大型语言模型(LLM)和Diffusion类模型,同时成本更低。以Stable Diffusion 2.1的版本为例,基于第二代Inferentia的Inf2实例可实现50%的成本节约。

Nitro是亚马逊云科技的第一款自研芯片产品,去年推出的第五代Nitro将每瓦性能提高了40%。Nitro提升了亚马逊云科技在基础架构上的灵活性,大大加快了各种计算实例的推出速度,目前亚马逊云科技的实例类型已经超过600种。另外,Nitro还是目前商业化最为成功的DPU芯片。

亚马逊云科技大中华区产品部总经理陈晓建

“面对算力的需求井喷所带来挑战,我们通过自研芯片提供更好的性价比,通过各种丰富的计算、网络、存储等各种产品的组合应对突发的算力需求,通过Serverless有效降低运维的复杂性,从而简化算力的使用,全面满足用户的多样化的算力需求。”亚马逊云科技大中华区产品部总经理陈晓建说。

03 数据是AI应用的起点

众所周知,数据和算法、算力一起被称为人工智能应用的三要素。生成式AI应用中对数据有着很高的要求,比如需要更为海量的数据(尤其是通用AI应用)和更高的数据质量。

一直以来,亚马逊云科技就高度重视企业数据,并提供全生命周期的数据服务,这将为企业生成式AI应用的落地奠定非常好的基础。目前,亚马逊云科技提供的数据服务包括三类:

1. 全面的工具集,满足现在和未来所需。

亚马逊云科技已经推出了15种专门构建的云上托管数据库服务,可为各类应用场景提供完美契合的数据服务;亚马逊云科技的分析服务已全面实现Serverless化,包括交互式查询服务Amazon Athena、数据仓库服务Amazon Redshift、数据集成服务Amazon Glue、商业智能服务Amazon QuickSight等。

2. 轻松集成,连接所有数据。

亚马逊云科技最近推出了Aurora新的服务——Amazon Aurora可以与Amazon Redshift进行Zero-ETL集成,允许使用 Amazon Redshift 对来自Aurora的PB级事务数据进行近实时分析和机器学习 (ML)。事务数据在被写入Aurora后的几秒钟内,即可用在Amazon Redshift中,而不必构建和维护复杂的数据管道来执行提取、转换和加载(ETL) 操作。

3. 构建端到端的数据治理。

亚马逊云科技去年推出的一项全新的数据管理服务Amazon DataZone,可以让客户更快、更轻松地对存储在亚马逊云科技、客户本地和第三方来源的数据进行编目、发现、共享和治理。

除了上述服务之外,亚马逊云科技的全球化部署、在世界各地的安全和合规能力以及强大的合作伙伴生态对于那些具有全球化部署需求的企业也具有很大的帮助。

“亚马逊云科技提供了广泛和深入的基础架构的服务,通过丰富的服务和功能,我们相信可以帮助客户有效应对由于AI创新技术,由于全球的业务扩张所带来的IT压力。”陈晓建表示。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1