大家究竟需要怎样的“生成式 AI”？目前已达到 “临界点”？
作者 | 鲁冬雪
生成式 AI （Generative AI）已经成为全球范围内的一个重要趋势，得到越来越多企业和研究机构的关注和应用，生成式 AI 的全球市场正在迅速扩大，据 IDC、摩根大通等多家研究机构数据预测，预计到 2025 年，全球生成式 AI 市场的规模将达到 110 亿美元，年复合增长率超过 50%。
各大科技公司纷纷投入巨资开展生成式 AI 技术的研发和应用，纽约时间 7 月 26 日，亚马逊云科技数据库、数据分析和机器学习全球副总裁 Swami Sivasubramanian 在亚马逊云科技举办的纽约峰会（下文称“峰会”）上更是表示，“生成式 AI 技术已经达到临界点。”
目前我们观察到，随着机器学习、深度学习等技术的不断迭代，生成式 AI 的应用趋势正朝着端到端的方向发展。端到端的生成式 AI 应用可以直接从原始数据中生成新的数据，而不需要进行显式的特征提取或手动设计生成模型，这大大提高了生成效率和生成质量。同时，端到端的生成式 AI 应用还可以更好地理解和控制生成过程和结果，从而提高其可解释性和可靠性。
而本次峰会上亚马逊云科技宣布的“生成式 AI 创新"也是将“端到端”显示的淋漓尽致，进一步降低了生成式 AI 的使用门槛，无论是业务用户还是开发者都可以从中受益，来自千行百业的企业都能更专注于核心业务，提高生产效率，充分释放数据价值和生成式 AI 的潜力。
1生成式 AI 的第一要务是“帮用户解决生产问题”
说到底，生成式 AI 之所以可以被企业关注，其核心原因还是自于生产者的需求驱动，生产者需要提高生产效率和降低生产成本，而生成式 AI 技术可以帮助他们实现这个目标。例如，在一个工厂中，使用生成式 AI 技术可以自动生成最佳的制造流程，从而提高生产效率并降低成本等。正如 Swami 在纽约峰会上所说的，生成式 AI 的核心价值就是“通过生成式 Al 消除繁重的工作并提高生产力”。
在生成式 AI 技术的发展中，推动技术研发厂商不断前进的动力就是用户“既要又要还要”的业务需求和技术需求。在满足用户需求方面，亚马逊云科技是业内做的相当不错的厂商，前段时间推出的 Amazon Bedrock 便是一大利器，通过 Amazon Bedrock，文本生成、聊天机器人、搜索、文本摘要、图像生成、个性化情景式产品推荐等功能实例可以完美集成于应用中。
然而，只说功能多样性，不拆解技术的硬核，这对于生成式 AI 研发厂商是不公平的。评价一个模型的好坏，我们要从多个维度去看。
从训练和部署、架构扩展层面，一个好的模型需要易于训练和部署、提高效率，并能够随着业务需求变化进行扩展和升级。Amazon Bedrock 提供可扩展的 API 和无服务器体验，客户可以使用自有数据基于基础模型进行定制，并使用熟悉的工具和能力进行集成和部署，无需管理基础设施，降低成本。用户还可以使用 SageMaker、Experiments 和 Pipelines 等功能实现模型的集成和自动化管理、部署。
在数据安全层面，好的模型需要具备安全的数据存储能力，能够保护用户的数据不被泄露和滥用。而 Bedrock 非常注重数据的安全性和隐私保护，对所有数据都进行了加密，并且不会离开客户的虚拟私有网络（VPC）。此外，Amazon Bedrock 还提供了可配置的数据共享选项，客户可以控制数据共享和使用，确保数据的完整性和机密性。
在模型选择层面，一个好的模型需要具备丰富的模型选择，能够满足不同领域和场景的需求。用户需要能够选择适合自己业务的模型，并能够灵活地组合和集成多个模型，以实现更好的业务效果。Bedrock 提供了丰富的的基础模型选择，满足不同领域和场景的需求，使得用户可以更加灵活地选择和组合模型，满足自身的业务需求：
- AI21 Labs 开发的的多语种大语言模型系列 Jurassic-2，可根据自然语言指令生成文本内容；
- Anthropic 开发的大语言模型 Claude，能够执行多种对话和文本处理任务；
- Stability AI 开发的文生图基础模型 Stable Diffusion，能够生成独特、写实、高清的图像、艺术作品、商标和其它设计图；
Anthropic 接入到 Amazon Bedrock 的最新语言模型 Claude 2，可以在每个对话任务提示中使用 10 万个标记，能处理数百页文本甚至整本书。相比之前版本，还可以撰写长篇文件，长度可达几千个标记；
- Stability AI 将发布最新版文生图模型套件 Stable Diffusion XL 1.0，能够生成更逼真的影视、电视、音乐和教学视频，具有更精细的图像和构图细节。
- 亚马逊云科技新增的基础模型供应商 Cohere 将提供更直观地生成、检索和汇总信息的基础模型服务。
本次峰会上，亚马逊云科技宣布全面扩展其全托管基础模型服务 Amazon Bedrock，发布变革性的新功能 Amazon Bedrock Agents，该功能将助力开发者轻松创建全托管的 AI Agents，帮助开发者研发提效，解决开发过程中的复杂度问题。比如自动分解任务并创建编排计划，无需手动编码，开发者可以轻松创建基于生成式 AI 的应用程序，完成各种复杂任务；安全地访问和检索公司数据，通过简单的 API 接口连接，自动转换数据为机器可读格式，增加相关信息生成准确回答；自动调用 API 满足用户请求，例如保险机构可以开发生成式 AI 应用程序，帮助员工自动处理保险索赔或管理文书；提供完全管理的基础架构支持，消除了系统集成管理和配置工作，使开发人员能够充分利用生成式 AI，实现“全托管”。
要知道，在帮助用户构建自己的软件应用程序方面，在生成式 AI 没有步入舞台之前，低代码和无代码平台已经发挥了至关重要的作用，这些用户很少具备或根本没有编程知识。然而，随着生成式 AI 的加入，这些平台的使用将达到一个临界点，会产生全新的开发方式。
目前很多专业开发者开始使用 ChatGPT 进行软件开发，事实表明 ChatGPT 可以为开发工作提供帮助，但在具体的业务场景中，开发者需要的不仅是可以编代码的工具，而是从源头降低软件开发复杂度的工具。想要从源头入手降低软件的复杂度，就意味着开发者需要设计良好的架构、简化功能和模块开发、采用合适开发工具等方法，从而来减少软件中的不必要的复杂度，提高软件的可维护性、可读性和可扩展性。而亚马逊云科技此次新推出的 Amazon Bedrock Agents 便有效解决了这些难题，是 Amazon Bedrock 的一大看点，也是生成式 AI 领域在降低开发复杂度的新节点。
2向量数据库是生成式 AI 的基石
随着大模型和生成式 AI 技术的高速发展，数据安全和数据自定义成为了技术发展的基础，当前企业普遍比以往更为注重数据，数据已经成为企业的技术壁垒，与生成式 AI 结合的空间很大。
大模型和生成式 AI 需要大量数据训练，这些数据需要预处理和自定义以满足模型需求。同时，为确保数据的准确性和一致性，提高模型的准确性和效率，数据自定义要求越来越高。这意味着，以往只存储结构化数据的企业数据库已不能满足需求，于是向量数据库成为了全球数据库发展的重要趋势。
向量数据库当前被视为生成式 AI 的基石，因为其存储和处理的数据都是向量形式，而生成式 AI 模型则需要使用向量数据进行训练和推理，它提供了高效的数据存储和查询方式，并且可以与深度学习框架无缝集成，这种集成使得生成式 AI 模型能够更快地学习和生成更准确的数据。换言之，想要训练好生成式 AI，那必须要深度发展向量数据库技术。
生成式 AI 使用深度学习框架来学习数据中的模式，这些框架使用张量（即多维数组）来存储和操作数据，而向量数据库则提供了一种高效的方式来实现这种张量存储和操作。向量数据库使用向量索引和向量相似性算法来存储和查询数据，这种存储和查询方式非常高效，可以快速地执行类似“最近邻”这样的查询，而这种查询正是在生成式 AI 模型中非常常见的。
目前在研究大模型、生成式 AI 的厂商几乎都在同时研究向量数据库技术，基于生成式 AI、大模型的训练场景，各家的技术成果目前几乎没有太大差距。然而在本次纽约峰会上，亚马逊云科技新发布的适用于 Amazon OpenSearch Serverless 的向量引擎让人眼前一亮，正式可用后，该向量引擎支持简单的 API 调用，可用于存储和查询数十亿个 Embeddings。未来，所有亚马逊云科技的数据库都将具有向量功能，帮助客户简化运营，方便集成数据。
Embeddings 是一种将文本、图像、声音等数据转换为向量表示的方法以便于使用机器学习算法进行处理，目前在研发向量数据库的厂商都在相关方面展开了探索。亚马逊云科技本次在该方面的新发布，完全是从用户需求出发。
要知道，正常情况下的 Embeddings 应存储在靠近源数据的位置，一系列因素都将影响企业如何选择最适合自己的选项，比如当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings 的数量和性能需求等，因此亚马逊云科技为大家提供了三个选项满足更高级的向量数据存储需求：
- Amazon Aurora PostgreSQL 兼容版关系型数据库，支持 pgvector 开源向量相似性搜索插件，对需要存储和搜索大量向量数据的应用场景帮助意义很大；
- 分布式搜索和分析服务 Amazon OpenSearch，带有 k-NN（k 最近邻）插件和适用于 Amazon OpenSearch Serverless 的向量引擎，可以处理大规模的向量数据、提供高效的搜索服务；
- 兼容 PostgreSQL 的 Amazon RDS 关系型数据库，支持 pgvector 插件，可以满足企业日常对于 PostgreSQL 数据库的兼容性和向量数据存储需求。
由于向量数据通常具有很高的维度和稀疏性，采用传统的存储方式会占用大量的存储空间，在向量数据存储和查询过程中，需要执行许多复杂的计算，所以如何对向量数据进行压缩和优化、优化算法以提高计算效率是向量数据存储技术领域持续探索的问题，而此次亚马逊云科技新发布的向量引擎也为解决这两个技术壁垒提供了有力支持，同时从用户的需求层来看，这也是向量数据存储技术的新突破。
3生成式 AI 同样需要“加速”
生成式 AI 作为一种强大的技术，目前已在多个领域展现出了巨大潜力。然而在实际应用中，尽管其强大的创造力和表达能力令人惊叹，但生成式 AI 在“速度”方面仍有很大的进步空间。比如生成式 AI 的训练和推理过程非常耗时，尤其是再处理大规模的数据集时，速度是其限制因素之一；在实时性至关重要的自然语言处理等领域，如果生成式 AI 无法在短时间内生成结果，用户可能会感到沮丧甚至流失。总之，随着虚拟现实、实时翻译等越来越多创新场景的涌现，用户对生成式 AI 的速度有了越来越高的要求。
GPU 作为专门用于并行计算的处理器，可以同时处理多个数据单元来提高计算速度。在生成式 AI 的训练中，需要进行的大量矩阵运算和反向传播等计算、处理大量的数据和模型参数，而这些计算任务均可以通过 GPU 进行并行计算，以达到加快计算速度，降低训练时间的目的。这意味着，只要 GPU 选型选的好，那降低生成式 AI 的训练成本、提高训练质量就是分分钟的事。
本次峰会上新发布的 Amazon EC2 P5 实例作为亚马逊云计算平台上的一种强大的计算实例类型，便很好地满足了目前用户在生成式 AI 训练过程中的 GPU 需求。
Amazon EC2 P5 实例以其出众的硬件配置提供了卓越的计算、存储、横向拓展性能，它搭载了 8 个NVIDIA H100 Tensor Core GPU，拥有 640GB 高带宽 GPU 内存，同时提供第三代 AMD EPYC 处理器、2TB 系统内存和 30TB 本地 NVMe 存储。同时，Amazon EC2 P5 实例还提供 3200Gbps 的聚合网络带宽并支持 GPUDirect RDMA，从而能够绕过 CPU 进行节点间通信，实现更低的延迟和高效的横向扩展性能。
大家需要明确的是，NVIDIA H100 GPU 具有新的转换器引擎，可智能地管理和动态选择 FP8 和 16 位计算，与上一代 A100 GPU 相比，可在 LLM 上提供更快的 DL 训练加速。对于 HPC 工作负载，与 A100 GPU 相比，NVIDIA H100 GPU 具有新的 DPX 指令，可进一步加速动态编程算法。这种计算能力对于生成式 AI 模型中大量的矩阵计算和向量运算至关重要，与上一代基于 GPU 的实例相比，训练时间最多可缩短 6 倍。通过利用 P5 实例的高性能计算资源，可以显著降低训练成本，加快生成式 AI 的处理速度。
为了能够满足生成式 AI 模型的大量训练数据、模型参数及中间结果的大量数据存储和加载需求，Amazon EC2 P5 实例还提供了大容量的本地存储空间，使得我们能够更高效地管理和处理大规模的数据集，在本地存储的支持下，避免频繁的数据传输和加载，从而进一步提升生成式 AI 任务的效率。
值得一提的是，部署在第二代 EC2 UltraCluster 中的 Amazon EC2 P5 实例，与上一代 UltraCluster 相比，该网络结构可实现更大的规模、更少的集群网络跃点和更低的延迟。UltraClusters 中的 P5 实例可以扩展到与 PB 级网络互连的 20000 个 H100 GPU，并提供 20 exaflops 的聚合计算能力。
4端到端的生成式 AI“未来已至”
无论是完全托管式的 Amazon Bedrock，还是适用于 Amazon OpenSearch Serverless 的向量引擎、Amazon EC2 P5 实例，我们能看到的是，亚马逊云科技结合用户需求在生成式 AI“端到端”方面的探索越来越深入。作为 GenAI 领域的技术领导者，亚马逊云科技凭借先进的技术、庞大的生态体系、丰富的实践经验和可靠的安全性，为自己的用户们提供了愈来愈全面的支持和几近完美的解决方案来推动端到端生成式 AI 的发展。
Swami 在峰会上宣布”生成式 AI 技术已经达到临界点“，这意味着它变得更加成熟和可靠。亚马逊云科技利用自己过往在深度学习框架、算法库和工具等 AI 方面的探索经验，与全球数千个合作伙伴和数据科学家合作，持续输出完整、高效的 AI 解决方案，一心降低生成式 AI 的应用门槛，使更多人能够享受到这项技术的益处。
除了已经提到的几个亮点技术，在本次峰会上，亚马逊云科技还推出了其他四项生成式 AI 技术与应用——AI 编程助手 Amazon Codewhisperer 通过提供丰富的模型和算法库来快速构建和训练生成式 AI 模型，使得开发者能够更轻松地进入生成式 AI 领域，并在图像、语音和文本生成方面得到更好的支持和指导；亚马逊云科技将 Amazon Bedrock 的大语言模型能力与 Amazon QuickSight Q 的自然语言问答功能相结合，提供生成式 BI 功能，提高了数据分析的效率和易用性，同时结合数据可视化，Quicksight 将数据分析结果以更直观丰富的方式展现，让用户更好地理解和利用数据。此外，亚马逊云科技还通过 Amazon Entity Resolution，赋能企业提升数据质量、获取客户洞察；推出 Amazon HealthScribe，利用生成式 AI 助力构建医疗应用程序。
一直以来亚马逊云科技致力于降低生成式 AI 门槛，使更多的人能够轻松尝试和应用这项技术。他们希望成为生成式 AI 的普惠领导者，让更多的人从中受益。在峰会上，Swami 更是提到了生成式 AI 技术的发展需要“利用专门构建的 ML 基础架构实现低成本、低延迟的目标”，而亚马逊云科技也确实是这样做的——他们通过构建高效的基础架构和提供灵活的计算资源，来支持生成式 AI 技术的发展，他们不仅提供了高性能的 GPU 实例来加速模型训练，还推出了 Lambda 函数和 SageMaker 等服务，使得生成式 AI 模型的部署和运行更加简便和经济高效。
我们从本次峰会上的亚马逊云科技的新发布中不难看出，生成式 AI 的未来已经到来。为了共同推动技术的下一步演进，我们需要更多像亚马逊云科技这样的厂商和所有用户一起努力，相互学习、互相促进、携手并进，为生成式 AI 技术的发展提供更多解决方案。
