智东西（公众号：zhidxcom）

作者 | ZeR0

编辑 | 漠影

智东西11月29日拉斯维加斯报道，北京时间11月30日，在年度“云计算春晚”AWS re:Invent大会举行的第三天，AWS数据与AI副总裁Swami Sivasubramanian发表主题演讲，公布AWS帮助客户构建生成式AI应用的一系列工具与技术。

除了在Amazon Bedrock平台发布更多第三方和自研基础模型、语言模型外，Sivasubramanian还分享了AWS帮助客户负责任且更加轻松地构建、训练和部署生成式AI模型的多项创新措施。

一、提供更多第三方大模型，自研多模态基础模型上新

Sivasubramanian说，构建生成式AI应用离不开4个要素：基础模型、利用数据的隐私环境、易用的工具、特制的机器学习基础设施。

他将Amazon Bedrock平台称作是“在基础模型和大语言模型上构建和扩展生成式AI应用的最简单方式”，提供包括第三方模型和自研模型在内的广泛模型选择。超过10000个客户正在使用Amazon Bedrock。

1、提供更多第三方大模型

在上述基础上，AWS宣布明星AI安全独角兽企业Anthropic的Claude 2.1、科技巨头Meta的Llama 2 70B等大语言模型均已在Amazon Bedrock上推出。

2、推出Amazon Titan多模态嵌入

向量是定制生成式AI应用的关键。下图是不使用与使用向量嵌入的搜索结果对比，向量嵌入有助于提高搜索结果准确性。

多种模型混合增加了搜索方式的复杂性，会影响客户体验。为此，AWS推出Amazon Titan多模态嵌入，帮助客户为最终用户提供更准确且与上下文相关的搜索和推荐体验。

“多模态”是指模型可以为图像和文本生成嵌入，并将其存储在客户的矢量数据库中，最终用户可以使用文本、图像或图文混合提交搜索查询。

该模型将多达128个标记的图像和短英文文本转换为嵌入，从而捕获数据之间的语义和关系；默认情况下会生成1024维的向量。

3、Amazon Titan文本嵌入上新

Amazon Titan文本嵌入可将文本翻译成数值表示，支持语义搜索、文本注释和聚类，支持超过25种语言。

Amazon Titan Text Lite和Amazon Titan Text Express两款大语言模型均已可用，支持总结、翻译、对话、代码生成等丰富的文本相关任务，能够帮助优化准确性、性能与成本。

其中Lite高度可定制，性价比高，最大上下文长度为4096个token，非常适合英语任务，可以对文章总结、写文案等任务进行微调。

Express使用范围更广泛，最大上下文长度为8192个token，适合开放式文本生成、对话聊天等任务，并支持检索增强生成（RAG）工作流。

4、推出Amazon Titan图像生成模型预览版

在图像生成方向，AWS推出Amazon Titan图像生成模型预览版。用户输入文字，就能实现扩展或更换背景、调整主体方向、改变图像尺寸等图像编辑要求。

该模型由高质量、多样化的数据训练而成，可以理解复杂的提示词，创建更准确的输出，例如具有包容性属性和有限失真的逼真图像。企业还可以用专有数据来定制模型。

Sivasubramanian强调说，Titan图像生成模型支持负责任的AI使用，其生成的所有图像都包含一个不可见的水印，通过提供一种谨慎的机制来识别AI生成的图像，帮助减少错误信息传播。

二、三大功能让基础模型定制更安全准确

“数据是生成式AI应用的差异所在。”

Sivasubramanian分享道，Amazon Bedrock支持用私有数据安全地定制基础模型，该平台提供的定制Amazon Titan模型新功能包括微调、持续预训练、RAG。

借助微调，企业可以通过提供自己的特定标注训练数据集来提高模型准确性。Amazon Bedrock支持对Meta Llama 2、Cohere Command Light等第三方模型和AWS自研模型Amazon Titan进行微调。

持续预训练可以帮助模型在原始训练之外，通过积累更多的健壮知识和适应性，变得更加特定于领域。通过持续预训练，企业可以在具有客户管理密钥的安全托管环境中使用自己的未标注数据来训练模型。

持续预训练可用于Amazon Titan Text模型的公开预览版，包括Titan Text Express和Titan Text Lite。预训练完成后，用户可以收到唯一的模型ID，定制模型将由Amazon Bedrock再次存储。

Amazon Bedrock知识库已全面开放。通过知识库，企业可以安全地将Amazon Bedrock中的基础模型与自有数据连接起来，以用于检索增强生成，访问附加数据以生成更相关、更具体和更准确的响应，而无需不断重新训练基础模型。

该知识库可管理初始向量存储设置，处理嵌入和查询，并提供生产检索增强生成应用程序所需的源属性和短期内存。企业还可以定制检索增强生成工作流以满足特定的用例需求，或者将检索增强生成与其他生成式AI工具及应用程序集成。

Amazon Bedrock提供了丰富的向量数据库。

三、Agents for Amazon Bedrock全面可用，自动编排完成复杂任务

Agents for Amazon Bedrock通过使用基础模型的推理能力，将用户请求的任务分解为多个步骤，创建编排计划，然后调用公司API和使用检索增强生成访问知识库来执行该计划，帮助用户加速生成式AI应用开发。

借助Agents for Amazon Bedrock，用户轻点几下，就能让生成式AI应用完成复杂任务。

其对编排的改进控制功能变得更强，对思维推理链也具有更好的可见性。开发人员使用跟踪功能可以来跟踪执行计划时使用的推理，查看业务流程中的中间步骤，并据此对问题进行故障排除；还可以访问和修改agent自动创建的提示词，进一步增强终端用户体验。

Agents在专注于特定任务时表现更好，指令越清晰、可用的API越集中，基础模型就越容易推理并确定正确的步骤。

AWS生成式AI创新中心收到很好的反馈，即将支持定制Anthropic Claude模型的计划。

四、5项Amazon SageMaker新功能：让构建与部署生成式AI模型更轻松

从收集数据、创建聚类（clusters）、分布模型训练、checkpoint模型到修复硬件问题，训练基础模型的过程充满挑战。对此，Amazon SageMaker机器学习平台提供了覆盖推理、创新和MLOps的一系列创新功能。

Sivasubramanian宣布了全托管服务Amazon SageMaker的5项新功能，让客户能够更轻松地构建、训练和部署生成式AI模型。

1）SageMaker HyperPod：自动在数百或数千个加速器之间分配训练工作负载，帮助客户将模型训练时间缩短多达40%。

2）SageMaker Inference：支持客户将多个模型部署到同一个AWS实例，更好地利用底层加速器并降低部署成本和延迟。

3）SageMaker Clarify：帮助客户评估、比较、选择适合其特定用例的最佳模型，根据选择的参数来支持负责任地使用AI。

4）两项SageMaker Canvas增强功能：无需编写任何代码即可构建自定义模型，让客户能够更轻松、更快地将生成式AI集成到工作流程中。

五、提供数据基础全套服务，向量搜索为生成式AI准确性护航

Sivasubramanian说，强大的数据基础是生成式AI的关键。AWS提供了数据基础的全套服务。

向量搜索是机器学习领域的一种新兴技术，通过使用距离或相似性度量比较向量表示，来找到与给定数据相似的数据点。这种方法能实现精确的信息检索，对构建生成式AI应用非常有用。

Amazon Aurora PostgreSQL、Amazon RDS for PostgreSQL、Amazon OpenSearch Service、Amazon OpenSearch Serverless等服务均提供向量搜索能力。

AWS最新正式发布的Amazon OpenSearch Serverless向量引擎是一种简单、可扩展且高性能的相似度搜索功能。

向量引擎支持通过在同一查询中组合向量搜索和全文搜索，来优化和调整混合搜索的结果，让用户无需管理底层向量数据库基础设施，即可轻松构建机器学习增强搜索体验和生成式AI应用程序，几毫秒可存储、更新和搜索数十亿个有数千个维度的向量嵌入。

AWS还宣布Amazon DocumentDB和DynamoDB内置的向量搜索功能全面可用，支持用户在文档数据库中以毫秒级响应时间存储、索引和搜索数百万个向量，并推出Amazon MemoryDB for Redis向量搜索功能的预览版。

分析数据库引擎Amazon Neptune Analytics也正式发布，更易发现图形与向量之间的关系，还可以使用它增强基础模型的提示，让图形数据分析更高效简便。初步基准测试标明，Neptune Analytics从Amazon S3加载数据的速度比现有的AWS解决方案快80倍。

AWS还推出了Amazon OpenSearch Service zero-ETL与Amazon S3集成的预览版，使客户能够直接查询其运营数据，降低复制数据或管理多个分析工具的操作复杂性，避免过多重复管理，减少了成本和操作时间。

此外，AWS发布了由生成式AI支持的Amazon DataZone自动化功能预览版。

该功能由Amazon Bedrock的大语言模型提供支持，可以使传统劳动密集型数据编目过程自动化，生成数据资产及其模式的详细描述，并建议分析用例，从而大大减少为组织数据提供上下文所需的时间，让数据编目和发现进一步简化。

为了帮助客户和合作伙伴在不共享原始数据的情况下应用机器学习模型，AWS推出AWS Clean Rooms ML预览版。该功能可帮助企业及其合作伙伴在无需相互复制或共享原始数据的情况下共同训练模型，多则可节约数月时间。

六、用AI优化数据管理，给开发人员持续减负增效

AI为优化数据基础提供了更多燃料，使得数据管理更容易、更好用、更直观、更易访问。

AWS昨日发布的生成式AI助手Amazon Q能够支持开发者全生命周期，根据企业业务进行定制，通过连接到企业的信息库、代码、数据和企业系统，向开发人员和IT专业人员提供对话问答、优化Amazon EC2实例选择、直接在控制台中排除和解决错误、网络故障排除协助等功能，使其无论是构建应用程序、研究最佳实践、编程还是解决问题，都能快速访问答案并获得想法上的帮助。

启用AI驱动扩展和优化的Amazon Redshift Serverless，会根据查询复杂性、频率、数据集大小等维度主动和自动扩展容量，提供平衡价格与性能的优化。

Amazon  Redshift查询编辑器中的Amazon Q生成式SQL预览版可根据自然语言提示生成SQL建议，让编写有效的SQL查询更高效。数据库管理员还可以授权模型使用AWS帐户中所有用户的查询历史记录来生成更相关的SQL语句。

AWS Glue数据质量功能预览版即将发布，用机器学习来检测统计异常情况，帮助提高数据质量，无需写代码即可深入了解数据质量问题、数据质量评分、可用于持续监视异常的规则建议。

业务用户经常需要分享其数据发现。对此，AWS推出QuickSight的Amazon Q预览版。它可以帮助业务用户创建格式优美的叙述来描述数据，在QuickSight中轻松与他人共享文档、幻灯片格式的视觉效果、图像与文本，还可以帮助理解仪表板上的关键亮点、提供数据问答服务。

结语：生成式AI仍处于早期阶段，负责任的AI日益受关注

在Sivasubramanian看来，生成式AI仍处于早期阶段，依赖于干净的数据和人工输入才能取得成功。数据、生成式AI和人类三者相辅相成，共同为客户提供创新和更好的体验。

比如Amazon Bedrock创建应用程序，用户输入自然语言就能收集完成项目的详细步骤、材料、工具和建议的列表，Code Whisperer提供了AI驱动的编程建议，Amazon Q通过扮演AWS及商业专家角色来加速生产力。

由AWS委托、Morning Consult对美国商业领袖代表性样本进行的一项新调查显示，随着越来越多的公司和组织将生成式AI应用于其业务，负责任的AI变得越来越重要。77%的受访者表示他们熟悉负责任的AI，47%的受访者计划在2024年对负责任的AI进行比2023年更多的投资。

最后，针对在开发所有阶段都至关重要的模型评估，AWS推出Amazon Bedrock模型评估预览版，为开发人员提供用于构建生成式AI应用程序的评估工具，使其能够评估、比较和选择适用于自家用例的最佳基础模型。