亚马逊云科技Bedrock助力客户构建生成式AI应用程序
关键字: [innovate2024, Amazon Bedrock, Generative Ai Models, Model Customization, Knowledge Base Integration, Multi-Step Agents, Prompt Engineering]
本文字数: 2600, 阅读完需: 13 分钟
导读在这次活动上,亚马逊云科技公司的Generative AI Sciences主任谢丽·马库斯(Sherry Marcus)阐述了Amazon Bedrock如何让客户能够构建生成式人工智能应用程序。具体而言,它提供了优秀的模型选择,允许根据特定业务目的定制模型,并提供了企业级的安全性和隐私保护。该演讲着重介绍了Amazon Bedrock如何让客户能够生成符合其业务目标的GenAI应用程序,在提高准确性和性能的同时降低成本,并通过防护栏和隐私控制确保负责任的人工智能。
演讲精华在她富有吸引力的演讲中,亚马逊云科技Generative AI Sciences主任Sherry Marcus揭示了Amazon Bedrock的变革力量,这是一个开创性的平台,让企业能够发挥生成式人工智能(GenAI)的无穷潜力。凭借她深厚的专业知识和丰富的见解,Sherry引导我们探索这项尖端技术的复杂景观,阐明其优势以及它如何推动企业走向前所未有的创新和成功高度。
首先,Sherry强调通过Amazon Bedrock获得各种行业领先模型的无与伦比优势。这种广泛的模型选择使企业能够生成精心定制以满足其独特业务目标的GenAI应用程序,为增长和优化开辟了一个全新的领域。她指出:“企业可以选择可用的行业领先模型。鉴于这些行业领先模型,企业能够为其业务目标生成GenAI应用程序。”
定制化成为Amazon Bedrock的一个关键优势,允许企业根据其特定的业务目的对这些模型进行微调。通过基于公司的专有数据来完善这些模型,可以提高准确性,降低延迟,优化成本,确保生成式人工智能能够顺利高效地融入其运营。Sherry解释道:“第二个优势是,企业可以根据其特定业务目的定制这些模型。定制模型意味着根据企业的数据对模型进行微调,从而提高准确性,通过减少模型的延迟或降低运行成本来提高性能。”
Sherry强调负责任的人工智能对于Amazon Bedrock的理念至关重要。有了强大的保护措施,企业可以放心,用于训练模型的数据将保持私密和安全,不会遭到未经授权的访问或滥用。此外,Amazon Bedrock的全面防护措施可确保模型响应保持适当并符合预期目的,防止任何意外或不当的输出。她表示:“最后,在运行您的模型和算法时,我们拥有出色的企业级数据和隐私安全保障。
为了阐明生成式人工智能在实际应用中的作用,Sherry提出了一个引人入胜的使用案例:某客户呼叫中心正在寻求提高服务质量,同时降低运营成本。在这种情况下,由Amazon Bedrock驱动的生成式人工智能应用程序可以发挥宝贵作用,使呼叫中心能够更准确、更高效地响应客户查询,从而提高客户满意度并降低运营开支。“举例来说,如果您运营一个呼叫中心,您的目标无疑是提高向客户提供正确答复的可能性,同时降低成本,不是吗?这正是采用生成式人工智能应用程序的一个绝佳场景。”
模型选择是整个过程中的一个关键环节,Sherry强调选择与特定业务需求相符的模型的重要性。在高流量呼叫中心的情况下,她建议选择更小、更具成本效益的模型,这些模型可以处理大量查询,而不会影响性能或产生过高成本。“第二个重点是选择适合目的的模型。因此,在客户呼叫中心的例子中,如果有大量来电需要大量推理,您可能希望选择更小、更具成本效益的模型。”
提示管理和定制成为Amazon Bedrock武库中强大的工具,使企业能够微调模型以实现最佳性能。Sherry概述了几种定制方法,包括通过提示向模型提供文本说明、利用检索增强生成(RAG)来增强模型响应的外部知识,以及基于更新数据微调模型权重。“第三个领域是负责任的人工智能领域,这涉及确保用于训练模型的数据是私有的,不会与任何开发人员或用户共享。其次,需要有适当的防护措施,以避免客户看到与特定模型不相符的模型响应。第三个领域,也是最后一个领域,正如我提到的,是提示管理和定制。
谢丽介绍了一项开创性的Converse API功能,它通过解析提示并将其与特定功能或代理相关联,从而优化了模型完成。这种创新方法确保模型可以准确高效地响应,利用外部数据源提供全面和与上下文相关的响应。她阐述道:“我想谈论的一个新功能就是所谓的Converse API。正如大家所知,当使用生成式人工智能应用程序时,需要输入大量文本作为提示。现在,对于模型来说,重要的是要知道如何解析这个提示以优化模型的完成。这就是Converse API所做的。”
即将推出的Amazon Bedrock商店将成为一个游戏规则改变者,为客户提供大量可公开获取和新兴模型供探索和选择。这个庞大的模型库使企业能够尝试、评估,并最终选择最适合其独特需求的解决方案,从而培养创新和持续改进的文化。她解释道:“很高兴能谈论即将推出的Amazon Bedrock,Amazon Bedrock商店,我们将在那里为客户提供数百种公开可用和新兴模型的选择。众多好处之一是,您可以在Amazon Bedrock Playground中试用它们,检查其防护措施,最重要的是,能够增加选择,找到最佳模型。”
谢丽介绍了自定义模型导入的概念,允许客户将在Amazon SageMaker中训练的模型导入到Amazon Bedrock,从而受益于其先进功能,如防护措施和代理。这种无缝集成确保企业可以充分利用Amazon Bedrock的强大功能,同时保留根据特定需求定制和微调模型的灵活性。她补充道:“接下来我想谈谈Amazon Bedrock的自定义模型导入。在许多情况下,客户希望能够查看和试用一个模型,在亚马逊的SageMaker产品中调整其权重和配置,但随后他们希望能够将其导入Amazon Bedrock,以获得Amazon Bedrock的全部功能,包括防护措施和代理。
定制化技术,如持续预训练和微调,在本文中得到了深入探讨。Sherry强调了Anthropic最近推出的Claude模型微调功能,这是一项通过Amazon Bedrock提供的全面托管服务。这一开创性的产品使企业能够以前所未有的简便和高效方式微调模型,确保最佳性能并与其独特的品牌语音和沟通风格保持一致。她表示:“第二个定制化领域是微调,正如我所说,这是基于标注数据,而持续预训练则是基于未标注数据。我们很高兴宣布,我们已经为Anthropic的Claude模型推出了微调功能。在当今行业中,我们是唯一提供这一功能的公司。它作为一项全面托管服务,用于微调您的Claude模型。”
基于RAG(检索增强生成)的知识库和嵌入简化了从各种数据源(包括网络、Atlassian Confluence、SharePoint和Salesforce)检索和生成信息的过程。Sherry强调了执行文本到SQL操作的能力,使模型能够从元数据过滤器和数据库中提取相关信息,确保响应的准确性和上下文相关性。她解释道:“因此,我们为Amazon Bedrock知识库生产了许多新的数据源。我们能够爬取网络、使用Atlassian Confluence、SharePoint以及Salesforce。利用这些新的数据源,您可以执行各种文本到SQL类型的功能,这意味着根据与每个数据库相关联的元数据,我们在RAG功能中创建了元数据过滤器。
Amazon Bedrock的Agents是一项革命性功能,能够动态规划和执行多步骤任务,访问外部数据库并创建复杂的工作流程。Sherry举例说明了在旅游业中的一个引人注目的使用案例,其中一个Agent可以无缝地预订复杂的假期,考虑特定的饮食要求、餐厅偏好和其他复杂细节,通过智能规划和执行来简化整个过程。因此,Amazon Bedrock的Agents本质上是动态规划和为给定类型的感兴趣任务创建多步骤计划。Agents能够提供的秘密有几个,但主要归结于能够创建这些计划。所以,如果再次需要创建一个假期,并且有几个参数,比如想去哪里就餐、想住什么样的酒店、每天的行程安排是什么,可以看到规划可能会变得非常复杂。
记忆保留是Agents的一个关键特性,使它们能够记住过去与客户的对话和互动,在整个预订过程中确保无缝和个性化的体验。此外,代码解释能力使Agents能够执行复杂的数学运算,这是传统语言模型所难以胜任的任务。需要提及的一两件事是记忆保留。我们观察到,对于Agents来说,记住与过去客户的对话很重要,所以如果正在预订这个假期,Agent需要记住之前对话的历史,这在预览版中是可用的。我们还在预览版中提供了代码解释,这允许执行复杂的数学运算,让Agent能够进行LLM不太擅长的复杂数学计算。
提示工程作为一种强大的工具,可以管理和优化提示,使客户能够在其应用程序中重复使用、存档、迭代和快速部署提示。Sherry介绍了Prompt Flows,这是一个拖放式界面,可以简化提示的测试和部署,使企业能够评估性能指标,如延迟和成本,确保最佳效率和可扩展性。提示工程的关键在于,许多客户希望能够一次又一次地使用相同的提示。他们希望能够管理这些提示,并且能够快速存档或迭代它们,然后以快速的方式测试和部署它们。这就是Amazon Bedrock上的提示工程允许客户做到的。客户从一个提示模板开始,布置出希望提示能够执行的特定功能,测试它,版本化它并部署它,Amazon Bedrock Playground上提供了一套完整的提示管理套件。该套件非常有用。Prompt Flows是一个拖放式界面,它允许客户再次布置不同类型的提示,并进行A/B测试,测试点,功能测试,包括延迟和成本测试。
Amazon Bedrock Studio作为一种强大的集成工具出现,为企业提供了一种易于使用的游乐场,可以快速生成量身定制的GenAI应用程序。以医疗保健行业为例,Amazon Bedrock Studio使企业能够集成自身的数据集、配置防护(guardrails),并快速开发满足其特定需求的应用程序。“Amazon Bedrock Studio是集成功能的集成部分,可让企业快速生成GenAI应用程序,我们采用了一种非常易于使用的游乐场方式。正如您在这里看到的,我们使用了一个示例,该示例用于监控,所以我们首先有一个示例,该示例与一家名为HealthVista的虚构公司合作,在这个示例中,企业可以开始查看希望能够查看和分析的不同数据集,然后基于这些数据集,企业可以开始从S3存储桶中引入数据集,开始引入自身的数据,然后逐步创建不同的应用程序和与这些应用程序相关的防护栏。”
防护栏是负责任人工智能的基石,也是贝德罗克的关键组成部分,确保内容过滤、隐私保护、偏差缓解和情境植根,防止虚构和保持准确性。强调了根据特定业务需求量身定制防护栏的重要性,例如拒绝某些主题或限制模型响应以符合航空公司的品牌和客户期望。“最后一个领域是防护栏领域。除了显然要考虑的毒性问题,即不希望模型回复不当内容之外,它实际上更多是一种业务能力功能,因为如果企业是一家航空公司,企业可能不希望客户询问有关政治的问题。所以企业只想允许某些主题。
总而言之,雪莉·马库斯的演讲全面深入地探讨了Amazon Bedrock,这是一个开创性的平台,让企业能够利用生成式人工智能的变革潜力。从行业领先的模型和定制功能,到知识库、代理人、提示工程工具和健全的防护措施,AMAZON BEDROCK成为一个改变游戏规则的存在,使企业能够创新、优化,并在不断发展的技术格局中保持领先地位。有了AMAZON BEDROCK,生成式人工智能的未来就在眼前,企业有望开启新的可能性、效率和增长的领域。
下面是一些演讲现场的精彩瞬间：
Amazon Bedrock首席科学家在演讲中阐释了如何利用生成式人工智能(GenAI)技术,并分享了其在亚马逊云科技的工作职责。
Amazon Bedrock Knowledge通过提供不同的分块选项和高效的检索方式,提高了准确性,为用户提供最相关的答复。
创新的人工智能代理能够记住与客户的过往对话历史,并通过代码解释器进行复杂的数学计算,为企业提供更智能的服务。
探索提示工程的关键在于让客户能够重复使用和管理提示,快速迭代、测试和部署提示。
在Amazon Bedrock Studio的集成功能中,用户可以通过一个简单易用的操场快速生成GenAI应用程序,例如用于监控的HealthVista公司示例。
这场演讲深入探讨了创新的生成式人工智能(GenAI)世界,以及Amazon Bedrock这一强大的构建GenAI应用程序的平台。演讲强调了使用Amazon Bedrock的优势,包括获取行业领先的模型、定制能力,以及强大的安全和隐私保护功能。
演讲者强调,在开始使用GenAI时,了解业务用例和策略至关重要。他们概述了关键步骤,如选择合适的模型、确保负责任的AI实践、提示管理,以及通过微调和检索增强生成(RAG)等技术进行定制。演讲还介绍了令人期待的新功能,如Converse API、Amazon Bedrock Store、自定义模型导入、持续预训练和具有改进准确性的知识库。
代理(Agents)这一具有创新性的功能得到了详细讨论,它能够实现复杂多步骤任务的动态规划和执行。演讲者谈及了记忆保留、代码解释、提示工程和Amazon Bedrock Studio,这是一个用于构建GenAI应用程序的用户友好界面。最后,演讲强调了负责任AI的防护措施的重要性,确保内容过滤、隐私保护和上下文理解,以实现准确可信的模型响应。
演讲最后邀请大家探索Amazon Bedrock及其创新的GenAI解决方案,让企业能够利用这种变革性技术的力量,同时保持道德和负责任的实践。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。