亚马逊云科技re:Invent：生成式AI的最新进展
在亚马逊云科技2024 re:Invent全球大会上，生成式AI无疑是最为吸睛的焦点话题。广大业界人士也对亚马逊云科技在生成式AI领域的最新成果充满了好奇。
在本次大会的媒体采访环节，亚马逊云科技生成式AI科学总监Sherry Marcus博士向趣味科技详细介绍了亚马逊云科技在生成式AI领域的最新进展，包括Amazon Bedrock平台、Amazon Nova模型以及相关的解决方案和服务。这些新品和技术的推出将进一步推动生成式AI的发展和应用，为客户提供更加优质、高效的AI服务。
Amazon Bedrock为企业定制生成式AI应用
在采访中，Sherry Marcus重点介绍了亚马逊云科技的Amazon Bedrock平台。她表示，Amazon Bedrock是一个预先定义的RAG（Reasoning, Argumentation, and Generation，即推理、论证和生成）模型平台，旨在为企业提供一系列能力，帮助他们制作自己的应用程序。
“我的团队主要负责你们看到的这些技术工作，比如RAG Agent、模型蒸馏等。”Sherry Marcus说道，“Amazon Bedrock提供了强大的基础，客户可以在此基础上根据自己的需求开发定制化的生成式AI应用。”
Sherry Marcus透露，截止目前为止，Amazon Bedrock已经取得了相当不错的客户渗透，并且提供了多种基于Amazon Bedrock的支持选项和衍生产品。这些产品主要以客户使用的数据为基础，并且可以通过多种方式提供给客户。
自动推理和上下文语境打磨解决AI幻觉
AI幻觉近年来给开发者造成了不少困扰。然而Sherry Marcus表示，亚马逊云科技已经推出了解决方案。譬如在亚马逊云科技CEO Matt Garman的主题演讲中，就介绍了自动推理（Automated Reasoning）能力，可以确保大语言模型的准确性。
“我们已经有一些具体的用户案例，特别是在安全方面。”Sherry Marcus说道，“如果客户想要建设自己的基础设施，那么在整个网络环境中，我们都有相应的解决方案来应对AI幻觉问题。”
除此以外，Sherry Marcus还介绍了另一种解决方案——上下文语境打磨（Contextual Grinding）。这种方案可以确保大语言模型根据基础型的原理或真理来判断输出的内容是否正确和合理，从而减少或降低AI幻觉。“虽然我们还不能100%解决AI幻觉，但是目前我们所能做到的，已经是行业当中相当不错、相当领先的解决方案了。”
为合作伙伴提供Bedrock Marketplace
谈到面向合作伙伴的Bedrock Marketplace for Partner，Sherry Marcus表示，这是一系列大语言模型的集合，大语言模型的供应者可以向Bedrock Marketplace提供他们的模型。
“Bedrock Marketplace for Partner的模型都可以在Bedrock平台上使用，实现具有各种功能的AI应用。它是Bedrock的一个战略性支柱，目的是为客户提供尽可能多的模型选择。”Sherry Marcus说道。
Sherry Marcus介绍说，亚马逊云科技的模型开发商合作伙伴，如果他们提供的模型被用户在Bedrock上使用，那么他们就能够获得收入。Bedrock Marketplace for Partner只是针对大语言模型的供应商提供API给Bedrock，而对于其他合作伙伴来说，这一点则是不存在的。
责任分担确保模型安全与稳定
在谈到与合作伙伴的模型可能产生的安全问题或其他问题时，Sherry Marcus表示，双方需要分担责任。
“绝大多数的模型供应商在正式发布之前，都会进行微调，以针对偏见或常见的攻击行为进行防御。”Sherry Marcus说道，“这是他们的0层防御。而在这些模型上线Bedrock之前，我们都会针对忠实性、无偏见性、稳定性和安全性进行测试和评估。”
与此同时，Sherry Marcus还介绍了Guardrails服务。这是一个为客户量身打造的定制化服务，可以根据他们的实际需求制定更高的安全标准和要求。
低成本、低时延、高准确度的Nova
在媒体采访中，Sherry Marcus重点介绍了亚马逊云科技推出的新一代AI基础模型——Amazon Nova。她表示，客户在选择AI模型时，主要关注三个方面：低成本、低时延和高准确性。Amazon Nova是一个全新的AI大模型系列，充分应用了新的专业知识和学术界、行业方面的积累经验和知识，将通过Amazon Bedrock模型库提供给客户。虽然亚马逊云科技仍将继续支持之前的Titan模型，但是Amazon Nova代表了新一代的产品线，它专注于推理，在对话场景、金融行业以及信息汇总等方面都可以大显身手。
“通过Amazon Nova，我们不但可以帮助客户大幅降低成本，而且还保持了与其他模型相当的准确度。”Sherry Marcus指出，“与竞争对手相比，Amazon Nova的成本足足降低了75%，这应该能够极大地刺激客户的购买意愿。”
在谈到Amazon Nova是否有典型客户时，Sherry Marcus表示，没有所谓的典型Amazon Nova用户。因为从财富100强的大型企业，到初出茅庐的创业公司，如今各行各业的客户都在使用Amazon Bedrock模型库，Amazon Nova也同样可以适用于千行百业。
基于客户反馈推动模型快速迭代
对于Amazon Nova模型的升级计划，Sherry Marcus表示，亚马逊云科技希望以与竞争对手相提并论的速度来推出升级迭代。不过她也进一步强调，与其他竞争对手不一样的是，亚马逊云科技在升级的时候，也会充分考虑来自客户的反馈和建议。
“我从未见过大模型的发布能够这么快，从LLAMA 2到LLAMA 3只用了三个月的时间。”Sherry Marcus说道，“除了新的能力和性能外，我们会基于客户使用Amazon Nova后的反馈来做升级。”
针对企业用户在网络上使用大模型时可能遇到的数据质量问题，Sherry Marcus建议采用蒸馏方法。她表示，通过这种方法可以使用行业特定的模型，开发出与老师模型一样准确的学生模型。
而在谈到大模型是否会取代小模型时，Sherry Marcus表示，她相信在实际应用当中，两者都会被用到。譬如在基于智能体的系统中，如果有特定的问题还是会用到大模型。而通用模型则会执行API，通过调用小模型来执行一些具体任务。
扩展法则的有效性：数据才是关键
在谈到扩展法则是否还有效时，Sherry Marcus表示，扩展法则依然奏效，但是关键在于数据。
Sherry Marcus观察到，在训练过程中，越多的神经元，也会带来越高的准确度。
“一切都是关于数据。”Sherry Marcus表示，“始终会有新的数据进来，而且是越来越多元化的数据。我们已经训练了很多数据和数据组，在大语言模型之下，这是一种叫做数据限制性的情况。”
Sherry Marcus认为，生成的数据可以用来进行训练，但是这些数据总要有一个来源。譬如纽约时报的大量文章可以提供风格相似的语言模式内容，并产生大量的语义数据。这些数据对于训练模型是非常有帮助的。