亚马逊云科技AI蓝图强调了可选性、可信度和可扩展的行业解决方案
本周，我们在纽约花了一天的时间，与亚马逊云科技的几位高管(包括该公司人工智能副总裁Matt Wood)一起回顾了亚马逊云科技的AI战略和进展。除了re:Invent 2023上阐述的内容外，我们对亚马逊云科技的AI方法也有了更好的理解。我们还单独会见了一家大型金融机构的高级技术主管，以评估客户与亚马逊云科技的叙述是否一致。尽管双方的故事给我们留下了积极印象，但调查数据显示OpenAI和微软在AI领域仍然保持领先地位，这一位置曾被亚马逊云科技占据，亚马逊云科技历来都是云创新的先行者。亚马逊云科技重新夺回领先地位的战略涉及三层堆栈(基础设施、AI工具和上层应用)中的多管齐下的方法。
在本期Breaking Analysis中，我们将回顾我们在纽约市的AI实地考察的收获。我们还将分享ETR关于Gen AI采用情况和关键障碍的调查数据。我们还将把这些数据与最近政府网络安全审查委员会对微软安全实践的严厉评论放在一起解读，并分享我们对亚马逊云科技未来AI机遇和挑战的看法。
Gen AI权力定律的发展
亚马逊云科技的生成式AI堆栈
我们无法获得Matt Wood与我们分享的PPT，因此我们将回到Adam Selipsky去年在re:Invent上展示的一张幻灯片的注释版本(由我们注释)。
上图描绘了亚马逊云科技三层Gen AI堆栈，包括用于训练基础模型和进行高效推理的核心基础设施。在该层之上是Bedrock，这是一种托管服务，提供访问利用LLM的工具的途径。堆栈的顶层是Q，亚马逊旨在通过类似于其自己的副驾驶的方式来简化Gen AI的采用。
基础设施层
我们来讨论每层堆栈的一些关键要点。 首先在底层有三个主要关注领域:1)亚马逊云科技在ML和AI方面的历史，尤其是SageMaker;2)其定制硅专业知识;以及3)大约400种实例的计算选择性。我们将依次介绍这三点。
亚马逊强调它一直在通过SageMaker从事AI工作。SageMaker虽然被广泛采用且功能强大，但也非常复杂。从SageMaker中获得最大价值需要了解复杂的ML工作流程、选择正确的计算实例、将其与管道/IT流程集成以及其他不简单的操作。大部分AI用例可以通过SageMaker解决。我们认为，亚马逊云科技有机会通过将Gen AI应用为编排层来简化使用SageMaker的过程，从而扩大其传统ML工具的采用。
在硅方面，亚马逊云科技长期以来一直在开发定制芯片，如Graviton、Trainium和Inferentia。亚马逊云科技提供了如此多的EC2选项，这可能会令人困惑，但这些选项使客户能够针对工作负载的最佳匹配来优化实例。亚马逊云科技当然提供了来自NVIDIA的GPU，并声称它是第一个推出H100的公司，也将成为首个推出NVIDIA超级芯片Blackwell的公司。
亚马逊云科技在核心基础设施层面的战略得到了Nitro和Elastic Fabric Adapter (EFA)等关键构建块的支持，可支持各种XPU选项，并从一开始就设计了安全性。
Bedrock和基础模型可选性
上升到第二层，这是受到高度关注的层，因为它与OpenAI竞争。我们观察到，大部分行业都无法为ChatGPT时刻做好准备。亚马逊云科技在我们看来也不例外。虽然它有内部基础模型Titan，但它决定提供多个模型是一种更好的方法。持怀疑态度的人可能会认为这是一种”修复无望，那就特色化吧”的做法，但亚马逊云科技的历史是既合作又竞争。Snowflake与Redshift就是一个经典案例，亚马逊云科技在这里同时为客户服务并从双方的采用中获利。
亚马逊Bedrock是一个托管服务平台，客户可通过它访问多个基础模型和工具，以确保可信的AI。我们在上面亚当的图表中添加了几个亚马逊云科技提供的基础模型，包括AI21labs的Jurassic、亚马逊自己的Titan模型、Anthropic Claude(鉴于亚马逊云科技对该公司40亿美元的投资，这可能是最重要的模型)。我们还添加了Cohere、Meta的Llama、Mistral AI的几个选择，包括它的混合专家(MoE)模型和其旗舰大型模型Mistral Large，最后是stability.ai的Stable Diffusion模型。我们也预计未来会看到更多模型，包括可能的DBRX。此外，亚马逊还将继续发展它自己的FM。您可能还记得去年11月曾爆出亚马逊有一个名为奥林匹斯(Olympus)的20万亿参数模型的消息，该模型由前Alexa主管在Andy Jassy直接领导下进行研发。
用应用简化Gen AI的采用
最后，顶层是Q，这是一个上层应用层，旨在成为特定使用案例的Gen AI现成解决方案。当前的示例包括用于供应链或数据的Q，并带有与Slack和ServiceNow等流行平台的连接器。从本质上讲，可以将Q看作是亚马逊云科技为不想自己构建的客户打造的一组Gen AI助手。亚马逊云科技在其营销中没有使用”副驾驶”一词，因为这是微软推广的术语，但我们基本上将Q视为副驾驶。
广泛采用Gen AI - 微软和OpenAI占主导地位
下图显示了ETR最新一期技术支出意向调查的数据，涉及1800多个账户。我们获得了ETR的许可，可以在他们为私人客户举办网络研讨会之前发布这些数据。垂直轴是平台的支出动力或净得分。水平轴是在这1800多个账户中的存在程度。红线40%表示极高的支出速度。右下角的表格插图显示了点的绘制方式 - 根据调查中的N来绘制净得分。
第1点 - OpenAI和微软在账户渗透率方面远远领先。OpenAI的净得分近80%，排名第一，而微软以611个响应领先。
第2点 - 亚马逊云科技在该调查中主要由SageMaker代表。在AI领域，亚马逊云科技和Google的距离比在整个云领域的距离要近得多。当我们展示云账户数据时，亚马逊云科技远远领先于Google，但似乎Google正在缩小差距。目前ETR数据集中还没有Bedrock的数据。亚马逊云科技和Google在AI领域都有强劲的净得分和非常可观的存在度，但这两个名字之间的压缩程度值得注意。
第3点 - 看看Anthropic和Databricks在ML/AI调查中的表现。尤其值得关注的是Anthropic，其净得分几乎与OpenAI相当，尽管N值远低于后者。但是，Anthropic是亚马逊云科技最重要的LLM合作伙伴。Databricks同样也在向右上方移动。我们了解到，ETR将在这一领域添加Snowflake的数据。您可能还记得，Snowflake实际上是将NVIDIA的AI堆栈容器化作为其在AI领域的主要举措之一，因此在未来几天内看到他们的表现将会很有趣。
第4点 - 在1月的调查中，Meta的Llama在垂直轴上领先于Anthropic和Databricks，有趣的是这两者的位置发生了互换……我们将看看这一趋势是否会持续下去。
AI工具多样性使之能够获得最佳战略匹配
我们在录制视频之后获得了下图，但还是想分享这些数据，因为它比前一张图提供了更详细和更细粒度的视角。它分解了净得分的计算方法。记住，净得分是衡量平台支出速度的一种方式。它测量了调查中有多少客户:1)采用了一个新平台;2)将支出增加6%或更多;3)支出持平，在+/-5%之内;4)减少支出6%或更多;5)流失。净得分通过从1+2中减去4+5来计算，反映了在某个平台上支出更多的客户净百分比。
下面我们显示了ETR调查中每个ML/AI工具的数据。
以下几点值得注意:
- 净得分40%或更高被视为极高水平。
- 鉴于我们在上一张图中展示的大N值，微软和OpenAI的主导分数值得关注。
- Anthropic的动力也令人印象深刻，但其在调查中的存在度(N值)仅为OpenAI的1/6。
- 我们目前还没有亚马逊Bedrock的数据，但很可能大部分Anthropic的采用都是通过亚马逊云科技实现的。
- 前9种工具几乎没有流失，除了OpenAI和Google Vertex有少量例外。
- 同样，除了Llama有一小部分客户减少支出外，其他工具在减少支出方面都没有例外。
- 排名前9的工具中，支出增加的客户比例都高于支出持平和减少支出的客户比例之和 - 这是一个不成熟市场的迹象，充满了发展动力。
业界一直在讨论LLM最终会被商品化的问题。我们仍在形成自己的意见并收集数据，但与客户的非正式讨论表明，他们认为可选择性和多样性是有价值的，我们的观点是，只要创新和”超越”仍在继续，基础模型可能会整合，但商品化的可能性较低。
Gen AI的采用速度快，但仍存在风险
让我们看一些其他ETR数据，并深入探讨将Gen AI投入生产的一些挑战。在今年3月对近1400名IT决策者进行的一项调查中，近70%的人表示他们的公司已经将某种形式的Gen AI投入了生产。下图显示了431家尚未投入生产的公司，并询问了它们的原因。
第一个原因是他们还在评估，但真正说明问题的是，数据隐私、安全、法律、监管和合规性担忧成为采用障碍的程度。这并不奇怪，但与大数据时代许多部署未经检查不同，如今大多数组织在AI方面都更加谨慎。但我们认为客户存在盲点，并承担了未被完全理解的风险。
微软的安全态势是客户面临的重大风险
鉴于对隐私和安全的担忧，人们不禁会回想起最近由国土安全部长发起调查微软去年遭到黑客攻击的报告，该攻击被追踪到来自中国。该入侵事件泄露了包括商务部长在内的主要政府官员的账户。
政府的报告彻底批评了微软，指出其优先考虑功能开发而非安全性，使用了过时的安全实践，未能关闭已知漏洞，并且在发生这一事件后，对于事件发生的原因及其解决方案进行了糟糕的沟通。这一故事被广泛报道，但值得在AI采用的背景下指出。以下是该报告的一些关键要点。
委员会认为这次入侵是可以预防的，绝不应该发生。委员会还得出结论，微软的安全文化不足，需要彻底修改……
在整个审查过程中，委员会发现了一系列微软的运营和战略决策，共同指向了一种企业文化，该文化忽视了对企业安全投资和严格风险管理的重视。
该报告还评估了其他云服务提供商，并特别指出了Google、亚马逊云科技和Oracle。该报告给出了它们在安全方面的具体最佳实践示例，让读者相信这些公司比微软采取了更好的安全措施。
为什么这对Gen AI的背景如此相关?这是因为云已成为网络安全的第一道防线。在云端有一个共享责任模式，大多数客户都了解这一点，而根据这份报告，微软没有履行自己的责任。
如果你是CEO、CIO、CISO、董事会成员或利润负责人……而你是微软的客户，你就得依赖微软来尽自己的职责。根据这份报告，微软正在失职，并让你的业务面临风险。这尤其令人担忧，因为微软的无处不在，几乎存在于每个市场，而且我们上面分享的AI采用数据令人惊叹。客户必须开始问自己，与微软打交道的便利性是否会带来需要缓解的风险。
当Satya Nadella接替Steve Ballmer成为CEO时，他拯救了微软免于式微，并发起了一场云计算行动号召。根据这份详细报告，微软违背了客户的信任，而许多客户现在正把他们的AI战略交给了微软之手。这对企业技术高管来说是一个警钟，如果被忽视，可能会给大批客户带来灾难性后果。
从Amazon Web Services AI简报中获得的经验
回到亚马逊云科技…如您所见，亚马逊云科技的表现不错，但如果您认为AI是新的下一件大事 - 我们确实这么认为 - 那么:1)游戏已经改变，2)亚马逊云科技还有很多工作要做。
那么本周我们从亚马逊云科技那里听到了哪些主题呢?
Matt Wood列出了他们认为客户AI计划的八个阶段。这些不一定是线性步骤，但它们是客户正在启动的关键里程碑和目标。
步骤1 - 训练。我们不需要在这里花太多时间，因为大多数客户都不会从头进行训练。相反，他们会从Anthropic或Mistral等公司获得预训练模型开始。亚马逊云科技确实声称，大多数领先的基础模型(除了OpenAI之外)主要是在亚马逊云科技上训练的。Anthropic显然是其中之一，但上周的Breaking Analysis还让我们注意到了Adobe Firefly。
步骤2 - 知识产权保留和机密性。也许这是最重要的起点。尽管我们刚才展示的ETR数据，但许多公司已经禁止在内部使用OpenAI工具。但我们确实知道，例如开发人员发现OpenAI工具在许多用例(如代码辅助)上比其他工具更好。例如，我们知道一些开发人员公司已经禁止使用ChatGPT进行编码，但他们发现OpenAI工具如此优秀，远好于Code Whisperer等工具，以至于他们会下载iPhone应用并在手机上使用它。这应该引起CISOs的关注。客户应该询问他们的AI提供商，是否有人在审查结果?使用了什么类型的加密?托管服务中内置了哪些安全功能?如何保护训练数据?数据是否可能被渗透，如果可能，会以何种方式?对数据流的访问是如何与外界甚至云提供商隔离的?
步骤3 - 应用AI。目标是将Gen AI广泛应用于整个业务，从而提高生产力和效率。现实情况是，客户用例正在成堆积累。ETR调查数据告诉我们，40%的客户正在从其他预算中挤出资金用于AI。积压正在增加，大量实验正在进行。从历史上看，亚马逊云科技一直是进行实验的绝佳之地，但从数据来看，OpenAI和微软正在获得大量这方面的业务。亚马逊云科技的论点是，其他云提供商固守于有限数量的模型。我们并不确信这一点。很明显，Google希望使用自己的模型。微软当然优先考虑OpenAI，但它已将其他模型添加到产品组合中。这个问题只有时间会证明答案。换句话说，在FM可选性是否成为一个重要标准时，亚马逊云科技在这方面是否真的拥有可持续的优势，或者其他参与者是否可以进一步扩展合作伙伴关系从而消除任何亚马逊云科技的优势?
步骤4 - 一致性和微调。获得一致和精细调整的RAG模型等。Matt Wood谈到了亚马逊云科技正在解决的”瑞士奶酪效应”。这是一种情况，如果RAG有数据，它的表现会相当不错，但在没有数据的地方，它就像是瑞士奶酪上的孔洞，模型会产生幻觉。亚马逊云科技声称已着手填补或避免这些空白，能最大限度减少低质量输出。
步骤5 - 解决复杂问题。例如，更深入地研究医疗保健、金融服务、药物发现等行业的问题。同样，这些并不是客户线性化的旅程，而是亚马逊云科技帮助客户解决的一些举措。如今大多数客户还无力攻克这些棘手的问题，但那些在相关领域有深厚资金的行业领导者则有能力这样做，亚马逊云科技希望成为他们的首选合作伙伴。
步骤6 - 更低、更可预测的成本。亚马逊云科技没有将这称为成本优化，但这就是成本优化。这是亚马逊云科技炫耀其定制硅的领域。虽然竞争对手现在也在设计自己的芯片，但正如我们多年来一直报道的那样，亚马逊云科技凭借2015年收购Annapurna公司在这方面拥有巨大的先机。
步骤7 - 常见成功用例。数据告诉我们，当今最常见的用例是文档摘要、图像创作、代码辅助以及我们所有人都在使用ChatGPT的领域。只要做好保护和安全工作，这是相对直接就能获得快速ROI的领域。
步骤8 - 简化。为那些没有资源或时间自己构建的人提供更简单的AI。亚马逊的Q旨在通过现成的Gen AI用例解决方案来攻克这一举措，如我们之前所描述的。目前我们还没有Q的采用情况的确切数据，但正在努力获取。
其他一些快速收获包括:
- 我们会见了亚马逊云科技的金融服务行业专家和跨行业专家，他们分享了保险、金融、媒体、医疗保健等领域的众多用例。这与我们之前讨论的权力定律完全一致。
- 亚马逊云科技正将自己定位为支持规模化的平台，并在这方面拥有良好的记录。
- Bedrock的采用非常强劲，有成千上万的客户。
- 最后三点我们已经稍微涉及过了 - 硅和LLM多样性 - 生态系统合作伙伴以及像Adobe这样在亚马逊云科技上进行训练并推出Firefly等产品的公司，我们上周曾对此进行了报道。
- 安全、隐私和控制。
- 通过Q实现上层应用程序。我们的看法是Q仍在发展中。打包应用不是亚马逊云科技的强项，但Q是一个开端，也许Gen AI使它们更容易进入上游应用领域。
Amazon Web Services AI展望
OpenAI和微软抢走了亚马逊云科技十多年的上市时间优势;他们能否夺回这一优势?为此，他们将试图通过生态系统合作伙伴复制内部创新，提供客户选择并围绕这些选择销售工具和基础设施。
关注Anthropic的影响力，它甚至可能反过来影响硅。换句话说，与Anthropic的关系是否会让亚马逊云科技的定制芯片变得更好。还要注意亚马逊内部今年推出的Olympus能力。模型选择如何体现亚马逊云科技的优势，以及这种优势是否可持续?
模型是否会变得商品化，还是选择性会带来组合优势?竞争对手是否能够匹配亚马逊云科技的多样性，如果选择性成为一种优势的话?
AI信任应该是一个关键决策点，但是做生意的便利性是否会胜出?那么”私人AI”和AI云替代方案又如何呢?
说到GPU云替代品，我们在NVIDIA GTC上参加了VAST和Genesis Cloud共同主办的午餐会，获益匪浅。这些公司真的在这一领域发展迅猛，将自己定位为一种专门用于AI的云，与亚马逊云科技等超大规模云竞争。所以我们问VAST提供了它们正在合作的顶级替代云的名单，除了Genesis外，Core42、CoreWeave、Lambda和Nebula等公司都在筹集大笔资金并获得市场份额。也许它们并不是全部都会存活下来，但至少会有一些挑战超大规模领导者的地位。这将如何影响供给、需求和采用动态?
亚马逊云科技是否能够通过将Gen AI用作编排层，并以Q作为简化抽象层来提高AI的采用率?换句话说，Gen AI是否能够加速亚马逊云科技进入应用领域……或者它的战略是否仍将是使其客户能够在上层堆栈中竞争。很可能答案是”两者兼而有之”。
您怎么看?亚马逊云科技的战略是否令您信服?您是否对微软的安全态势感到担忧?它是否会让您重新考虑您的IT押注?模型多样性对您的业务有多重要?它是否会使事情变得复杂，还是让您能针对积压的各种用例进行优化?
让我们知道您的想法。