日前,我们三易生活已经为大家介绍了亚马逊云科技(Amazon Web Services, AWS)在re:Invent 2023上刚刚宣布的,多种旨在加速生成式AI相关技术实际落地的诸多举措。
其中包括但不限于与NVIDIA确立更深入的战略合作关系、首发基于GH200超级芯片的计算集群,以及全新的自研通用处理器和AI推理芯片等等。
不过众所周知的是,生成式AI靠的不仅仅是硬件方面的强大算力,它对于良好的AI模型更是高度依赖。特别是在当前的技术背景下,开发者和企业用户往往面临着诸多的选择,由于不同的模型擅长不同的生成式类别,这就导致模型的合理选择、参数设定,乃至效果的评估,实际上在很多用户看来变成了非常麻烦的事情,也大幅提高了生成式AI运用到实际应用场景中的难度。
那么如何解决生成式AI在实际应用中的难点,真正解放新技术的生产力呢?就在北京时间2023年11月30日凌晨,AWS方面给出了一系列的解答。
更广泛的模型选择,现在汇聚于一处
首先,AWS方面今天宣布了Amazon Bedrock服务的进一步扩展。此前,它已经囊括了包括AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon在内的多个、行业领先的大语言模型来源。通过这一托管服务,用户无需访问其他平台便可以进行“一站式”的大语言模型选择。
在今天的主题演讲上, AI安全和研究公司Anthropic方面宣布,他们已经将自家最新版本的Claude 2.1模型引入Amazon Bedrock。由于Claude 2.1擅长对于大容量文本进行总结、执行问答或对比,所以它也尤其适合处理财务报表和内部数据集。据Anthropic自称,与此前的模型相比,Claude 2.1在诚实性方面取得了显着的进步、虚假陈述减少了2倍。
与此同时,知名的大语言模型Llama 2也将高达700亿参数规模的新版本引入了Amazon Bedrock。作为Meta的下一代大语言模型,Llama 2的训练数据比前代多40%,上下文长度增长了1倍。在最新版本中,它通过指令数据集和超过100万条人工注释进行微调,并针对对话用例进行了优化。
更未重要的是,AWS此前也已成功地开发出了他们自有的AI大语言模型Titan。除了此前已经发布,用于文本生成的Amazon Titan Text Embeddings和Amazon Titan Text模型之外,主打图像生成的Amazon Titan Image Generator和Amazon Titan Multimodal Embeddings今天也已正式公布。与传统的生成式图像模型相比,AWS自有模型还植入了对版权保护的独特技术,并支持将图像和文本信息嵌入数据库,以生成后期更准确的搜索结果。
此外,AWS方面还创新性地提出了大模型生成内容的版权赔偿政策,即对于普遍可用的Amazon Titan模型或其输出侵犯第三方版权的指控,将由AWS对客户进行赔偿。
更准确、更安全地使用大语言模型,如今变得很简单
正如前文中提及的那样,在传统用例中,企业可能需要很长的时间来确定基准、设置评估工具,并基于深厚的专业知识来对不同的模型进行评估,然后才能选出最适合自己的那一个。
但是现在有了Amazon Bedrock上的模型评估功能,以上的麻烦全部都可以免除。用户只需要在控制台里选择预先设定好的评估标准(比如准确性、鲁棒性),然后上传自己的测试数据集、或是从预设的数据量里进行选择,就能运行完全自动化的大模型评估流程。
即便是需要人工评估,AWS的专家队伍也可以基于客户定义的指标(比如相关性、风格、品牌形象),来提供详细的评估报告。在大幅节约时间的同时,也显著降低了企业使用生成式AI的技术门槛。
不仅如此,在Amazon Bedrock里,包括Cohere Command、Meta Llama 2、Amazon Titan,以及未来即将适配的Anthropic Claude 2.1在内,多款大语言模型都将支持用户根据自己的需要进行微调。除此之外,Amazon Bedrock知识库功能也将允许大模型连接到企业的专有数据源,从而为聊天机器人和问答系统等用例,提供更准确、也更具企业自身“个性化”的响应方式。
同时针对生成式AI使用当中的保护机制,Guardrails for Amazon Bedrock现在将允许企业自定义生成式AI的语言原则。他们可以设定哪些主题会被拒绝、配置仇恨言论,侮辱、性语言和暴力的阈值,以将有害内容过滤到他们想要的水平。未来Guardrails for Amazon Bedrock还将引入单词过滤器功能,并在多个不同的模型用例中使用相同或不同的防护级别。
收获大量用户的信赖后,AWS正全面推动生成式AI落地
除了通过新技术大幅简化生成式AI的选择和使用流程之外,AWS备受好评的Amazon SageMaker服务如今也正在被Hugging Face、Perplexity、Salesforce、Stability AI和Vanguard 等客户所使用,用于持续地训练和强化他们的大语言模型。相比于使用企业自己的算力设备,AWS巨大的硬件优势和灵活的业务模式,则使得“大模型”的进化也将得更快、更简单。
不仅如此,可以看到包括Alida、Automation Anywhere、Blueshift、宝马集团、科莱恩、Coinbase、Cox Automotive、dentsu、Druva、Genesys、Gilead、GoDaddy、Hellmann Worldwide Logistics、KONE、LexisNexis Legal & Professional、Lonely Planet、NatWest等一系列企业都选择将他们的数据放在AWS上,并且基于这些数据来对自身生成式AI服务进行私有化“定制”,而完全不用担心这些数据遭到泄露或者其他竞争对手的使用。而因为“不会使用Amazon Bedrock任何输入或输出来训练其基本模型,不仅仅只是AWS的自我保证,更是他们对于第三方大模型提供商所做出的技术约束。
事实上,列举今日这场主题演讲中出现的、AWS的相关合作伙伴,就会发现他们几乎包含了当今生成式AI的全部产业链环节,例如基础模型选择在AWS上加速训练和迭代;模型服务商则将自身的服务托管到AWS,以触及更多用户;并且大模型的用户也偏好AWS的相关付,因为该平台使得他们大幅简化了使用AI技术提升服务品质和企业运营效率的门槛,还具备出色的性价比和极高的可靠性。
几个月前可能大家还都在思考,到底需要怎样做才能让“生成式AI”真正落地、并造福实际的企业和用户。但在今天举行的这场AWS re:Invent 2023主题演讲后,很显然问题的答案就已经呼之欲出了。