一场史诗级的生成式AI争夺战正在打响!当各家企业都在秀自己的基础模型、大模型,亚马逊云科技从“场景”角度进行弯道超车,以全栈AI能力助力更多客户“走深向实”,为业务赋能。
生成式AI正走深向实
▲亚马逊云科技大中华区产品部总经理 陈晓建
“生成式AI应用就像浮在海面的冰山,露在海面上方能被大多数人看到的冰山一角就像是基础模型,而在冰川的底部,同样需要大量的基础模型以外的服务来支撑。” 亚马逊云科技大中华区产品部总经理 陈晓建 ,在生成式AI构建者大会上表示,亚马逊云科技提供了完整的端到端的生成式AI技术堆栈,从底层的加速层,如加速芯片、存储优化,到中间层模型构建工具和服务,再到最上层的生成式AI相关应用,每一层都在针对客户的不同需求持续创新。
与以往不同的是,亚马逊云科技不是整场都在秀基础模型和大模型有哪些黑科技,而是把更多时间留给了客户。西门子集团、金山办公软件以及科思创中国等,作为亚马逊云科技中国区生成式AI创新的代表客户,分别分享了各自的创新案例。
这说明做生成式AI这件事,亚马逊云科技有过更深层次的思考。亚马逊CEO Andy Jassy曾经提过,“亚马逊云科技的使命是让任何人,哪怕他是在自己的宿舍或者车库里刚刚开始自己的创新之旅,也能够获得和大型企业一样先进的基础设施和成本来实现自己的创新,我们希望所有的初创企业都有机会成为明天的巨头。”
在生成式AI以天为单位进行快速迭代的当下,亚马逊云科技策略是,依然秉承初心,通过生成式AI工具和服务,让技术实现普惠化。亚马逊云科技提出了一个理念,叫做“Responsible AI”,即企业要以更负责任的态度来提供服务,除了技术本身,还要关注公平和偏见、稳定性、可解释性、治理、透明度、隐私和安全性等。
问题,在生成式AI普惠化目标前提下,该如何帮助开发者去构建更现代化的应用底座?
“对于任何企业来说,选择一个合适的场景,一个合适的模型,永远都是生成式AI创新的第一步。” 陈晓建认为,只有从典型的应用场景入手,才能创造客户价值。
麦肯锡在今年6月份发布了“生成式AI生产力前沿技术报告”。数据显示,在生成式AI所带来的经济效益之中,主要来自四个领域,包括营销和销售、产品和研发、软件工程和客户运营。概括来说,生成式AI可以通过增强用户的体验、提升员工的生产力和创造力、优化业务流程的方式,为客户赋能。
而结合客户的实际案例落地,再一次验证了亚马逊云科技方向选择的正确性。比如:知名客户关系管理服务商Salesforce,已经基于自己的Data Cloud构建了生成式AI解决方案,以帮助客户去提升实时见解和预测能力。目前,Salesforce正在和亚马逊云科技合作,把Amazon Bedrock和Amazon Titan集成到他们的生成式AI产品中,让客户能够在Salesforce Data Cloud上轻松、安全地使用数据,更方便地去构建自己的应用。
同样,“海尔”也是一家走在生成式AI创新前沿的企业。作为全球领先的家电厂商,海尔创新设计中心和亚马逊云科技一起通过生成式AI实现了文生图、图生图、定量图和全景图等方面的实践,上线以后自动化设计系统应用使相关业务的操作周期缩短了20%。
在优化业务流程方面,国内知名的游戏厂商上海沐瞳科技,通过使用Amazon Bedrock来优化游戏开发领域之中的业务流程,打造未来游戏研发新范式。沐瞳科技希望借助生成式AI技术创造出更能满足客户需求的创新游戏体验。
更高性价比背后
面对生成式AI客户数的“野蛮增长”,我们不禁要问:到底什么才是用户选型背后的动因?为什么大量客户更远愿意选择与亚马逊云科技合作?
“开发生成式AI应用是一个充满挑战的系统工程,并不是单纯的产品和服务拼接。” 陈晓建强调,围绕场景,亚马逊云科技正在构建生成式AI的完整体系,进一步助力生成式AI技术的落地。
我们都知道,在企业级应用场景下,单独的基础模型无法执行任务。基础模型本身存在局限性,因为它们无法完成需要与外部系统交互并且没有最新知识来源的复杂任务。这些功能本身虽然很简单,如预订航班或退回购买的物品,开发人员必须经过多个步骤才能实现这些功能。
所以,Amazon Bedrock推出了代理功能,使开发人员能够更轻松地创建基于生成式AI的应用程序,以完成各种用例的复杂任务,并根据专有知识源提供最新的答案。
Amazon Bedrock是企业使用基础模型构建和扩展生成式AI应用程序的最简单方法,它是一项无服务器服务,提供了广泛的模型选择、数据隐私,并且能够自定义模型,无需管理任何基础设施。该服务提供的基础模型来自Meta, Anthropic, Stability AI, AI21 Labs、Cohere等第三方领先提供商以及自身的Amazon Titan模型等,近期还加入了Meta的下一代开源大模型Llama2以及Anthropic的Claude2等热门基础模型。
与Amazon Bedrock相比,Amazon SageMaker需要客户管理应用程序架构中的模型部署、配置和托管,但拥有更大的灵活度和自由度对基础模型进行定制,客户可以从Amazon SageMaker Jumpstart中选择开源的基础模型,然后根据自身需求可以选择全量微调,轻量微调等不同方式,进一步确定微调框架,利用分布式训练实现微调,从而更好的评估微调效果。
快速构建更高性价比的生成式AI应用,提升用户体验,除了基础模型和大模型等技术本身,亚马逊云科技一直在关注的还有基础设施层面的成本问题。
10多年来,亚马逊云科技对全球基础设施进行深度投资,能够为客户提供广泛的加速器选择,包括强大而灵活的基于GPU的解决方案,例如基于英传达最新GPU芯片H100 Tensor Core的Amazon EC2 P5实例,与上一代相比速度快6倍,训练成本节省40%;还有基于亚马逊云科技自研的机器学习推理芯片Amazon Inferentia2推出的Amazon EC2 Inf2实例,与其他类似的EC2实例相比性价比高40%;基于自研机器学习训练芯片Amazon Trainium推出的Amazon EC2 Trn1实例,与同类实例相比训练成本节省高达50%。目前,OPPO、Airbnb、Sprinklr和 Autodesk等客户都在使用我们的专用加速器来处理要求苛刻的机器学习工作负载。
夯实数据基座
在生成式AI加快落地过程中,数据成为应用关键。而那些尚未找到有效协调和提供随时访问其数据方法的公司,将无法对生成式人工智能进行微调,以释放其更多潜在的数据价值。
“企业需要一套全面的服务,以便能够存储用于构建和微调模型的各种类型的数据。同时,还需要服务间的集成,以打破数据孤岛,确保能够随时访问所有数据。在构建生成式AI应用程序的整个生命周期中,确保数据安全并对其进行管理,也至关重要。” 亚马逊云科技大中华区技术专家团队总监 王晓野 补充道,数据是将通用人工智能转变为更懂企业业务和客户的大模型应用的重中之重。
为了做到“专库专用”,保护用户私域数据,亚马逊云科技针对生成式AI领域的用户个人信息、会话信息管理、私域知识库等应用场景都提供了专门构建的数据库。针对检索增强生成(RAG,Retrieval Augment GenerationRAG)需要处理的向量数据,亚马逊云科技为Amazon OpenSearch Service、Amazon Aurora PostgreSQL和 Amazon RDS for PostgreSQL加入了向量数据库功能,客户可以使用这些功能来存储和搜索其机器翻译和生成式AI应用中使用的嵌入,将向量与数据同地放置,可以更轻松地连接数据并减少数据重复。
在数据集成方面,ETL(数据的抽取Extract,转换Transform,加载 Load)是端到端数据旅程迫切需要解决的问题,亚马逊云科技提出“Zero-ETL”的愿景,并采用了相应的创新,如推出的Aurora Zero ETL for Redshift Integration, 允许存储在Amazon Aurora中实时产生的业务数据,无需ETL工具,以自动的方式同步到数据仓库Amazon Redshift中,以供近实时的进行海量数据的聚合分析。多年来,亚马逊云科技通过深化服务之间的集成,已经在Zero ETL中取得了一定成果,包括Amazon S3、Amazon Aurora、Amazon Redshift、Amazon SageMaker、Amazon EMR、Amazon Athena、Amazon Kinesis在内的各项服务之间的深度的数据集成正在帮助企业执行分析和机器学习,且无需移动数据。
数据治理方面,亚马逊云科技提供Amazon DataZone这一全新的数据治理服务。Amazon DataZone让客户能够跨组织边界发现、访问、共享和治理大规模数据,并减少企业内部成员访问数据和使用分析工具时繁重的工作量。通过Amazon DataZone,数据工程师、科学家和分析师等数据使用者可以通过统一的数据分析门户,在亚马逊云科技账户之间共享和访问数据,实现跨部门、跨组织地使用数据及开展数据协作。此外,数据所有者和数据管理者可以通过在用户界面中使用预定义的审批工作流来平衡数据访问治理,以及通过向数据添加业务上下文而简化数据发现。
最后,需要重点强调的是,生成式AI虽然是一个全新的世界,是充满了“魔幻色彩”的现代化应用,但不应该是一个“重复造轮子”的工程。亚马逊云科技认为,企业在实践落地过程中,应以微服务化的方式,通过事件驱动的架构去松耦合地处理每个模块之间的相互依赖,让应用在快速变化中保持快速进化和迭代的能力。当企业遇到繁重的基础架构运维、部署时,可以考虑把所有工作交给Serverless去做。而数据,作为企业重要资产,一定要在生成式AI设计之初就要考虑进来,把它变成提升核心竞争力的重要抓手。