数据爆炸不是未来,而是现实。生成式人工智能狂飙猛进的背后,是海量数据在发挥着巨大的价值。可以看到,数据不仅是AI发展的驱动力,更是商业和社会创新的核心要素。数据驱动的决策和洞察力已经成为各行各业的竞争优势。亚马逊云科技Matt在峰会上表示,「我相信数据是现代革新的起源,尤其是生成式AI」。
而如何管理海量数据,挖掘数据价值,对每个企业来说都是巨大的挑战。当前,我们需要的不仅仅是变革性技术和完善的基础设施,更需要一个端到端的云原生数据战略,进而用数据创造新的idea。而一个强大云原生数据战略,应当有三个核心特征:全面的、集成的和受治理的。
1. 全面的数据服务
从2006年,亚马逊云科技发布了第一个储存服务Amazon S3开始,便致力于探索云原生数据服务的边界。亚马逊云科技提供了一套全球领先的、全类别云数据库服务,以及最全面的数据分析服务。就数据库讲,有关系型数据库、非关系型数据库8大类型。
在数据分析服务方面,有交互式查询的Amazon Athena、大数据分析服务Amazon EMR、云上数据仓库Amazon Redshift、商业智能工具Amazon QuickSight,做日志分析的Amazon OpenSearch等。
2. 互相集成数据源
此外,连接数据的能力,实现数据一体化融合也是非常重要。这样做的优势在于,把所有数据资产连接,能够让客户更容易获取数据。当前,亚马逊云科技将很多产品之间做了深度集成,其中就包括Amazon S3、Amazon Redshift等。
而最最重要的是,亚马逊云科技正在致力实现一个「Zero ETL」愿景。ETL是指数据的提取、转换和加载过程。以往,业务数据往往需要通过ETL,才能进行分析从而提供洞察。然而,这一过程非常耗时且复杂,「Zero ETL」是迈出的关键一步。
在亚马逊云科技re:Invent 2022全球大会上,亚马逊云科技全新发布的Amazon Aurora zero-ETL与Amazon Redshift集成功能,能够帮助客户实时分析PB级交易数据。此外,亚马逊云科技数据服务可以与外部数据库实现Zero的集成。让数据实现一体化融合,将其数据库、数据服务底层打通,由此数据实现「无感知」流动。
3. 正确的治理策略
当前,数据爆炸性增长,为数据治理带来了前所未有的复杂度。要知道,良好的治理是整个团队可以访问数据的基础。在数据治理过程中,通常涉及到不同团队、应用和权限管理,由此当前急需细颗粒度的数据治理。
亚马逊云科技全新的数据管理服务Amazon DataZone,可以帮助企业对内部数据进行编目、发现、共享和治理。通过自身17年的数据创新经验,亚马逊云科技总结出云原生数据战略的重要构成要素。
F1、阿凡达2,全靠它
如今的AIGC大爆发,突发的用量都对系统提出了更高的需求,当海量用户暴涨时,如何应对弹性变化?基于一流的模型、安全的环境,以及低成本和低延迟的基础设施,亚马逊云科技为客户所面对的各类棘手挑战提供了支持。
比如,在世界上最受欢迎的体育赛事之一——F1赛车中,就大量用到了亚马逊云科技的算力,形成了高性能业务场景,在高速度中进行大量的模拟。提供关键支持的,正是亚马逊云科技的三大法宝——Amazon SageMaker、Amazon Kinesis和Amazon S3。
每辆F1赛车上都有300个传感器,每秒可产生超过110万个数据点,并从赛车传输到维修站,因此F1是一项真正以数据为驱动的运动。亚马逊云科技能够带来的是,高性能计算。F1能够运行空气动力学模拟,用比以往快70%的速度开发,并打造出一款能将下压力损失从50%降低到15%的赛车。而压力损失的大幅降低,可以让车手有了更多超车机会,表现也得到提升。
此外,F1还利用Amazon S3上存储的70年历史比赛数据,通过复杂的模型进行分析,作为丰富的数据洞察与车迷分享,揭示出瞬间决策的细微差别,并通过这些先进的统计数据突出不同车手的表现。
维塔数码是全球领先的综合性视觉效果公司,创作了《阿凡达》、《指环王》、《猩球崛起》一系列巨作。在《阿凡达:水之道》中,亚马逊云科技在8个月内完成了高达33亿渲染线程小时的云上制作,助力其打造48FPS HFR的逼真特效并按时交付,保证了影片的顺利上映。
早在2020年,视频特效制作公司Wētā FX公司已将业务全面部署至亚马逊云科技,创建了新的基于云的视觉特效(VFX)制作流程。Wētā FX在电影中创造了令人难忘的场景和人物,包括《阿凡达》中的纳美族和潘多拉星球的美丽风景。亚马逊云科技为工作室提供了最全面的内容制作云功能集,并且使他们在几小时内就能建立创意工作站,无需耗费几周时间。而工作室则获得了近乎无限的扩展能力,可以在亚马逊云基础设施中按需渲染。
除了以上实例,地球已经不是云计算的边界,亚马逊云科技的技术已经可以在太空这种极端环境中收集、处理数据,并做出实时的决定。生成式AI大爆发,在这个人工智能的iPhone时刻,越来越多的企业想要抓住机遇,同时面临着挑战。
而面对全球算力井喷带来的挑战,亚马逊云科技通过自研芯片提供高性价比、各种丰富的弹性计算存储服务组合,以及简化算力的Serverless架构去解决问题。
目前,亚马逊云科技的在全球部署这无处不在的云服务,全球31个区域的99个可用区,已经覆盖了245个国家和地区。在AI领域深耕25年的亚马逊云科技,为10万+客户提供AI和机器学习服务来抓住当下生成式AI挑战和机遇。
从另一面来看,这个选择是双向的,越来越多客户的加入也是对亚马逊云科技AI能力和战略的认可。当下,亚马逊云科技正在做的,是帮助让每个企业利用好AI,释放生成式AI的巨大潜力。