·“生成式AI的发展就像一场马拉松比赛,当比赛刚刚开始时,如果只以前三四步就判断比赛结果,显然并不科学。这是一场长跑,我们现在还处于非常早期的阶段,要拭目以待。”
·亚马逊云计划如何解锁生成式AI的价值?伍德总结了三点:用Amazon Bedrock调用模型、机器学习创新及定制化芯片。
亚马逊云科技全球产品副总裁马特·伍德(Matt Wood)在峰会现场作主题演讲。
“生成式AI有一种特殊的能力,用得越多,性能就越好。换句话说,当越来越多的企业、初创公司甚至个人更频繁地使用这些模型,随着使用量的增加,其反馈和回答都会变得越来越好。”在亚马逊云科技中国峰会期间,亚马逊云科技全球产品副总裁马特·伍德(Matt Wood)在接受澎湃科技(www.thepaper.cn)采访时表示,“所以我们现在所见到的生成式AI是基础,是起跑线,而不是天花板。”
亚马逊云科技(以下简称“亚马逊云”)和微软被称为全球云计算市场的两大龙头。据Synergy Research Group估计,2023年第一季度,亚马逊云在全球云基础设施市场的份额达到32%,微软占23%。而在微软凭借对OpenAI的早期投资在生成式AI这一局比赛中下了先手棋后,亚马逊云便时常被议论为因动作慢而被第二名逐渐蚕食领先地位。
在采访中,伍德毫不讳言地直面了这个问题,“生成式AI的发展就像一场马拉松比赛,当比赛刚刚开始时,如果只以前三四步就判断比赛结果,显然并不科学。这是一场长跑,我们现在还处于非常早期的阶段,要拭目以待。”
亚马逊云的“三板斧”
随着数据爆炸、高度可扩展计算能力的可用,以及机器学习技术的不断进步,生成式AI登上了舞台。“GPU以及芯片方面的巨大进展,使得我们在过去6个月的时间能够看到机器学习方面的惊人发展。”伍德说。
那么,亚马逊云计划如何解锁生成式AI的价值?伍德总结了三点:用Amazon Bedrock调用模型、机器学习创新及定制化芯片。
4月,亚马逊云推出Amazon Bedrock,也就是说通过API(应用程序编程接口)即可访问来自AI21 Labs、Anthropic、Stability AI和亚马逊的基础模型,并由此构建生成式AI驱动的应用程序。
“我们并不认为目前会有一个单一的模型包办一切,每一个模型都有自己的专长,一些特别适用于图像生成,另外一些适于推理,还有一些在写作方面特别有优势。我们希望把所有模型整合,提供对所有最佳模型的访问,无论它们来自亚马逊还是第三方,抑或开源。”伍德说。
国内的互联网大厂字节跳动也做了类似的战略选择。6月底,字节跳动旗下火山引擎发布大模型服务平台“火山方舟”,集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI等多家AI科技公司及科研团队的大模型,类似于为各行各业提供了一个“大模型商场”。
不过,伍德在采访中表示,亚马逊云不会把Amazon Bedrock做成类似应用市场的模型市场,而是选择最有趣、最有用的模型,同时确保其是低时延且具有广泛可用的运维性能。
“最终在Amazon Bedrock上可能会有几十个拳头模型产品,它们非常新颖有趣,或是与众不同。不过在Amazon SageMaker(为机器学习提供工具和工作流)上会有几百个模型存在,用户可以选择他们想要的基础模型,然后进行重新训练,使其与自己的需求高度匹配。”伍德说。
第二,通过技术创新保证用户可以安全、隐私地在模型上做优化和微调,以及基于机器学习为开发人员提供代码生成服务Amazon CodeWhisperer。伍德说,“当你使用这些大型语言模型时,你必须非常清楚数据在使用时的去向,因为它可能会意外地泄露,并可能落入竞争对手手中。我们不会使用流经我们系统的任何数据来改进底层基础模型。”
第三,自研定制芯片,以实现低成本、低延迟地进行基础模型的训练和推理。
从2013年推出首颗Amazon Nitro芯片至今,亚马逊云是最先涉足自研芯片的云厂商,已拥有网络芯片、服务器芯片、人工智能机器学习自研芯片3条产品线。
目前亚马逊云已经发展出三代不同的机器学习芯片。亚马逊云科技大中华区产品部总经理陈晓建在亚马逊云科技中国峰会上介绍道,“机器学习分为两个主要的场景,一个是训练,一个是推理。在整个生命周期之中推理所占的成本往往更高,因为推理是7×24在线不中断服务,而训练往往只是阶段性的服务。所以我们在2019年推出了第一代用于机器学习的推理芯片Amazon Inferentia,之后2022年推出了第二代推理芯片Amazon Inferentia2。通过优化,第二代Amazon Inferentia可以大规模部署复杂模型,如大型语言模型(LLM),训练方面则推出了加速芯片Amazon Trainium。”
在AI芯片竞赛中,亚马逊云似乎占据了先机,已拥有两款AI专用芯片——训练芯片Amazon Trainium和推理芯片Amazon Inferentia,谷歌则拥有第四代张量处理单元(TPU)。相比之下,微软等还在很大程度上依赖于英伟达、AMD和英特尔等芯片制造商的现成或定制硬件。
数据是一切的起点
伍德认为,数据对于生成式AI而言是一切的起点。
牛津大学、剑桥大学和英国帝国理工学院等机构的研究人员发现,未来模型训练使用的高质量数据将会愈来愈昂贵,内容创作者将会竭尽全力防止其内容被免费抓取,社交媒体公司也逐渐认识到其数据的价值,对API访问收取昂贵费用。研究认为,如果未来的模型使用容易获取的数据(很可能是其它模型生成)训练,那么这将会加速模型的崩溃,增加对模型进行中毒攻击的可能性。
对于可供AI训练的数据未来可能稀缺的问题,伍德对澎湃科技表示,目前没有遇到过模型训练所需数据不足的问题。
“有海量可用数据,不仅是公开可用数据,还有各种类型的自有数据,我们都可以获得使用许可。实际上客户手里掌握的数据比现在亚马逊云上已有的数据还要多,可能令人惊讶的是,一些大型企业,甚至是成功的初创企业,他们在亚马逊云上拥有的数据已经达到XB(Xerobyte是目前已知最大的数据存储计算单位,1XB = 2^130B)级别。”伍德认为,在可预见的未来,还不会出现模型训练所需数据不足的问题。
对于企业利用数据开始构建生成式AI,伍德提出四点建议:
第一,基于企业现有的数据战略构建生成式AI。此前投入很多时间和精力构建的数据战略和数据湖,会在生成式AI时代成为巨大的先发优势。
第二,思考如何在组织内更广泛、更安全地进行生成式AI实验。在组织内部设置相关安全护栏,同时在构建团队方面给予更高自由度。
“目前生成式AI在早期发展阶段,没有人知道其边界在哪里,没有现成的模型和架构可以采用,所有的机会和想法、创业的点子都是日新月异,所以组织要有自由度,能够追逐机遇,同时推出新的产品和新的功能。有一些基础性的规则,更广的意义上可以让构建者放心去实验。”伍德说。
第三,为需求场景定制化模型。
第四,选择场景,即刻启程。