芯东西5月30日报道,生成式人工智能(AI)触发了“AI时代的iPhone时刻”,每个行业都在投资生成式AI,推动对加速计算的需求,电信行业亦是如此。
在台北电脑展COMPUTEX 2023期间,英伟达(NVIDIA)与日本电信巨头软银昨日宣布,合作打造一个基于NVIDIA GH200 Grace Hopper超级芯片、面向生成式AI和5G/6G应用的开创性平台。今日,英伟达技术专家进一步分享了关于这一平台的更多技术细节。
该平台预计在2023年年底开始推出。软银计划在日本各地的全新分布式AI数据中心采用该平台。
双方合作之举,是为了在全球范围内快速部署生成式AI应用和服务铺平道路。软银正在为自动驾驶、AI工厂、增强现实和虚拟现实、计算机视觉和数字孪生开发5G应用。软银公司总裁兼CEO Junichi Miyakawa谈道:“随着我们进入一个社会与AI共存的时代,对数据处理和电力的需求将不断增长。软银将提供下一代社会基础设施,以支持日本的超级数字化社会。”
英伟达创始人兼CEO黄仁勋认为,对加速计算和生成式AI的需求正在推动数据中心架构的根本性变革。英伟达Grace Hopper是专为处理和扩展生成式AI服务而设计。他称赞软银创建一个电信网络来承载生成式AI服务的举措“富有远见”。
生成式AI的需求爆发,将重塑AI和5G数据中心,将5G数据中心改造成AI工厂。相比以往的数据中心,新型数据中心的分布将更加均衡,并能够同时处理AI和5G工作负载。这将让它们更好地保持峰值运行,同时保持低时延并大幅降低总体能源成本,兼具高利用率和最佳ROl。
双方合作打造的平台,是一个面向5G和生成式AI的云平台,与单一用途5G vRAN相比,其投资回报率达4倍。该平台将使用英伟达MGX服务器参考架构和基于Arm Neoverse的GH200 Grace Hopper超级芯片,有望提高应用程序工作负载的性能、可扩展性和资源利用率。
具体而言,英伟达GH200超级芯片兼顾了生成式AI、5G/6G的需求,在加速5G Open vRAN上取得了高性能和高能效,能够有效减少CPU和加速器之间的延迟。英伟达Grace Hopper和BlueField-3 DPU将加速软件定义的5G vRAN以及生成式AI应用,而无需定制硬件加速器或专用5G CPU。此外,配备BlueField-3的英伟达Spectrum以太网交换机将为5G提供高精度时间同步协议。
该解决方案在英伟达加速的1U MGX服务器设计上实现了突破性的5G速度。根据公开的5G加速器数据,它实现了业内吞吐量最高的36Gbps下行链路容量。运营商一直难以通过行业标准服务器实现如此高的下行链路容量。
NVIDIA MGX是英伟达昨日最新推出的一个模块化参考架构,让系统制造商和超大规模企业客户能够快速、经济地构建100多种服务器机型,适用于各种AI、HPC和英伟达Omniverse应用。
Arm首席执行官Rene Haas认为:“结合NVIDIA BlueField DPU、Grace Hopper,使得软银新的5G数据中心能够运行最苛刻的计算和内存密集型应用,并为Arm上的软件定义5G和AI带来指数级的能效提升。”
软件同样不可或缺,英伟达Aerial 5G软件实现了对x86和Arm的兼容。通过将英伟达Aerial软件引入到高性能的软件定义的云原生5G网络中,这些5G基站将允许运营商动态地分配计算资源,实现比竞品高2.5倍的能效。
生成式AI的未来发展需要高性能、节能的计算。与英伟达的合作,将帮助软银的基础设施利用AI实现更高的性能,包括对RAN的优化。软银将打造能够在多租户通用服务器平台上托管生成式AI和无线应用的数据中心,以降低成本和更节能。
“我们期待这也可以帮助我们降低能耗,创建一个互连的数据中心网络,用于共享资源并托管一系列生成式AI应用。”Junichi Miyakawa说。