当前位置:首页|资讯|ChatGPT

ChatGPT成功背后的网络功臣,全栈智能网络技术揭秘

作者:智东西发布时间:2023-04-17

原标题:ChatGPT成功背后的网络功臣,全栈智能网络技术揭秘

智东西

作者 | ZeR0

编辑 | 漠影

智东西4月17日报道,随着大语言模型研究日渐火热,庞大的参数规模带动计算量一路飙涨,对网络带宽提出更高要求。加速大语言模型训练和推理背后的网络基础设施也日益受到关注。

突破网络通信限制,不仅有助于提高大模型计算性能和效率,也有助于降低能耗和电力成本。近日,NVIDIA网络技术专家崔岩、NVIDIA网络市场总监孟庆与智东西等媒体进行深入交流,分享其全栈智能网络技术如何为大模型提供支撑。

孟庆谈道,在AI快速发展的过程中,后进入市场的参与者如果想要赶超已进入市场的参与者,有两种方式,一是按照已成功的范例来投入资源,二是投入同样的资源但要跑得更快,跑得更快必然需要提高效率,而提高效率就需要DPU。

OpenAI便是采用DPU节约时间成本的一大例证。微软前段时间发布的博客文章明确写道,OpenAI采用的硬件包括NVIDIA BlueField-2 DPU及其智能网卡InfiniBand 200G网络。这个被实践检验过的样本已经被很多公司参考。

一、用于两套高性能网络平台,BlueField-3 DPU今年开始大规模投放

面向全新应用,NVIDIA提供两套高性能网络平台,分别是Quantum-2 InfiniBand网络平台和Spectrum-4以太网网络平台,都是端到端400G高带宽高性能网络架构。BlueField-3 DPU是这两大网络平台里的共有组件,同时用到InfiniBand网络和以太网网络。

在前不久举行的NVIDIA GTC大会上,NVIDIA宣布BlueField-3 DPU全面投产。NVIDIA从今年开始向市场大规模投放BlueField-3 DPU产品。

NVIDIA BlueField-3 DPU会有以下的突破:

1、400G连接:2倍网络带宽、2倍网络管道线(Pipeline)、4倍主机带宽。

2、可编程计算:4倍Arm计算能力、5倍内存带宽、新增数据路径加速器。

3、零信任安全:4倍IPsec加密加速、2倍TLS加密加速、新增MACsec加密加速及平台认证。

4、弹性存储:2倍存储IO性能(IOPs)、2倍存储加密性能、新增NVMe over TCP加速。

现在的数据存储以分布式存储为主。BlueField-3 DPU可以通过虚拟存储设备的方式,让主机侧感知不到它的数据是来自于本地、还是远程,并为主机侧提供弹性存储资源。而且,数据的存储也是加密的,能够满足客户不同形态的存储类型同时保证数据的安全性。

二、四大优势,四大用例

NVIDIA BlueField-3 DPU有四个方面的优势:

1、加速性能:硬件设计架构能够满足软件定义网络、存储、安全上的卸载,提供更快、更高的性能,运行最苛刻的工作负载。

2、云规模效率:把BlueField-3 DPU应用到架构里,能够为业务应用释放x86的核心,让CPU更多去承载业务应用,而不是再去做这些基础设施的操作,从而实现前所未有的规模和更高的效率水平。

3、强大的零信任安全:在不影响性能的情况下,确保全面的数据中心安全。比如在云环境里有多租户同时共享一个数据中心的基础设施,它能够满足租户之间的安全性,实现有效隔离。它也可以把主机分为业务应用域和网络基础设施域,如果应用业务域遭黑客攻击,不会通过基础设施域在数据中心内部的进行横向攻击。

4、完全可编程的基础设施:NVIDIA DOCA软件框架提供一致的开发和运行应用程序,并保持最高性能,使得开发者或企业具备开发能力,可基于BlueField-3 DPU做自己基础设施方面的应用程序或提供相应的服务。

以下四个用例可以辅助理解BlueField-3 DPU的这些优势。

1、加速云计算。未来AI模型训练和推理的大部分算力会依托于云计算,BlueField-3 DPU能够做相应云计算的基础设施的支撑。BlueField-3 DPU可支持4096个虚拟实例,是上一代每个节点虚拟实例数量的4-8倍。这带来的好处是可以更多承载业务应用,因为每个虚机都可以单独租用。对于云计算的服务商来讲,这也是额外的收入,增加了投资回报。

2、安全云计算。在安全多租户云环境提供隔离数据中心控制平面,租户工作负载在主机上运行,基础设施工作负载在BlueField-3 DPU上运行,实现租户之间的隔离以及业务应用域和基础设施域之间的隔离,并提供了零信任安全部署的平台,所以更好保证整个数据中心的安全性。

3、加速企业计算。NVIDIA与VMware合作,目前会在戴尔的PowerEdge服务器上采用BlueField-3 DPU来运行VMware vSphere 8,每秒最多可增加50%的Redis键值存储事物处理,使得VMware网络实现零CPU核心占用。

4、可持续云计算。数据中心电能消耗及需求都在不的增长,怎么来让云计算保持可持续性?应用BlueField-3 DPU后,它本身的性能很强,能够提升服务器主机整体的性能;把所有基础设施工作负载卸载到BlueField-3 DPU上,释放出来的CPU算力资源可以用于业务应用,相当于在服务器没增加的情况下,能够支撑更多的业务,或者在做同一个业务时所需的服务器数量更少。

除了释放CPU核心以外,BlueField-3 DPU还可以节省整个服务器电能的消耗。一个服务器在空载状态、没有加任何负载的情况下,耗电量是334瓦,如果在CPU上运行IPSec工作负载,耗电量会大幅提高至728瓦。如果把IPSec工作负载卸载到DPU,不用CPU来做,则只需481瓦。

所以综合来看,BlueField-3 DPU能够节省服务器的采购数量,减少数据中心的耗电,并减少配电、冷却、机柜空间等成本,对数据中心整体硬性限制有一些本质上的改善。

三、DOCA:为DPU硬件迭代提供软件兼容性

没有软件的芯片就像昂贵的沙子,毫无用处。NVIDIA DOCA是用于BlueField DPU的软件开发框架,全称是Data-Center-infrastructure-On-A-Chip Architecture。

DOCA之于DPU正如CUDA之于GPU。DOCA 软件框架可以兼容以前和之后的BlueField系列DPU。DOCA提供卸载、加速和隔离基础设施操作,支持超大规模、企业、超级计算和超融合基础设施。一些大型云服务商、做超融合计算的公司都在学习和使用DOCA编程。

DOCA是非常成体系的,有SDKRUNTIME运行时两部分。

SDK主要服务于开发者,提供库和驱动、编排和遥测API、开发工具,包括在x86笔记本电脑上模拟DPU构建在Arm的开发环境,还提供开发者文档和参考应用程序等,可通过NVIDIA SDK Manager或手动方式进行安装。

运行时(RUNTIME)服务于管理员角色,有基本的DOCA服务、库和驱动、用户指南、应用程序样例等,有一些工具可以帮助IT管理员或运维人员部署,安装方法包括x86/Arm DOCA运行时repo安装文件、BFB映像部署、Linux包管理器。

NVIDIA GPU云(NGC)可以简化部署,支持一键式部署到服务器中,而且通过虚拟化、迁移等手段可在x86、Arm等不同硬件环境中进行迁移。

DOCA驱动与库提供不同的API和不同层级开发接口,来满足不同需求。最底层提供的是内核模式驱动,非常资深的开发者可以在内核模式驱动上“搭积木建房子”;用户模型驱动会提供基础功能,允许开发者去调用和编写程序。

例如,国内知名云计算服务商UCloud(优刻得)采用DPU应用于其裸金属服务器租用,它可以将资源分配的软件跑在DPU上,这样客户能够100%租这台机器的计算资源、内存资源,没有隐形消耗(数据中心税)。

DOCA 2.0伴随着BlueField-3 DPU正式发布。NVIDIA BlueField-3 DPU提供了三种异构的可编程引擎,包括Arm、加速可编程管道线和数据路径加速器(DPA),用DOCA的软件框架把它统一起来。因此开发者不用在意底层异构硬件的如何实现。

比如BlueField-2 DPU上的智能网卡芯片用的是ConnectX-6,而BlueField-3 DPU用的是ConnectX-7。在ConnectX-7上实现的程序编程,可以无缝直接应用在BlueField-3 DPU上,调用同样的核心代码而无需更改。

此外,DOCA 2.0新增了对数据路径加速器(DPA)的编程功能,DPA是采用RISC-V架构的处理器,主要用来加速网络流量和处理数据包。

总得来看,DOCA 2.0有几个新的重要功能:

1、统一的软件框架。同时支持上一代DPU和最新的BlueField-3 DPU,新增DPA等功能。

2、软件生态变得丰富。很多软硬件合作伙伴都兼容并支持新一代DPU,包括Oracle OCI的云基础设施、微软Azure等。

DPA有几大特性:1、BlueField-3 DPU中引入了DPA计算子系统;2、DPA针对设备仿真、IO密集型应用、高插入率、网络流处理、客户协议、集体和DMA操作进行了优化;3、通过DOCA FlexIO SDK、DOCA DPA SDK、支持这些SDK的工具链和示例及宣传资料等方式实现客户可编程性;4、提供利用DPA开发的交钥匙应用程序。

DOCA 2.0 FLOW库是对开发者非常有用的特性,可以把对数据包处理的方式抽象出来,之后调用时,不管是做软件定义网络、网关还是做几百万次查询插入式操作,都非常有意义。

库就像是一个字典,调用时不用管具体操作是怎么完成的,对开发者来说,用简单方式就能实现这么多的功能,所以它可以快速写代码、部署,缩短业务上线时间。其目标网络应用有路由器、下一代防火器(NGFW)、负载均衡器(Load Balancer)、用户平面功能(UPF)等,都是基于NVIDIA提供的DOCA FLOW通道。

Regex是处理网络流量的重要算法,是数学里正则表达式的计算。NVIDIA在BlueField-3 DPU中改进了Regex硬件引擎。通过增强综合性能,新增的双向搜索能力可以让它更快找到匹配项,从而提高规则性能,并能够编译比BF2目前支持的更多规则。这对于网络海量并发时非常重要。

DOCA 2.0还为BlueField-3 DPU带来了新的SNAP基础设施SNAP v4。很多AI企业有上百TB的数据集,做远程调用会非常看重这个核心。用DPU卸载SNAP v4的功能可以释放带宽和调用时间,大幅提升效率。NVIDIA之后会将SNAP v4放在公共NGC上发布,也是一键部署。

DOCA 2.0 BlueMan是一款易部署的遥测可视化工具。管理员可以通过它提供的图形界面去查看自己所有的主机情况,包括健康、性能、网络流量是否存在问题以及风险预警等。

四、56%的DOCA开发者来自中国社区

目前NVIDIA DOCA开发者社区提供相关DOCA API文档及资源,从而指导开发者怎么基于BlueField系列DPU进行部署和编程。

其全球开发者已经超过4700人。DOCA中国社区是2021年7月份发布的,2021年末时中国占了全球开发者42%,到2023年1月已经有56%的开发者来自中国社区。这些来自中国的开发者,有的来自互联网大厂、有的来自创业公司,也有的来自高校。

NVIDIA在推进DOCA中国社区发展时考虑到一个问题,基于BlueField系列DPU的DOCA 软件开发与基于GPU的CUDA开发不一样,开发者可以采用笔记本电脑或台式机就可以搭建GPU开发环境,但开发者自己搭建DPU开发环境是不太容易的事情。

为此,NVIDIA授权设立了DPU & DOCA卓越中心,与三家合作伙伴(丽台、信弘、联泰集群)一起,向中国开发者提供免费的DOCA开发环境。

DOCA开发者需要成功注册NVIDIA DOCA开发者体验计划,才能申请免费开发环境。申请人需要提前48小时以个人名义通过向NVIDIA授权合作伙伴发送申请,提交申请的详细信息,且信息准确无误,获得授权合作伙伴审核批准后可获得2小时-6小时免费的DOCA开发环境。

结语:加速大模型普及需要更好的网络基础设施

无论是愈发热门的大模型,还是已经走向落地普及的传统中小型模型,都需要更好的网络基础设施来突破吞吐量和性能瓶颈。

就像人们在日常生活中永远不会嫌网络太快,数据中心的效率提升也永无止境。将数据效率提升,就意味着租用面积变少、动用的空调等设备变少、消耗的电力变少,或者用同样电能时执行计算任务的效率大大提高。

如NVIDIA创始人兼CEO黄仁勋所言,AI正迎来“iPhone时刻”,在更强大的计算基础设施与网络基础设施配合下,生成式AI能力将逐渐深入各行各业,慢慢改变很多工作、生产和生活的方式。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1