HPE发布基于Nvidia GPU的生成式AI超级计算机平台
HPE揭开了备受期待的生成式AI超级计算机平台的神秘面纱，该平台旨在帮助企业在自己的数据中心内创建、微调和运行强大的大型语言模型。
此次发布之际，HPE及其竞争对手Supermicro都宣布对其用于运行生成AI工作负载的产品组合进行重大更新，其中包括一些功能强大的新服务器，配备了Nvidia最先进的Blackwell GPU，这些服务器在近日举行的GTC 2024大会上进行了发布。
HPE一直与Nvidia密切合作，利用Nvidia在高性能计算方面的专业知识，构建了一套生成式AI超级计算机，为开发人员提供构建高级模型所需的所有软件和服务，以及强大的计算能力。
HPE表示，去年11月推出的生成式AI超级计算平台现已可供订购，将为那些需要在自己本地服务器上运行AI项目的企业提供了一套理想的解决方案。该系统被称为开发和训练大型语言模型的全栈解决方案，由Nvidia GH200 Grace Hopper超级芯片提供支持，并具有生成式AI入门所需的一切，包括液冷系统、加速计算、网络、存储和AI服务。
HPE表示，这个超级计算机平台主要面向大型企业、研究机构和政府机构，可直接购买或通过HPE GreenLake按使用付费模式购买。它针对微调和推理工作负载进行了预先配置，提供了强大的计算、存储、软件、网络功能以及咨询服务，帮助企业开始使用生成式AI。
该系统的底层提供了由HPE ProLiant DL380a Gen11服务器和Nvidia H100 GPU组合提供支持的高性能AI计算集群，还集成了Nvidia Spectrum-X以太网网络技术及其BlueField-3数据处理单元，用于优化AI工作负载。HPE也将自己的机器学习和分析软件添加到其中，而Nvidia AI Enterprise 5.0平台则附带了Nvidia新发布的NIM微服务，有助于简化AI开发工作。
HPE表示将支持各种大型语言模型，包括专有的大型语言模型和开源版本。HPE表示，该系统非常适合AI模型的轻量级微调、检索增强生成和横向扩展推理，并声称，这个16节点的系统微调基于Llama 2的700亿参数模型只需要六分钟。
该产品还旨在解决AI技能上存在的差距，HPE Service为企业提供了设计、部署和管理本地平台以及实施AI项目所需的专业知识。
HPE总裁兼首席执行官Antonio Neri表示，很多企业需要一种“混合设计型”解决方案以支撑整个AI生命周期。他解释说：“从在本地、托管设施或公有云中训练和调整模型，到边缘推理，AI是一种混合云工作负载。”
AI软件堆栈
在对生成式AI超级计算平台进行最后润色的同时，HPE还与Nvidia合作开发了利用该平台所需的各种软件系统，其中包括从今天起作为技术预览版对外提供的HPE Machine Learning Inference Software，该软件将帮助客户在他们的基础设施上快速且安全地部署AI模型，同时集成了Nvidia新的NIM微服务，提供对预构建软件容器中托管的优化基础模型的访问路径。
此外HPE表示，已经开发了RAG的参考架构，该技术使大型语言模型能够利用专有的数据集来增强知识。HPE还发布了HPE Machine Learning Data Management Software、Machine Learning Development Environment Software和Machine Learning Inference Software以支持生成式AI开发工作。
最后HPE还透露了一些即将推出的新服务器，这些服务器将基于Nvidia新发布的Blackwell GPU架构，包括Nvidia GB200 Grace Blackwell Superchip、HDX B200和HGXB100 GPU。
Supermicro推出首款基于Blackwell GPU的服务器
尽管HPE将在未来几周内公布基于Grace的服务器的更多细节，但Supermicro似乎已经领先一步了。Supermicro在此次GTC 2024大会上推出了一系列新服务器，新系统采用GB200 Grace Blackwell Superchip，以及基于Blackwell的B200和B100 Tensor Core GPU。此外Supermicro公司表示，现有基于Nvidia HGX H100和H200的系统正在为新GPU“做好准备”，这意味着客户只需要购买芯片就可以对现有的数据中心投资进行增强。
Supermicro表示，Supermicro将成为第一家在今年晚些时候推出Nvidia HGX B200 8-GPU和HGX B100 8-GPU系统的服务器公司。新系统将配备8个Nvidia新型Blackwell GPU，通过第五代NBLink互连技术进行连接，可提供每秒1.8 TB的带宽。而且Supermicro承诺，与基于Nvidia旧Hopper架构的系统相比，新系统的大型语言模型训练性能将提高3倍。
Nvidia GPU产品管理副总裁Kaustubh Sanghani表示：“Supermicro持续向市场推出一系列令人惊叹的加速计算平台服务器，这些服务器针对AI训练和推理进行了调优，可以满足当今市场的任何需求。”
为了满足本地大型语言模型工作负载的需求，Supermicro构建了一系列新型MGX服务器，这些服务器将采用GB200 Grace Blackwell Superchip，该芯片比标准GPU芯片更为强大。新款Superchip配备了2个Blackwell GPU，加上多个CPU，将为AI推理负载提供显着提升，Supermicro声称与上一代Superchip相比性能提升了30倍。
对于最先进的大型语言模型工作负载，Supermicro详细介绍了一款基于Nvidia GB200 NVL72的、即将推出的机架级服务器，将在单个机架中连接36个Nvidia Grace CPU和72个Blackwell GPU，此配置中的每个GPU都将采用最新的Nvidia NVLink技术，GPU到GPU的通信速度高达每秒1.8太比特。