从云到端 NVIDIA与戴尔、微软合作加速企业就绪的生成式AI
作者：李祥敬
生成式AI的浪潮席卷各行各业，企业纷纷拥抱生成式AI，但是要支撑生成式AI，企业在基础设施层面需要进行大量投入。
为了加速企业就绪的生成式AI，在近日举行的戴尔科技集团全球大会和微软Build大会上，NVIDIA与戴尔、微软合作提供了针对性的解决方案，这些方案覆盖云到端，让企业能够快速部署生成式AI。
01 用于安全、本地化部署生成式AI的Project Helix
处于安全性的考虑，企业对于生成式AI模型的部署需要实现本地化构建。基于这样的客户诉求，戴尔与NVIDIA推出Project Helix合作项目，其基于戴尔和NVIDIA的基础设施与软件打造。
Project Helix支持从基础设施配置、建模、训练、微调、应用开发和部署一直到部署推理和精简结果等整个生成式AI的生命周期。
其中Dell PowerEdge服务器如PowerEdge XE9680和PowerEdge R760xa，与NVIDIA H100 Tensor Core GPU和NVIDIA Networking一起，并与Dell PowerScale和Dell ECS Enterprise Object Storage等具有弹性、可扩展的非结构化数据存储搭配使用。
Project Helix包含NVIDIA AI Enterprise 软件，为客户提供用于整个AI生命周期的工具。NVIDIA AI Enterprise包含100多个框架、预训练模型和开发工具，例如用于构建生成式AI聊天机器人的 NVIDIA NeMo大型语言模型框架与NeMo Guardrails软件。
Project Helix还将安全和隐私功能内置在基础组件中，如 Secured Component Verification。在本地保护数据可以降低固有风险，帮助企业满足监管要求。
自2023年7月起，基于Project Helix项目的Dell Validated Designs将通过传统渠道和APEX灵活的消费选项提供。
02 NVIDIA AI Enterprise与Azure机器学习集成，提供端到端云平台
除了本地化部署，云端部署也是生成式AI的重要方式，OpenAI的ChatGPT就是运行在微软的Azure云中。
现在，企业也可以享受到这样的服务了。因为NVIDIA AI Enterprise软件套件和Azure机器学习相结合，为企业加快其AI计划从开发到生产提供了一个直接、高效的路径。
通过Azure机器学习上集成的NVIDIA AI Enterprise，用户还能够访问最高性能的NVIDIA加速计算资源，以加快AI模型的训练和推理。
借助Azure机器学习，开发人员可以轻松地扩展应用——从测试到大规模部署，同时使用Azure机器学习的数据加密、访问控制和合规认证可满足安全要求并符合其组织策略要求。借助安全、生产就绪的AI功能，NVIDIA AI Enterprise与Azure机器学习形成互补，同时还包括NVIDIA专家的帮助和支持。
NVIDIA AI Enterprise包含100多个框架、预训练模型和开发工具，例如用于加速数据科学负载的NVIDIA RAPIDS，NVIDIA Metropolis可加速视觉AI模型开发，而NVIDIA Triton Inference Server则支持企业实现标准化的模型部署和执行。
NVIDIA AI Enterprise与Azure机器学习的集成目前为有限技术预览版，能通过在NVIDIA社区中注册获得。
NVIDIA AI Enterprise还可在Azure Marketplace上使用，为全球企业提供了一个强大的全面安全和完全支持的AI开发和部署的新选项。
03 在PC设备上部署先进的AI模型
我们知道AI模型对于算力的要求非常高，普通的移动设备是无法承载的。但是微软与NVIDIA合作，发布在Windows PC上开发AI的工具、优化和部署AI的框架，使开发人员能够以生成式AI为核心来构建下一代Windows应用。
AI开发通常是在Linux上运行，NVIDIA与微软密切合作，为适用于Linux的Windows子系统（WSL）内部的整个NVIDIA AI软件堆栈提供GPU加速和支持。开发人员现在可以使用Windows PC来满足所有本地AI开发需求，并支持GPU加速的WSL深度学习框架。
NVIDIA RTX GPU在台式机工作站中提供高达48GB的显存，开发人员现在可以在Windows上处理以前只能在服务器上处理的模型。大显存还提高了AI模型本地微调的性能和质量，使设计师能够根据自己的风格或内容进行定制。
更为重要的是本地运行的NVIDIA AI软件堆栈与云端是同构的，开发人员因此可以轻松将模型推送到微软Azure云上进行大规模训练。
微软还发布了Microsoft Olive工具链，用于优化PyTorch模型并将其转换到ONNX，使开发人员能够自动利用RTX Tensor Core等GPU硬件加速。
开发人员可以通过Olive和ONNX优化模型，并将Tensor Core加速的模型部署到PC或云端。微软将继续投资，使PyTorch及相关工具和框架与WSL无缝协作，从而提供最佳的AI模型开发体验。
RTX Tensor Core为AI推理提供高达1400的Tensor TFLOPS（万亿次浮点运算）。过去一年，NVIDIA一直致力于提升DirectML的性能，以便充分利用RTX硬件的优势。
NVIDIA将在532.03版驱动中发布最新的优化，与Olive优化的模型相结合，大幅提升AI性能。使用Olive优化版Stable Diffusion文本-图像转换器以及受欢迎的Automatic1111发行版，新驱动程序的性能提高了2倍以上。
随着AI即将进入几乎所有Windows应用，提供节能的推理性能变得至关重要——尤其对于笔记本电脑来说。NVIDIA即将推出新的Max-Q低功耗推理，用于RTX GPU上的纯AI工作负载。它在优化Tensor Core性能的同时尽可能地降低GPU的功耗，延长电池续航时间，并使系统保持出色的散热和降噪表现。根据负载需要，GPU可以动态地扩展，以提供最高的AI性能。
NVIDIA和微软正在为开发人员提供一些资源，以便在Windows PC上测试主要的生成式AI模型。Hugging Face上提供了一个Olive优化版的Dolly 2.0大语言模型。此外，用于对话式AI的NVIDIA NeMo大型语言模型的PC优化版也即将在Hugging Face上线。
总之，通过微软Windows平台和NVIDIA动态AI硬件和软件堆栈背后的互补技术，开发人员将能够在Windows 11上快速、轻松地开发并部署生成式AI。