自定义Llama 3.1模型的利器来了！NVIDIA打造生成式AI代工厂，还有加速部署的微服务

智东西

作者 | ZeR0

编辑 | 漠影

智东西7月24日报道，NVIDIA宣布推出全新NVIDIA AI Foundry服务和NVIDIA NIM推理微服务，与刚推出的Meta Llama 3.1系列开源模型一起，为全球企业的生成式AI提供强力支持。

Llama 3.1大语言模型有8B、70B和405B三种参数规模。模型在超过16000个NVIDIA Tensor Core GPU上训练而成，并针对NVIDIA加速计算和软件（无论是在数据中心、云以及配备NVIDIA RTX GPU的本地工作站或配备GeForce RTX GPU的PC上）进行了优化。

就像台积电是面向全球芯片企业的代工厂，NVIDIA也打造了企业级AI代工厂NVIDIA AI Foundry。

NVIDIA创始人兼CEO黄仁勋谈道：“Meta的Llama 3.1开源模型标志着全球企业采用生成式AI的关键时刻已经到来。Llama 3.1将掀起各个企业与行业创建先进生成式AI应用的浪潮。NVIDIA AI Foundry已经在整个过程中集成了Llama 3.1，并能够帮助企业构建和部署自定义Llama超级模型。”

NVIDIA AI Foundry由NVIDIA DGX Cloud AI平台驱动，由NVIDIA与全球领先的公有云共同设计，提供一种可用于快速构建自定义超级模型的端到端服务，旨在为企业提供大量计算资源，所提供的计算资源可随着AI需求的变化轻松扩展。

“借助NVIDIA AI Foundry，企业可以轻松创建和定制大家想要的最先进的AI服务，并通过NVIDIA NIM进行部署。”Meta创始人兼CEO马克·扎克伯格说。

企业如果需要更多训练数据来创建特定领域的模型，可使用自有数据以及由Llama 3.1 405B和NVIDIA Nemotron Reward模型生成的合成数据，来训练这些超级模型，以提高准确性。拥有自己的训练数据的客户可以使用NVIDIA NeMo对Llama 3.1模型进行自定义，通过领域自适应预训练（DAPT）进一步提高模型的准确性。

NVIDIA和Meta还一起为Llama 3.1提供了一种蒸馏方法，供开发者为生成式AI应用创建更小的自定义Llama 3.1模型。这使企业能够在更多加速基础设施（如AI工作站和笔记本电脑）上运行由Llama驱动的AI应用。

创建自定义模型后，企业就可以构建NVIDIA NIM推理微服务，以便在其首选的云平台和全球服务器制造商提供的NVIDIA认证系统上，使用自己选择的最佳机器学习运维（MLOps）和人工智能运维（AIOps）平台在生产中运行这些模型。

NIM微服务有助于将Llama 3.1模型部署到生产中，其吞吐量最多可比不使用NIM运行推理时高出2.5倍。

从ai.nvidia.com即可了解适用于Llama 3.1模型的NVIDIA NIM推理微服务，以加快将Llama 3.1模型部署到生产级AI的速度。

将Llama 3.1 NIM微服务与全新NVIDIA NeMo Retriever NIM微服务组合使用，就能为AI copilot、助手和数字人虚拟形象搭建先进的检索工作流。

通过使用全新NVIDIA NeMo Retriever NIM推理微服务来实现检索增强生成（RAG），企业可将自定义Llama超级模型和Llama NIM微服务部署到生产中，以提高响应准确性。

当与适用于Llama 3.1 405B的NVIDIA NIM推理微服务结合使用时，NeMo Retriever NIM微服务能为RAG工作流中的开放和商业文本问答带来极高的检索准确性。

NVIDIA AI Foundry结合NVIDIA软件、基础设施和专业知识与开放社区模型、技术和来自NVIDIA AI生态系统的支持。NVIDIA AI Enterprise专家和全球系统集成商合作伙伴与AI Foundry客户一同加快从开发到部署的全过程。

专业服务公司埃森哲率先借助NVIDIA AI Foundry，使用Accenture AI Refinery框架为自己以及希望所部署的生成式AI应用能够反映其文化、语言和行业的客户来创建自定义Llama 3.1模型。

医疗、能源、金融服务、零售、交通、电信等行业的企业已在使用适用于Llama的NVIDIA NIM微服务。首批使用面向Llama 3.1全新NIM微服务的公司有Aramco、AT&T、优步等。

数百家提供企业、数据和基础设施平台的NVIDIA NIM合作伙伴现在能够将这些新的微服务集成到其AI解决方案中，为NVIDIA社区500多万开发者和1.9万家初创公司的生成式AI提供助力。

通过NVIDIA AI Enterprise即可获得Llama 3.1 NIM和NeMo Retriever NIM微服务的生产支持。NVIDIA开发者计划会员将很快能够免费访问NIM微服务，以在他们首选的基础设施上进行研究、开发和测试。