英伟达AI Foundry：为全球企业打造专属Llama 3.1生成式AI模型

作者：房家瑶

来源：硬AI

企业可以定制自己的“超级模型”，训练出符合自己特定需求的生成式AI应用程序了？

美东时间7月23日周二，英伟达宣布推出全新服务，即英伟达AI Foundry和NVIDIA NIM™推理微服务。

此前Meta发布最大开源AI模型Llama 3.1，同时英伟达AI Foundry将为全球企业提供Llama 3.1模型的定制服务，英伟达与Meta联手以增强全球企业的生成式AI能力。

核心服务与功能

1）英伟达AI Foundry

企业和国家可以使用Llama 3.1模型及英伟达的软件、计算能力和专业知识，为其特定行业创建定制的“超级模型”。这些模型可以使用企业的专有数据以及从Llama 3.1 405B和英伟达Nemotron™奖励模型生成的合成数据进行训练。

2）英伟达NIM推理微服务

适用于Llama 3.1模型的NIM推理微服务现已可下载，能够显著提升模型的推理效率，比不使用NIM时提高2.5倍。企业可以将Llama 3.1 NIM微服务与英伟达NeMo Retriever NIM微服务结合使用，创建最先进的检索管道，用于AI助手和数字人类化身等应用。

这些服务是靠英伟达DGX™Cloud AI平台支持的，该平台是英伟达与全球领先的公共云服务商合作开发的，能给企业提供非常强大的计算资源，还能根据AI需求增长按需扩展规模。

Llama 3.1是Meta公司公开提供的一系列生成式AI模型。这些模型是开放源代码的，可以被企业和开发者用来构建先进的生成式AI应用。Llama 3.1模型包括80亿、700亿和4050亿参数规模，经过超过16000个英伟达H100 Tensor Core GPU的训练，优化后适用于数据中心、云端及本地设备。

而且企业可以将Llama 3.1 NIM微服务与全新的英伟达NeMo Retriever NIM微服务配对，还可助力企业可以构建最先进的检索管道，用于各种AI应用场景，如AI副驾驶、智能助手和数字人类头像等。

通过结合Llama 3.1 NIM微服务和英伟达NeMo Retriever NIM微服务，企业可以显著提升Llama 3.1模型在生产环境中的部署和使用效率。

满足企业和国家的AI需求

当前，许多企业和国家希望定制大型语言模型，以构建具备领域特定知识和本地化特点的生成式AI应用。例如，医疗公司需要AI模型理解医学术语和医疗实践，而金融公司则需要AI模型具备金融领域的专业知识。

现在医疗保健、能源、金融服务、零售、交通和电信等领域的公司已开始使用英伟达NIM微服务支持Llama。首批使用Llama 3.1的新NIM微服务的公司包括阿美石油公司（Aramco）、美国电话电报公司（AT&T）和优步（Uber）。

英伟达创始人兼首席执行官黄仁勋表示：

“Meta公开的Llama 3.1模型对于全球企业采用生成式AI是一个关键时刻。Llama 3.1为每个企业和行业开启了大门，能让它们做出最先进的生成式AI应用。英伟达AI Foundry全面融合了Llama 3.1，随时能帮企业构建和部署定制的Llama超级模型。”

Meta创始人兼首席执行官扎克伯格表示：

“新的Llama 3.1模型是开源AI迈出的极其重要的一步。借助英伟达AI Foundry，公司可以轻松创建和定制人们想要的最先进的AI服务，还能通过英伟达NIM进行部署。我很高兴能把这个交到大家手中。”

早期采用者的成功案例

全球专业服务公司埃森哲（Accenture）率先采用NVIDIA AI Foundry，利用其AI Refinery™框架构建定制的Llama 3.1模型，既供自己使用，也为客户提供服务。埃森哲董事长兼首席执行官Julie Sweet表示：

“生成式AI正在改变各个行业，企业渴望部署由定制模型驱动的应用程序。借助英伟达AI Foundry，我们可以帮助客户快速创建和部署定制的Llama 3.1模型，推动变革性AI应用。”

英伟达AI Foundry提供全方位服务支持

1）端到端服务与合作伙伴

英伟达AI Foundry是一个综合性服务平台，它通过整合英伟达的技术资源和开放社区的力量，为企业提供快速构建AI模型的能力。

企业利用这个服务，可以选择或定制Llama 3.1模型，并使用英伟达NeMo平台以及顶尖的Nemotron-4 340B模型（该模型在Hugging Face RewardBench上排名第一）来开发自己的AI模型。

开发完成后，企业可以进一步创建NIM推理微服务，这使得他们能够在各种云平台和硬件系统上部署和运行这些AI模型，以支持其业务运营。

企业在创建自定义模型后，可以利用英伟达NIM推理微服务，在其首选的云平台和英伟达A认证系统上部署和运行这些AI模型。英伟达提供专家支持和合作伙伴生态系统，帮助企业加速AI模型从开发到实际部署的整个过程。

2）英伟达Nemotron支持高级模型定制

需要额外训练数据的企业可以结合使用Llama 3.1 405B和Nemotron-4 340B生成合成数据，提高特定领域模型的准确性。拥有自身训练数据的客户，可以通过英伟达NeMo对Llama 3.1模型进行领域自适应预训练（DAPT），进一步提高模型准确性。

英伟达和Meta的合作提供了一种方法，让开发者能够创建更小、更高效的Llama 3.1模型，这些模型可以部署在多种设备上，包括AI工作站和笔记本电脑。

3）提升检索准确性的NeMo Retriever微服务

使用全新英伟达NeMo Retriever NIM推理微服务进行检索增强生成（RAG），组织可以在生产中部署定制的Llama超级模型时提高响应准确性。这一微服务为开放和商业文本问答提供最高的检索准确性。

4）广泛的企业生态系统支持

英伟达NIM合作伙伴可以在其AI解决方案中集成新的微服务，为超过500万开发人员和19000家初创企业提供生成性AI增强功能。英伟达AI Enterprise提供对Llama 3.1 NIM和NeMo Retriever NIM微服务的生产支持。英伟达开发者计划的成员很快将能免费访问NIM微服务，以便在他们喜欢的基础设施上进行研究、开发和测试。