Nutanix推出了一款即插即用的交钥匙GPT“魔盒”,供客户在其超融合软件平台上运行大型语言模型人工智能工作负载。
GPT(Generative Pre-trained Transformer)是一种机器学习大型语言模型(LLM),它可以解释文本请求和问题,搜索多个源文件,并通过文本、图像、视频甚至软件代码输出进行响应。受ChatGPT模型的启发,世界各地的组织都在考虑采用LLM如何改善营销内容创作,使聊天机器人更好地与客户互动,为普通研究人员提供数据科学家的能力,并在这样做的同时节省成本。
IDC基础设施系统、平台和技术集团高级研究分析师Greg Macatee表示:“通过GPT-in-a-box,Nutanix为客户提供了一个交钥匙、易于使用的的人工智能用例解决方案,为那些在生成式AI采用方面遇到困难的企业提供了更简单的部署途径。”
Nutanix希望通过构建一个软件堆栈,包括Nutanix云基础设施、Nutanix文件和对象存储,以及Nutanix AHV虚拟化管理程序和具有Nvidia GPU加速功能的Kubernetes(K8S)软件,让客户更容易试用和使用LLM。其云基础设施本身就是一个软件堆栈,包括公共或私有云中的计算、存储和网络、虚拟化程序和容器。据说,GPT魔盒可以从边缘到核心数据中心部署并进行扩展。
GPU加速涉及Nutanix的Karbon Kubernetes环境,该环境支持Kubernete之上的GPU直通模式。它还没有扩展到支持英伟达的的GPU Direct主机的处理器旁路协议,以实现GPU服务器对存储驱动器的直接访问。
Nutanix产品管理高级副总裁Thomas Cornely表示:“Nutanix GPT魔盒是一款专为人工智能准备的堆栈,旨在解决生成人工智能采用方面的关键挑战,并帮助加速人工智能创新。”
我们已经询问了“这个有见解的人工智能就绪堆栈”一词的含义,但尚未得到回复。
Nutanix还提供服务,帮助客户通过开源深度学习和MLOps框架、推理服务器以及一组精选的LLM(如Llama2、Falcon GPT和MosaicML)来确定集群规模并部署其软件。
数据科学家和机器学习管理员可以通过选择应用程序、增强的终端UI或标准CLI来使用这些模型。GPT魔盒系统可以运行其他GPT模型,并通过使用从Nutanix文件或对象存储访问的内部数据对其进行微调。
让Nutanix感到欣慰的是,最近的一项调查发现,78%的客户可能会在Nutanix云基础设施上运行他们的AI/ML工作负载。这也印证了IDC上面的支持性引用。
Nutanix希望我们认识到通过其在以下方面的参与,它在AI和开源AI社区中具有可信度:
参与MLCommons(AI标准)咨询委员会
共同创立并在定义ML存储基准和医学基准方面担任技术领导
担任云原生计算基金会(CNCF)Kubeflow(MLOps)培训和AutoML工作组的联合主席