青云QingCloud容器引擎助力快速部署大模型

原标题：青云QingCloud容器引擎助力快速部署大模型

2023 年，大模型和 AIGC 的发展呈现出快速推进的态势，不仅在技术层面有所突破，而且在产业应用和市场前景方面也展现出积极的趋势。

为了方便更多企业用户体验，本文将介绍如何通过青云科技容器引擎 QKE 快速部署 ChatGLM-6B 大模型，开启属于您自己的 AI 时代！

QKE 是基于 Kubernetes 的容器引擎，能够轻松地管理和部署容器化应用。它具备自动化扩容、高可用性、安全性等多项优势，让应用更加稳定、高效。

近日，新发布的 QKE v3.1 版本不仅提高了容器集群的性能、可靠性、安全性和可维护性，还为大模型应用场景提供了更好的支持。

接下来，我们来看看如何使用 QKE 容器引擎部署 ChatGLM-6B 大模型。

01创建 QKE GPU 集群

第一步：创建一个带有 GPU 工作节点池的 QKE 集群

QKE 集群创建成功后，如需以 HTTP 访问带授权的镜像仓库，可在集群信息，镜像参数中配置镜像拉取的 insecure-registries、docker-auths。

第二步：检查 GPU 工作节点上 GPU Device Plugin 的就绪情况。

第三步：将 GPU 工作节点打上标签：accelerator: nvidia-gpu

02部署 ChatGLM-6B

第一步：编辑创建 K8s deployment 和 service 的 chatglm-6b.yaml。

其中 nodeSelector.accelerator: nvidia-gpu 让 Pod 调度到的 GPU 工作节点。

第二步：部署 ChatGLM-6B03暴露服务给外部访问第一步：通过如下命令找到 NodePort 号这里显示 NodePort 号为 30313 。

第二步：在 QKE 集群对应的 VPC 上，添加一条端口转发规则，转发到节点的 30313 端口。

04测试访问打开浏览器， 输入地址 http:// 即可访问 ChatGLM 推理服务。

整个部署过程非常简单，只需几步，就可以快速完成大模型应用的部署。而且，QKE 还提供了丰富的监控和日志功能，能够实时了解应用的运行状态和性能。

如果您正在寻找一个高效、稳定、易用的容器引擎，不妨试试 QKE 吧！

整个部署过程非常简单，只需几步，就可以快速完成大模型应用的部署。而且，QKE 还提供了丰富的监控和日志功能，能够实时了解应用的运行状态和性能。

随着 AI 技术的不断进步和在各行各业中的深入应用，大模型的发展将会更加迅速，其在处理大规模数据和复杂任务方面的能力将得到进一步的提升。同时，大模型在自然语言处理、计算机视觉、推荐系统等领域的应用也将不断拓展，为各行各业带来创新的解决方案。

QKE 作为一款强大的容器引擎，为大模型和 AI 及其他 AI 应用提供了健壮、易用、轻简的云原生基础设施。通过 QKE，可以更好地实现 AI 与业务的结合，推动 AI 技术在不同领域的广泛应用。