1.CLi demo 部署 CLI 是 Command Line Interface(命令行界面) 的缩写。所以Cli部署意思就是在终端中实现模型的部署,在终端和模型进行交互对话。虽然没有好看的UI界面,但比较适合简单测试,以及学会CLi部署的代码,也有助于调用API的代码构建。 部署前提: 0.也许至少要有8GB显存的显卡。 1.在服务器的容器上,已有训练好可直接调用的大模型文件夹以及安装好了对应的conda环境; [图片] 在开发机的容器中,我们发现模型等文件已经被打包好在文件夹中。所以我们可以直接使...【查看原文】
湖南市场调研源点 2024-09-28
Echo科技说 2024-09-28
主试角 2024-09-28