本文来自社区投稿,作者:猴面包树。文章封面也由猴面包树生成。 如果你也有关于 WasmEdge 的故事愿意分享,欢迎联系我们! 缘起 虽然很早就开始使用 ChatGPT,享受大模型带来的工作生活效率的提升,但始终没有自己动手本地部署过。 最近看到了评论尸的文章觉得本地模型非常有必要,加上工作中也想摆脱 OpenAI 或其他线上 API 的依赖,开始尝试过几次在本地部署 LLM 大模型。尝试过使用 ChatGLM-6B[1],卡在了安装 Python 依赖。尝试过使用 Candle[2],虽然有强大的...【查看原文】
bili_99344535476 2023-08-08
万码AI 2024-03-10