当前位置:首页|资讯|AIGC

【AIGC】Mac Intel 本地 LLM 部署经验汇总(CPU Only)

作者:Kida的技术小屋发布时间:2024-05-13

书接上文,我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型,在非 Stream 模式下需要 89 秒才完成一轮问答,响应速度实在是太慢,后续想办法优化...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1