千问1.5量化+Langchain-chatchat本地部署实操与踩坑

每度过一个坎坷，记得留下哪怕微小的指引，也许能帮到后面的人为什么选量化版的通义千问1.5调用在线模型API不仅依赖网络，对其拓展、定制、二开的空间都比较有限，于是很多人走上了本地部署开源大模型的路线，上一篇文章我对模型的选择进行了大致讲解总结来说，对比体验多个开源模型后，通义千问(Qwen)1.5是我觉得目前中文语境下综合表现最好的开源模型，根据你的显卡能力，它有0.5/1.8/4/7/14/72b多个参数规模可选，其中14b参数表现出的理解力可以媲美甚至部分场景超越GPT3.5；而且千问的量化损失非常小...【查看原文】