LLM探索：环境搭建与模型本地部署

作者：程序设计实验室发布时间：2023-05-20

AIGC 编程 ChatGPT

前言最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了… 上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地...【查看原文】

相关资讯

谷歌 Gemma AI大模型部署搭建本地

————前言———— 谷歌 Gemma 是一个基于 Python 的图像分析工具，提供快速和准确的物体检测、定位、分类和风格迁移功能。它使用 TensorFlow Lite 模型，使它可以快速运行在移

谷歌 AI大模型

神秘奇男子 2024-04-07

大模型这么火，今天手把手教大家从搭建环境开始实现本地部署ChatGLM2 6B 大模型

前言自己日常工作中几乎天天都在使用ChatGPT，觉得这些工具很大程度提升了工作效率，节约了很多上搜索和测试时间，十分期待它将来演化的路程。自己也了解过很多的相关的知识，最近想着最近的AIGC大

ChatGPT AIGC

土圭垚墝 2023-11-27

急速搭建ChatGPT——GPT4All本地部署

云服务器可至雨云进行购买首先打开雨云官网雨云官网网址：https://www.rainyun.com/YZJ_?s=xxx然后登录/注册雨云（登录/注册建在右上角）如果没注册就点击下方注册，然后如果显示“正在使用优惠通道注册”就照常输入信息没有则优惠码填“YZJ”推荐配置CPU:64位 6核心的CPURAM:16GB及以上可以没有GPU，仅CPU存储:20GB及以上系统:支持Windows，Mac OS，Ubuntu推荐配置:CPU: Intel Xeon E5-2680 V4RAM:32GB支持ECC

ChatGPT

柚子路灯 2024-02-18

打造类ChatGPT服务，本地部署大语言模型（LLM），如何远程访问？

ChatGPT的成功，让越来越多的人开始关注大语言模型（LLM）。如果拥有了属于自己的大语言模型，就可以对其进行一些专属优化。例如：打造属于自己的AI助理，或是满足企业自身的业务及信息安全需求。所以，这段时间，围绕LLM出现了不少的开源方案，能够实现私有化部署的同时打造专属模型。以LangChain-Chatchat为例：不仅最新版本可使用FastChat接入Vicuna, Alpaca, LLaMA, Koala, RWKV等模型。同时，支持API调用服务，并可通过基于Streamlit的We

大语言模型 Vicuna Alpaca LLaMA

贝锐科技 2023-10-12

【AIGC】Mac Intel 本地 LLM 部署经验汇总（CPU Only）

书接上文，我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型，在非 Stream 模式下需要 89 秒才完成一轮问答，响应速度实在是太慢，后续想办法优化

AIGC

Kida的技术小屋 2024-05-13

近期资讯

日本公平贸易委员会预计将裁定谷歌违反《反垄断法》

36氪 2024-12-22

陶鲁斯GX4半自动外形轻巧尺寸紧凑提供优秀耐用性和舒适握持感

武器科技 2024-12-22

5499元泰坦军团新款25寸显示器上市：FHD 540Hz屏

据悉，新款显示器采用了三面窄边框设计，搭载了24.1英寸FastTN面板，色深为8bit，可视角度为178度（水平和垂直），分辨率为FHD（1920x1080），刷新率为540Hz，响应时间GtG和MPRT分别为0.5ms和0.2ms。

驱动之家 2024-12-22

华为Pura 70 Ultra降价1200元！你会买吗

华为官方宣布了2024年新年促销活动，从12月20日至2025年2月16日，购买华为手机、电脑、平板、智慧屏等华为产品，可享受最高2500元的优惠。官网信息显示，华为Pura70Ultra目前最高直降1200元，同时支持教育优惠和以旧换新补贴等多重优惠。

中关村在线 2024-12-22

2024年贺岁档电影票房破20亿

三言科技 2024-12-22

二郎神居然不是杨戬？

二郎神，我们大家都比较熟悉了。其在《宝莲灯》《封神演义》以及《西游记》中都有登场。人们常说二郎神名叫杨戬，但这实际上，是一个误会。 [图片] 在古代早期，似乎并没有关于二郎神姓杨的记载。比如元杂剧《二郎神锁齐天大圣》第一折中提到： “吾神乃二郎真君是也，俗姓赵名煜，幼从道士……隐于青城山 ……加吾神清源妙道真君” 早在唐代的《龙城录》中也有 “赵昱斩蛟”的故事，称赵昱隋炀帝时期人，曾与其兄隐于青城山，因持刀入水斩了为害的蛟，被奉为神明，庙食灌江口，也就是常说的灌江口二郎神。

百科小乱炖 2024-12-23

极氪能源与特来电、国网江苏综能、奥联物业达成战略合作

IT之家12月22日消息，极氪官方本月（12月20日）发文宣布，极氪能源与特来电、国网江苏综能、奥联物业达成战略合作，共建800V超快充网络。据IT之家此前报道，极氪官方在11月29日发文宣布：极氪能源接入第三方充电枪破百万，累计覆盖340+城，达103万+把，与自建充电网络形成互补。

IT之家 2024-12-22

跟随多国脚步，日本公平贸易委员会拟裁定谷歌违反《反垄断法》

IT之家 2024-12-22

微信撤回消息功能的使用技巧与沟通中的注意事项总结

工具，不仅仅是发送消息那么简单，它还承载着我们生活中的许多重要时刻。然而，谁都有发错消息的时候，或者在一时冲动之下，发送了一些不该发送的内容。

新报观察 2024-12-22

微信美颜功能详解：让你的照片更自然动人，分享快乐瞬间

在现代社会，手机已经成为我们生活中必不可少的一部分，而社交软件更是让我们的生活变得更加多姿多彩。微信作为一个广受欢迎的社交平台，除了聊天功能外，还有很多实用的功能。其中，美颜功能就是让我们在拍照时能够更加自信的一项设置。很多人可能只是简单地用微信拍个照，但其实通过一些设置，我们可以让照片看起来更美、更自然。

新报观察 2024-12-22

LLM探索：环境搭建与模型本地部署

推荐体验

相关资讯

谷歌 Gemma AI大模型部署搭建本地

大模型这么火，今天手把手教大家从搭建环境开始实现本地部署ChatGLM2 6B 大模型

急速搭建ChatGPT——GPT4All本地部署

打造类ChatGPT服务，本地部署大语言模型（LLM），如何远程访问？

【AIGC】Mac Intel 本地 LLM 部署经验汇总（CPU Only）

近期资讯

日本公平贸易委员会预计将裁定谷歌违反《反垄断法》

陶鲁斯GX4半自动外形轻巧尺寸紧凑提供优秀耐用性和舒适握持感

5499元泰坦军团新款25寸显示器上市：FHD 540Hz屏

华为Pura 70 Ultra降价1200元！你会买吗

2024年贺岁档电影票房破20亿

二郎神居然不是杨戬？

极氪能源与特来电、国网江苏综能、奥联物业达成战略合作

跟随多国脚步，日本公平贸易委员会拟裁定谷歌违反《反垄断法》

微信撤回消息功能的使用技巧与沟通中的注意事项总结

微信美颜功能详解：让你的照片更自然动人，分享快乐瞬间

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响