开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

快科技2024年度评奖：品牌整机篇

传统台式机作为“组装货”，其实并没有太多发挥的空间，所以去年我们一度取消了这一评奖类，不过近两年迷你机异军突起，产品极大丰富，品质和性能越来越好，价格各有千秋，所以今年将

鹿角 2024-12-25

一博主长期侵犯华为权益被判公开致歉：拒不执行被法院公示

快科技12月25日消息，《南方日报》今日刊登了一份“华为技术有限公司、华为终端有限公司起诉余明亮名誉权纠纷案件判决内容公告”，据悉，是被告人败诉后拒不公开致歉，因此被东莞市第

落木 2024-12-25

快科技2024年度评奖：智能手机篇

2024年即将接近尾声，回顾过去的这一年，手机行业迎来了跨越式发展，呈现百家争鸣的局面。在过去的这一年里，华为手机业务重回正轨，持续爆发。数据显示，2024年前三季度，搭载鸿蒙系统的华

振亭 2024-12-25

博主曝有人招募水军恶意刷蔚来差评：一条评论5毛钱

快科技12月25日消息，日前，有博主爆料称，微信群中有人招募网络水军，向蔚来汽车恶意刷差评，一条评论5毛钱。聊天截屏显示，招募的水军要求，直接复制评论大量刷就行，一条0.5元。招募人还

若风 2024-12-25

影视飓风2024年度相机颁奖：iPhone 16 Pro Max获最佳手机

快科技12月25日消息，B站千万粉UP主“影视飓风”公布了2024年度相机颁奖。其中“最佳手机视频”的桂冠颁给了苹果iPhone 16 Pro Max。影视飓风表示，之所以颁给iPhone 1

随心 2024-12-25

快科技2024年度评奖：内存篇

2024年已要过完，回顾今年的内存市场，除了高频率依然是绕不开的话题，低时序也得到了广泛重视。各个厂商的DDR5-8000MHz内存不断涌现，还有不少产品甚至可以在室温空冷的情况下，就能超频到10

黑白 2024-12-25

快科技2024年度评奖：智能家居篇

在2024年，智能家居技术继续以惊人的速度发展，为我们的生活带来了前所未有的便利与舒适。随着人工智能、物联网和大数据技术的不断融合与创新，智能家居产品已经从简单的远程控制进化成为能够

随心 2024-12-25

快科技2024年度评奖：硬盘篇

今年的硬盘市场，既可以说波澜不惊，也可以说暗流涌动。去年大热的PCIe 5.0 SSD今年突然冷静了下来，各家都没有大规模推出产品，还是在PCIe 4.0 SSD市场上激烈搏杀。去年被视作PCIe 5.0 SSD主

万俟雨休 2024-12-25

快科技2024年度评奖：手机SoC篇

岁月如歌，转瞬之间，2024年的钟声即将敲响尾声的旋律。过去的一年，智能手机市场扭转颓势，已经实现连续三个季度的整体份额增长，手机SoC市场自然也水涨船高。回望过去一年，行业内发生了一

建嘉 2024-12-25

快科技2024年度评奖：系统软件篇

不知不觉2024年已经接近尾声，回顾这一年，各大手机厂商在硬件上疯狂堆料的同时，也更加注重手机系统打造和用户使用体验。要说今年最重磅的，还得是华为原生鸿蒙HarmonyOS NEXT的正式发布，代

黑白 2024-12-25

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

快科技2024年度评奖：品牌整机篇

一博主长期侵犯华为权益被判公开致歉：拒不执行被法院公示

快科技2024年度评奖：智能手机篇

博主曝有人招募水军恶意刷蔚来差评：一条评论5毛钱

影视飓风2024年度相机颁奖：iPhone 16 Pro Max获最佳手机

快科技2024年度评奖：内存篇

快科技2024年度评奖：智能家居篇

快科技2024年度评奖：硬盘篇

快科技2024年度评奖：手机SoC篇

快科技2024年度评奖：系统软件篇

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响