开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

百强阀门集团取得具有吹扫功能的水封闸阀专利，保障阀门密封可靠延长使用寿命

金融界2024年12月27日消息，国家知识产权局信息显示，百强阀门集团有限公司取得一项名为“一种具有吹扫功能的水封闸阀”的专利，授权公告号CN222209049U，申请日期为2024年5月。

金融界 2024-12-27

山东沪工取得一种上装硬密封撑开式球阀专利，可有效减少液体介质从管体和球阀出现泄漏情况

金融界2024年12月27日消息，国家知识产权局信息显示，山东沪工阀门制造股份有限公司取得一项名为“一种上装硬密封撑开式球阀”的专利，授权公告号CN222209058U，申请日期为2024年5月。

金融界 2024-12-27

浙江万得凯流体设备科技股份有限公司取得一种给排水用无铅角阀专利，防止角阀在未完全打开时水流流出

金融界2024年12月27日消息，国家知识产权局信息显示，浙江万得凯流体设备科技股份有限公司取得一项名为“一种给排水用无铅角阀”的专利，授权公告号CN222209047U，申请日期为2024年5月。

金融界 2024-12-27

南通万尔德阀门取得高温柱塞调节阀专利，方便对阀体内部进行清理或检修

金融界2024年12月27日消息，国家知识产权局信息显示，南通万尔德阀门有限公司取得一项名为“一种高温柱塞调节阀”的专利，授权公告号CN222209050U，申请日期为2023年12月。

金融界 2024-12-27

温州楠源暖通取得电磁球阀专利，利用电磁感应启闭更加方便成本更低

金融界2024年12月27日消息，国家知识产权局信息显示，温州楠源暖通工程有限公司取得一项名为“一种电磁球阀”的专利，授权公告号CN222209055U，申请日期为2024年3月。

金融界 2024-12-27

山东鲁临阀门取得双伸缩无偏移扇形盲板阀专利，避免阀板启闭时密封胶条磨损，使用寿命长

金融界2024年12月27日消息，国家知识产权局信息显示，山东鲁临阀门有限公司取得一项名为“双伸缩无偏移扇形盲板阀”的专利，授权公告号CN222209048U，申请日期为2024年5月。

金融界 2024-12-27

沪帆汽车电子系统有限公司取得新型节能水泵腔体转换球阀机构专利，提高球阀本体寿命

金融界2024年12月27日消息，国家知识产权局信息显示，沪帆汽车电子系统有限公司取得一项名为“一种新型节能水泵腔体转换球阀机构”的专利，授权公告号CN222209056U，申请日期为2024年4月。

金融界 2024-12-27

恒盾消防取得可防止阀杆回退的高压阀门专利，结构使用稳定性好

金融界2024年12月27日消息，国家知识产权局信息显示，恒盾消防科技有限公司取得一项名为“一种可防止阀杆回退的高压阀门”的专利，授权公告号CN222209051U，申请日期为2024年5月。

金融界 2024-12-27

缙云县成泰阀门取得密封截止阀专利，可防止手轮被误转增加截止阀安全性

金融界2024年12月27日消息，国家知识产权局信息显示，缙云县成泰阀门有限公司取得一项名为“种密封截止阀”的专利，授权公告号CN222209053U，申请日期为2024年3月。

金融界 2024-12-27

浙江三盛取得一种过滤球阀专利，能够实现过滤目的

金融界2024年12月27日消息，国家知识产权局信息显示，浙江三盛阀门机械股份有限公司取得一项名为“一种过滤球阀”的专利，授权公告号CN222209057U，申请日期为2024年5月。专利摘要显示，本实用新型公开了一种过滤球阀，属于球阀技术领域。

金融界 2024-12-27

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

百强阀门集团取得具有吹扫功能的水封闸阀专利，保障阀门密封可靠延长使用寿命

山东沪工取得一种上装硬密封撑开式球阀专利，可有效减少液体介质从管体和球阀出现泄漏情况

浙江万得凯流体设备科技股份有限公司取得一种给排水用无铅角阀专利，防止角阀在未完全打开时水流流出

南通万尔德阀门取得高温柱塞调节阀专利，方便对阀体内部进行清理或检修

温州楠源暖通取得电磁球阀专利，利用电磁感应启闭更加方便成本更低

山东鲁临阀门取得双伸缩无偏移扇形盲板阀专利，避免阀板启闭时密封胶条磨损，使用寿命长

沪帆汽车电子系统有限公司取得新型节能水泵腔体转换球阀机构专利，提高球阀本体寿命

恒盾消防取得可防止阀杆回退的高压阀门专利，结构使用稳定性好

缙云县成泰阀门取得密封截止阀专利，可防止手轮被误转增加截止阀安全性

浙江三盛取得一种过滤球阀专利，能够实现过滤目的

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响