开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

广东美的制冷设备有限公司取得双向节流阀专利，控制流体流向和流量

金融界2024年12月27日消息，国家知识产权局信息显示，广东美的制冷设备有限公司取得一项名为“双向节流阀、空调管及空调”的专利，授权公告号CN222209028U，申请日期为2024年2月。

金融界 2024-12-27

广东美芝制冷取得阀针组件、电子膨胀阀及制冷设备专利，提高电子膨胀阀密封性

金融界2024年12月27日消息，国家知识产权局信息显示，广东美芝制冷设备有限公司取得一项名为“阀针组件、电子膨胀阀及制冷设备”的专利，授权公告号CN222209033U，申请日期为2024年5月。

金融界 2024-12-27

泉州市春江阀门制造有限公司取得可快速启闭阀门专利，可达到调节出料速度的效果

金融界2024年12月27日消息，国家知识产权局信息显示，泉州市春江阀门制造有限公司取得一项名为“一种可快速启闭阀门”的专利，授权公告号CN222209038U，申请日期为2024年4月。

金融界 2024-12-27

张家港百图阀门取得低温调压阀阀瓣结构专利，提高密封性

金融界2024年12月27日消息，国家知识产权局信息显示，张家港百图阀门有限公司取得一项名为“种低温调压阀阀瓣结构”的专利，授权公告号CN222209030U，申请日期为2024年5月。

金融界 2024-12-27

缙云县金恒电子元件取得可精确控制流量阀门专利，达到便于调节的目的

金融界2024年12月27日消息，国家知识产权局信息显示，缙云县金恒电子元件有限公司取得一项名为“一种可精确控制流量阀门”的专利，授权公告号CN222209025U，申请日期为2024年7月。

金融界 2024-12-27

南安市生文机械配件有限公司取得一种不锈钢阀门铸件专利，降低截止阀开启难度

金融界2024年12月27日消息，国家知识产权局信息显示，南安市生文机械配件有限公司取得一项名为“一种不锈钢阀门铸件”的专利，授权公告号CN222209029U，申请日期为2024年5月。专利摘要显示，本实用新型公开了一种不锈钢阀门铸件，涉及阀门技术领域。

金融界 2024-12-27

广东联柏科技取得一种转换阀体结构专利，有利于日常频繁操作产品使用

金融界2024年12月27日消息，国家知识产权局信息显示，广东联柏科技集团有限公司取得一项名为“一种转换阀体结构”的专利，授权公告号CN222209026U，申请日期为2023年12月。

金融界 2024-12-27

天津康科取得具有新型密封结构的先导式密封阀专利，提高密封效果

金融界2024年12月27日消息，国家知识产权局信息显示，天津康科阀门有限公司取得一项名为“一种具有新型密封结构的先导式密封阀”的专利，授权公告号CN222209034U，申请日期为2024年5月。

金融界 2024-12-27

浙江捷宇阀门有限公司取得一种氢气能用的截止阀结构专利，实现在不影响密封性的前提下方便与更大的金属阀芯安装连接

金融界2024年12月27日消息，国家知识产权局信息显示，浙江捷宇阀门有限公司取得一项名为“一种氢气能用的截止阀结构”的专利，授权公告号CN222209031U，申请日期为2024年5月。专利摘要显示，本实用新型公开了一种氢气能用的截止阀结构，涉及阀门装置领域。

金融界 2024-12-27

浙江欧菲取得斜销可拆型蝶阀用蝶板定位机构专利，避免定位销受到剪切力

金融界2024年12月27日消息，国家知识产权局信息显示，浙江欧菲石油设备有限公司取得一项名为“一种斜销可拆型蝶阀用蝶板定位机构”的专利，授权公告号CN222209032U，申请日期为2024年5月。

金融界 2024-12-27

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

广东美的制冷设备有限公司取得双向节流阀专利，控制流体流向和流量

广东美芝制冷取得阀针组件、电子膨胀阀及制冷设备专利，提高电子膨胀阀密封性

泉州市春江阀门制造有限公司取得可快速启闭阀门专利，可达到调节出料速度的效果

张家港百图阀门取得低温调压阀阀瓣结构专利，提高密封性

缙云县金恒电子元件取得可精确控制流量阀门专利，达到便于调节的目的

南安市生文机械配件有限公司取得一种不锈钢阀门铸件专利，降低截止阀开启难度

广东联柏科技取得一种转换阀体结构专利，有利于日常频繁操作产品使用

天津康科取得具有新型密封结构的先导式密封阀专利，提高密封效果

浙江捷宇阀门有限公司取得一种氢气能用的截止阀结构专利，实现在不影响密封性的前提下方便与更大的金属阀芯安装连接

浙江欧菲取得斜销可拆型蝶阀用蝶板定位机构专利，避免定位销受到剪切力

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响