开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

在年货节，vivoY200t跌至736元，入手那是真香！

vivoY200t采用6.72英寸LCD金刚护眼屏，分辨率为2408×1080，支持120Hz高刷新率，无论是滑动屏幕还是玩游戏，都能感受到丝滑般的触感。屏幕最高亮度可达1000nits，即使在阳光下也能清晰可见。

大话百科天地 2024-12-28

两大射电望远镜睁开“巨眼” 如何助力我国月球与深空探测？

中国科学院上海天文台昨天（27日）在上海松江、西藏日喀则、吉林长白山三地同步举行日喀则和长白山40米射电望远镜落成启用仪式。两个新建站位于我国西南、东北，建成后将显著改进我国甚长基线干涉测量网的构型，由“四站一中心”升级为“六站一中心”。“六站一中心”的中国甚长基线干涉测量网将如何助力我国月球与深空探测？

央广网 2024-12-28

全国首个“智慧园区数据集”上线

与数据服务商开鑫科技公司联合打造的“智慧园区和封闭管理数据集”在无锡数据资产服务平台上线。这是国内首个“智慧园区数据集”，意味着550万条数据，可转化为价值近1700万元的资产。

新华日报 2024-12-28

台山核电取得核电站蒸汽压缩机台板专利，提高设备耐用性

金融界2024年12月28日消息，国家知识产权局信息显示，台山核电合营有限公司取得一项名为“核电站蒸汽压缩机台板”的专利，授权公告号CN222209573U，申请日期为2024年5月。

金融界 2024-12-28

华为畅享70Pro，不仅颜值高，使用体验也相当棒！

在年货节旗舰，该机的256GB版本价格跌到了1307元。如果你正在寻找一款价格亲民且性能卓越的智能手机，那么华为畅享70Pro绝对值得你拥有。

大话百科天地 2024-12-28

小米高端成了！卢伟冰透露2024小米高端旗舰销量突破1000万台

【CNMO科技新闻】近日，卢伟冰在一场名为“卢伟冰的年度总结”的直播中，分享了小米在高端手机市场的显著成就。他宣布，2024年小米高端手机的全球销量已经突破了1000万台大关，实现了同比43%的大幅增长。卢伟冰强调，小米已经成功地在4K至6K价位段站稳脚跟，并计划在2025年重点突破6K以上的高端市场。

手机中国 2024-12-28

福建：以生态共建打造“数据要素×气象服务”新范本

央广网福州12月28日消息（记者龚雯）日前，福建大数据交易所气象数据专区上线，福建省首个气象数据要素创新联合实验室揭牌，将以生态共建打造“数据要素x气象服务”新范本。作为全国范围内为数不多拥有金融牌照的合规数据交易场所，福建大数据交易所本次开辟气象数据专区，标志着福建省气象数据合规流通交易开启崭新的篇章。

央广网 2024-12-28

应用闪退原因解析与解决方法：从软件到设备性能的全面探讨

《闪退怎么回事》在我们日常使用手机和电脑的时候，遇到应用闪退的情况可以说是让人非常头疼。那么，闪退到底是怎么回事呢？有些应用在开发时可能没有经过充分的测试，或者在更新版本时出现了bug，这就可能导致应用在特定的操作下崩溃。开发者会定期推出更新来修复bug和提升性能，及时更新能确保你使用的是最新、最稳定的版本。

新报观察 2024-12-28

卢伟冰正式官宣：小米15 Ultra春节后全球上市

【CNMO科技新闻】近日，手机中国注意到，小米集团副总裁卢伟冰在近期的一次直播中，向广大消费者传递了一个令人兴奋的消息：小米15Ultra将在春节后如期发布，并将面向全球市场上市。卢伟冰在直播中强调，小米15Ultra的研发进度一切尽在掌握，没有出现任何延期的情况，产品开发正按计划稳步推进。

手机中国 2024-12-28

安徽卡卡木教育取得一种 AI 机器人教具的自适应移动结构专利，让 AI 机器人教具在不同环境下顺利移动教学

金融界2024年12月28日消息，国家知识产权局信息显示，安徽卡卡木教育有限公司取得一项名为“一种AI机器人教具的自适应移动结构”的专利，授权公告号CN222209569U，申请日期为2024年5月。专利摘要显示，本实用新型提供一种AI机器人教具的自适应移动结构。

金融界 2024-12-28

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

在年货节，vivoY200t跌至736元，入手那是真香！

两大射电望远镜睁开“巨眼” 如何助力我国月球与深空探测？

全国首个“智慧园区数据集”上线

台山核电取得核电站蒸汽压缩机台板专利，提高设备耐用性

华为畅享70Pro，不仅颜值高，使用体验也相当棒！

小米高端成了！卢伟冰透露2024小米高端旗舰销量突破1000万台

福建：以生态共建打造“数据要素×气象服务”新范本

应用闪退原因解析与解决方法：从软件到设备性能的全面探讨

卢伟冰正式官宣：小米15 Ultra春节后全球上市

安徽卡卡木教育取得一种 AI 机器人教具的自适应移动结构专利，让 AI 机器人教具在不同环境下顺利移动教学

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响