开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

2024世界智能制造大会人本智造专题活动顺利举行

会议上，国内外89所高校、科研院所的代表，以智慧叠加，用理念互融，掀起了一场以人为本的智能制造技术和模式创新头脑风暴。他们的报告，如同一把把钥匙，打开了人本智造领域的一扇扇大门，让与会者们领略到了智能制造与人本理念的无限魅力。

央广网 2024-12-28

深圳市格瑞斯通自控设备有限公司取得一种多路检测高精度水浸传感器专利，方便工作人员拆卸更换不同长度导线或者更换新的探头端

金融界2024年12月28日消息，国家知识产权局信息显示，深圳市格瑞斯通自控设备有限公司取得一项名为“一种多路检测高精度水浸传感器”的专利，授权公告号CN222212165U，申请日期为2024年4月。

金融界 2024-12-28

安诊儿 2.0：服务升级，已服务 1700 余万人次

【12月28日，浙江省卫生健康委与支付宝联合打造的数字健康人升级为“安诊儿2.0”】“安诊儿2.0”基于蚂蚁百灵医疗大模型，拥有千亿级医疗文本语料，提供多种AI服务，并集成20余项医疗健康服务，用户可通过多渠道体验。自2023年11月上线以来，安诊儿已累计服务1700余万人次，平均节省就医时间约20分钟，还被评为2024年度新举措。

和讯网 2024-12-28

雷军：小米SU7交付量超过13万台，我们还将扩充产能，保障交付

雷军在微博上表示，今天是12月28日，去年的今天，小米汽车正式跟大家见面。

华尔街见闻 2024-12-28

“和合共生”彰显中华民族文化自信

在经济全球化深入发展的今天，文明的交融、思想的碰撞为人类社会发展提供动力。在全球文明交响乐中，拥有五千多年悠久历史的中华文明不可或缺。中国高扬中华民族的文化主体性，不仅是对传统的守护，也是为人类未来贡献智慧。中华文明犹如一条生生不息的大河，滋养了中华民族的精神世界，为世界文明注入独特的东方智慧。

北青网 2024-12-28

嫦娥五号月球样品向公众开放！看了这个展四舍五入也算去了趟月球

2020年12月，嫦娥五号成功从月球带回月壤样品，月球样品科研工作随之展开。今天（12月28日）下午，“问月——中国探月工程嫦娥五号月球样品展”将在北京天文馆B馆一层展厅拉开帷幕。

环球时报 2024-12-28

新一代性能猛兽登场英特尔酷睿 Ultra 7 255HX 现身 Geekbench

【CNMO科技新闻】近日，CNMO注意到Geekbench数据库中出现了两款高端游戏本CPU型号的测试结果，包括搭载酷睿Ultra7255HX的测试工程机在AI跑分测试中的表现。

手机中国 2024-12-28

Xbox或正计划更换未来手柄的电机提升触觉反馈

根据Tech4Gamers发现，微软最近提交的一项专利表明，公司可能会为Xbox手柄提供新的触觉反馈电机。微软目前正在开发代号为“Sebile”的手柄，这可能将是新手柄的部分功能，并且也是对索尼的DualSense手柄的回应。

3DM游戏 2024-12-28

大屏幕、大智慧，华为MatePad Pro 13.2英寸柔光版让你“没得怕的”!

12月26日，华为官方发布创意视频“没得怕的”，引发万千网友情感共鸣。随着故事的推进，那些看似不可逾越的障碍，在坚持与努力下，竟然变得不再那么可怕。目前，华为平板全球累计出货量已超1亿台，2024年第三季度更以36.7%的份额稳居中国平板市场第一。

红星新闻 2024-12-28

小米SU7交付超13万辆

12月28日，小米汽车宣布，截至目前，小米SU7交付超过13万辆。小米汽车方面表示，今年小米汽车顺利完成所有全年目标，也收获超预期的成绩和口碑。据统计，今年小米汽车门面已开业200家，覆盖全国58座城市。同时，目前研发投入超130亿元，专利授权超千项。此外，目前小米汽车累计智驾里程已突破1亿公里，端到端全场景智能驾驶即将开启先锋测试。

北京商报 2024-12-28

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

2024世界智能制造大会人本智造专题活动顺利举行

深圳市格瑞斯通自控设备有限公司取得一种多路检测高精度水浸传感器专利，方便工作人员拆卸更换不同长度导线或者更换新的探头端

安诊儿 2.0：服务升级，已服务 1700 余万人次

雷军：小米SU7交付量超过13万台，我们还将扩充产能，保障交付

“和合共生”彰显中华民族文化自信

嫦娥五号月球样品向公众开放！看了这个展四舍五入也算去了趟月球

新一代性能猛兽登场英特尔酷睿 Ultra 7 255HX 现身 Geekbench

Xbox或正计划更换未来手柄的电机提升触觉反馈

大屏幕、大智慧，华为MatePad Pro 13.2英寸柔光版让你“没得怕的”!

小米SU7交付超13万辆

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响