开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

台风“康妮”历史罕见浙江如何应对风雨“大考”？

作为台风洪涝灾害多发易发省份，浙江闻“风”而动：人员尽早转移、船舶回港避风、在建工地停工、幼儿园及中小学停课、公园景点停业……以“迅”应“汛”面对风雨“大考”。

千龙网 2024-11-01

有棵树启动防湿冷穿衣新计划；威可多发布「拾遗录2.0」胶囊系列；漫心酒店全新城市海岸版产品首发｜消研所周报

全球气候变化的加剧使得极端天气频发，其中湿冷天气在许多地区的冬季频繁发生。湿冷天气不仅使人感到更加寒冷，还可能影响着人们的生活和健康。针对湿冷天气频发的情况，有棵树品牌引发了新思考，并启动了“防湿冷穿衣新计划”，应用单向导湿技术和绿色纤维优可丝面料，精心研发出了松果防湿冷保暖衣。

钛媒体APP 2024-11-01

央广网 2024-11-01

印尼禁售iPhone 16后禁售谷歌手机：零部件本地化不足40%

鞭牛士报道，11月1日消息，据外电报道，印度尼西亚因不符合国内内容要求而禁止销售谷歌Pixel智能手机，几天前该国刚刚禁止苹果iPhone16在该国这个东南亚最大的手机市场销售。印尼工业部表示，谷歌手机必须符合在印尼销售的智能手机中40%为本地零部件的规定，才能在印尼进行交易。

鞭牛士 2024-11-01

刷脸支付似乎不香了，“碰一下”支付在郑州全速铺街

【大河财立方记者杨霄实习生黄健雄文图】6月在国内诞生“碰一下”支付，近期在郑州铺街速度很快。11月1日，支付宝发布消息称，这款新的支付工具在郑州的终端铺机量已经过万，另有近千家餐厅已能“碰一下”点餐。

大河财立方 2024-11-01

一加13首销30分钟销量破10万台！李杰：我们只想把产品做好

10月31日，一加在北京发布了新机OnePlus13，作为一加的十年旗舰之作，这款新机无论是性能、售价都十分炸裂，会后李杰（一加中国区总裁）接受媒体群访时也是给出了他们在打造这款新机背后一些不为人知的故事。

快科技 2024-11-01

雷军回应小米SU7 Ultra定价对标特斯拉：实际配置比Model S Plaid高

钛媒体App11月1日消息，小米集团董事长兼CEO雷军在直播间回应小米SU7Ultra量产版定价对标特斯拉，称SU7Ultra标配版本实际配置比ModelSPlaid高。雷军表示，希望SU7Ultra标配版“出道即巅峰”。据了解，小米SU7Ultra预售价定在81.49万元，与特斯拉ModelSPlaid版国内售价相同。

钛媒体快报 2024-11-01

小米打出了高端化的关键一枪

小米今年的发布会，越开越有科技春晚的感觉。发布会还没开，小米15就多次被顶上了微博热搜。卢伟冰发微博称“彩排完的任务只有删ppt”，但发布会仍然开了三个多小时。足够高的热度，足够量大管饱的内容，让大洋彼岸那场“科技春晚”的正主都有点相形见绌。虽然是做手机起家，手机业务也仍然承担着养家糊口的重任，但发布会上，手机已经不是大家关注的焦点。

砍柴网 2024-11-01

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

台风“康妮”历史罕见浙江如何应对风雨“大考”？

有棵树启动防湿冷穿衣新计划；威可多发布「拾遗录2.0」胶囊系列；漫心酒店全新城市海岸版产品首发｜消研所周报

汉得信息：与智谱AI构建深度生态合作已有多个商业化项目落地

21深度丨OpenAI硬刚谷歌主阵地，AI搜索战事再起

设沪港两大赛区，2024 Web3.0创新大赛在沪启动

印尼禁售iPhone 16后禁售谷歌手机：零部件本地化不足40%

刷脸支付似乎不香了，“碰一下”支付在郑州全速铺街

一加13首销30分钟销量破10万台！李杰：我们只想把产品做好

雷军回应小米SU7 Ultra定价对标特斯拉：实际配置比Model S Plaid高

小米打出了高端化的关键一枪

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响