开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

中洲特材：高温合金产品尚未应用于机器人领域

金融界12月26日消息，有投资者在互动平台向中洲特材提问：董秘您好，请问贵公司合金系列产品是否直接或间接用于机器人或机器狗等产品中！如果没有公司未来是否考虑生产机器人结构部件产品！

金融界 2024-12-26

华为Mate 70 Pro+通过三项航天级测试

据华为终端消息，华为Mate70Pro+成功通过模拟火箭360km/h冲击、28米高空跌落和-30度极端低温环境三项航天级测试。华为Mate70Pro+搭载高亮钛玄武架构，可提升手机在抗冲击、抗跌落、抗低温能力。

每日经济新闻 2024-12-26

「e公司观察」技术迭代的溢出效应

无人机变得越来越好用，越来越便宜，受益于汽车产业链，人形机器人变得越来越智能，则受益于大模型。大疆2015年推出第一代的农业植保机MG1时，锂电池保内寿命只有180次。如果以2015年的产品放在现在做吊运不到一个月电池就要报废。另外，大疆无人机还开始搭载激光雷达，激光雷达的发展，也受益于新能源汽车产业链的智能化。

证券时报 2024-12-26

微软解析“教育+AI”：小模型带来的智能硬件大爆发，教育亦有结合机会

来源|多知整理|王上摄|张子通近日，在多知OpenTalk第48期“全球起航!‘教育+AI’出海进行时”活动中，微软中国高级解决方案专家王剑白博士发表了主题演讲《GenAl浪潮下教育行业转型及出海的实践与思考》。

多知网 2024-12-26

“直男”品牌攻占女性市场，大疆Pocket 3是如何火出圈的？

魔镜洞察显示，2023年11月到2024年10月，在淘宝、天猫普通数码相机类目下，大疆Pocket3以1.24亿元的销售额断层第一，影石Insta360GO3s以0.52亿元的销售额位列第二，索尼ZV-1以0.46亿元的销售额位列第三。

蓝鲸新闻 2024-12-26

一加平板发布：1999元起！首销送手写笔

快科技12月26日消息，在今天下午的Ace5系列发布会上，一加还正式发布了一加平板，起售价1999元，首销还赠送一根手写笔。外观方面，一加平板有苔原绿、深空灰两种配色，6.29mm厚，533g重，打游戏久握不累。

快科技 2024-12-26

红果短剧认真整改主动停更5天

红果短剧在接受广电主管部门约见后，高度重视，迅速响应，坚决落实好主管部门关于微短剧管理的有关规定和指导要求，进一步完善审核制度，即日起对平台上所有剧集进行逐一排查，对于发现的违规内容，立即采取下线等措施。

广电视界 2024-12-26

性能新旗舰，一加Ace5Pro正式发布：骁龙8至尊版极致电竞体验

它搭载了高通骁龙8至尊版处理器，配备了高达16GB的LPDDR5T内存和UFS4.0闪存，这样的配置在同档位中极为罕见。此外，一加Ace5Pro还配备了6100mAh的大电池和支持100W超级闪充技术，能够在35分钟内快速补满电量。

小米地瓜 2024-12-26

用Rust重构Win11内核！微软已开始行动

快科技12月26日消息，在2023的时候，微软就曾透露正在尝试使用Rust重构WindowsNT内核中的部分模块。如今在Windows1124H2版本中，终于可以初见微软的工作成果，在更新日志中，微软提到了一个使用Rust开发的新GDI区域。

驱动之家 2024-12-26

博帝推出中端 PCIe 4.0 M.2 固态硬盘 P400 V4，6200MB/s 顺序读

IT之家12月26日消息，博帝Patriot今日宣布推出一款速度上属于PCIe4.0×4SSD中端级别的P400V4固态硬盘。该盘体采用M.22280单面外形规格，整体覆盖以石墨烯散热片。

IT之家 2024-12-26

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

中洲特材：高温合金产品尚未应用于机器人领域

华为Mate 70 Pro+通过三项航天级测试

「e公司观察」技术迭代的溢出效应

微软解析“教育+AI”：小模型带来的智能硬件大爆发，教育亦有结合机会

“直男”品牌攻占女性市场，大疆Pocket 3是如何火出圈的？

一加平板发布：1999元起！首销送手写笔

红果短剧认真整改主动停更5天

性能新旗舰，一加Ace5Pro正式发布：骁龙8至尊版极致电竞体验

用Rust重构Win11内核！微软已开始行动

博帝推出中端 PCIe 4.0 M.2 固态硬盘 P400 V4，6200MB/s 顺序读

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响