开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

如何快速注册微信号，轻松开启你的数字生活之旅

在这个数字化的时代，微信已经成为了我们生活中不可或缺的一部分。无论是聊天、分享生活，还是获取信息，微信都能满足我们的需求。如果你还没有注册微信号，别担心，接下来我会详细讲解一下注册的步骤，帮助你顺利开启你的微信之旅。在开始注册之前，有几个准备工作是需要做的。首先，你需要一部智能手机。

新报观察 2024-12-28

OPPO Reno12 Pro 宣布开放 ColorOS 15 正式版升级尝鲜

IT之家12月27日消息，OPPOReno12Pro昨日宣布开放ColorOS15.0正式版尝鲜升级。IT之家提醒：新版本尝鲜有名额限制，若符合升级条件但显示“当前无新版本尝鲜”，说明当日活动名额已用完，请耐心等待后续名额释放。

IT之家 2024-12-27

中国电信获得发明专利授权：“任务调度方法和装置，非易失性存储介质、电子设备”

证券之星消息，根据天眼查APP数据显示中国电信（601728）新获得一项发明专利授权，专利名为“任务调度方法和装置，非易失性存储介质、电子设备”，专利申请号为CN202210663395.8，授权日为2024年12月27日。专利摘要：本申请公开了一种任务调度方法和装置，非易失性存储介质、电子设备。

证券之星 2024-12-28

如何顺利登录163邮箱并解决常见问题的详细指南

在现代社会，电子邮件已经成为我们日常生活中不可或缺的一部分。无论是工作、学习还是与朋友沟通，邮箱都扮演着重要的角色。今天，我们就来聊聊如何登录163邮箱。163邮箱是一个非常受欢迎的邮箱服务，提供了丰富的功能和良好的用户体验。接下来，我会详细介绍一下登录的步骤和一些常见问题的解决方法。首先，打开你的浏览器。

新报观察 2024-12-28

检验检测湘军｜中机申亿检测：为长沙工程机械产业发展保驾护航

细数长沙的“世界名片”，工程机械便是其中之一。三一重工、中联重科、铁建重工、山河智能等中国工程机械行业头部企业集聚长沙，而在这些企业身后，有一群为行业发展保驾护航的“幕后英雄”——工程机械领域的检测检验“湘军”。

央广网 2024-12-27

上海同及宝建设机器人有限公司被认定为高新技术企业

12月26日，高企认定官网披露对上海市认定机构2024年认定报备的第一批高新技术企业进行备案的公告，上海同及宝建设机器人有限公司在列，证书编号GR202431001297，发证日期为2024年12月26日。天眼查商业履历信息显示，上海同及宝建设机器人有限公司，成立于2002年，位于上海市，是一家以从事科技推广和应用服务业为主的企业。

金融界 2024-12-27

如何轻松隐藏电脑任务栏，提升使用体验与屏幕整洁度

在使用电脑的过程中，任务栏是一个非常重要的界面元素。今天就来聊聊如何隐藏电脑下面的任务栏，让你的屏幕看起来更加整洁。

新报观察 2024-12-28

老板电器获得实用新型专利授权：“电极针组件及燃气灶”

证券之星消息，根据天眼查APP数据显示老板电器（002508）新获得一项实用新型专利授权，专利名为“电极针组件及燃气灶”，专利申请号为CN202323294864.2，授权日为2024年12月27日。

证券之星 2024-12-28

中国电信获得发明专利授权：“频率参考点的自适应配置方法、装置及相关设备”

证券之星消息，根据天眼查APP数据显示中国电信（601728）新获得一项发明专利授权，专利名为“频率参考点的自适应配置方法、装置及相关设备”，专利申请号为CN202311214093.3，授权日为2024年12月27日。

证券之星 2024-12-28

检验检测湘军｜致力科技：以科技之眼洞察大地脉动

侯俊敏举了更详细的例子：“以某条穿越复杂地质条件的长隧道为例，这个地方地质活动频繁，存在滑坡、坍塌等安全隐患。”侯俊敏分享，传统方式是通过人力监测方式，但是效率低，且难以全面覆盖隧道各个角落，存在较大的监测盲区。

央广网 2024-12-27

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

如何快速注册微信号，轻松开启你的数字生活之旅

OPPO Reno12 Pro 宣布开放 ColorOS 15 正式版升级尝鲜

中国电信获得发明专利授权：“任务调度方法和装置，非易失性存储介质、电子设备”

如何顺利登录163邮箱并解决常见问题的详细指南

检验检测湘军｜中机申亿检测：为长沙工程机械产业发展保驾护航

上海同及宝建设机器人有限公司被认定为高新技术企业

如何轻松隐藏电脑任务栏，提升使用体验与屏幕整洁度

老板电器获得实用新型专利授权：“电极针组件及燃气灶”

中国电信获得发明专利授权：“频率参考点的自适应配置方法、装置及相关设备”

检验检测湘军｜致力科技：以科技之眼洞察大地脉动

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响