开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

Zed AI简介及其与Cursor AI的比较

Zed AI简介及其与Cursor AI的比较与 Cursor 类似，Zed AI 将大型语言模型集成到一个令人印象深刻的代码编辑器中。我们试用了 Zed AI 并将其与 Cursor 进行了比较。

云云众生s 12小时前

Android系统启动流程

概括Android系统的启动流程可能涉及的一些技术细节和底层实现。一、启动准备阶段 1.1 硬件初始化时钟系统：电源启动后，硬件时钟（RTC，实时时钟）被激活，为系统提供时间基准。同时，CPU内部

望佑 13小时前

Hugging Face NLP课程学习记录 - 2. 使用 Hugging Face Transformers

Hugging Face NLP课程学习记录 - 2. 使用 Hugging Face Transformers 说明：首次发表日期：2024-09-19

shizidushu 14小时前

Python Dictionaries详解！

什么是 Python Dictionaries字典？Python Dictionaries有什么用途？Dictionaries字典是一种用于以键值对的形式存储值的数据结构。

猿java 10小时前

【React】使用 umi4 搭建项目的一些小问题解决方案

umi-request umi-request 在 umi4 中被废弃，使用 import { request } from '@@/plugin-request' 来（对 axios 进行的二次封装

Heo 10小时前

记一次View#requestLayout调用后不生效问题

问题表现某自定义ViewGroupA，其子View的topMargin在更新之后，会调用View#setLayoutParams,内部会调用View#requestLayout，调用之后，子View

HelloBan 15小时前

Android-图片加载卡顿优化

图片加载导致的卡顿图片（包括帧动画）页面渲染过多导致卡顿，在不改变图片大小、质量情况下可以这样优化！

wuxu_54 10小时前

使用Kotlin属性委托封装MMKV

kotlin的属性委托大家应该比较了解，主要用于属性的存取，这里我就不做过多介绍了，下面就直接贴脸开大，哦不，是直接贴代码了。 kv帮助类首先需要一个key-value的帮助类，如下：注意这里的e

bytebitx 14小时前

地平线静态目标检测 MapTR 参考算法-V1.0

高清地图是自动驾驶系统的重要组件，提供精确的驾驶环境信息和道路语义信息。传统离线地图构建方法成本高，维护复杂，使得依赖车载传感器的实时感知建图成为新趋势。

地平线开发者 11小时前

探秘鸿蒙：开启万物互联新时代

经过十多年的发展，传统移动互联网的增长红利已渐见顶。万物互联时代正在开启，应用的设备底座将从几十亿手机扩展到数百亿IoT 设备。鸿蒙作为一个新的系统，未来的发展空间巨大

小虎牙007 10小时前

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

Zed AI简介及其与Cursor AI的比较

Android系统启动流程

Hugging Face NLP课程学习记录 - 2. 使用 Hugging Face Transformers

Python Dictionaries详解！

【React】使用 umi4 搭建项目的一些小问题解决方案

记一次View#requestLayout调用后不生效问题

Android-图片加载卡顿优化

使用Kotlin属性委托封装MMKV

地平线静态目标检测 MapTR 参考算法-V1.0

探秘鸿蒙：开启万物互联新时代

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响