使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

温度的科学与生活：如何理解、运用及珍惜变化带来的感动

无论是在天气预报中，还是在家里烹饪时，温度都扮演着重要的角色。说到温度，很多人可能会想到温度计。水银温度计里装的是水银，水银是一种金属，在温度变化时会膨胀或者收缩，指针指向的刻度就表示了当前的温度。温度的变化不仅仅影响着我们个人的感受，它更是自然界中的一种重要现象。

新报观察 2024-12-28

轻松掌握Photoshop笔刷安装与使用技巧，提升设计效果！

很多刚接触Photoshop的朋友可能会觉得这方面比较复杂，其实安装笔刷并没有那么难，只要掌握几个步骤，你就能轻松搞定。有些朋友可能会问，那如果我下载的笔刷是一个压缩包呢？

新报观察 2024-12-28

海康威视获得发明专利授权：“安装调节组件和多媒体设备”

证券之星消息，根据天眼查APP数据显示海康威视（002415）新获得一项发明专利授权，专利名为“安装调节组件和多媒体设备”，专利申请号为CN202411142808.3，授权日为2024年12月27日。

证券之星 2024-12-28

天汽模获得发明专利授权：“一种模具上、下模气路连通装置”

证券之星消息，根据天眼查APP数据显示天汽模（002510）新获得一项发明专利授权，专利名为“一种模具上、下模气路连通装置”，专利申请号为CN202011607492.2，授权日为2024年12月27日。

证券之星 2024-12-28

格力电器获得发明专利授权：“控制方法、装置、电子设备、磁悬浮压缩机及存储介质”

证券之星消息，根据天眼查APP数据显示格力电器（000651）新获得一项发明专利授权，专利名为“控制方法、装置、电子设备、磁悬浮压缩机及存储介质”，专利申请号为CN202310025376.7，授权日为2024年12月27日。

证券之星 2024-12-28

数字时代表情符号的使用与沟通技巧：让交流更生动有趣的指南

我们不再依赖单纯的文字来表达情感，表情符号（也就是我们常说的“表情”）成为了日常交流中不可或缺的一部分。那么，表情到底怎么打，才能让我们的沟通更加生动有趣呢？

新报观察 2024-12-28

中航光电获得实用新型专利授权：“连接器漏液防护装置、流体连接器组件及分水器”

专利摘要：本实用新型提供了一种连接器漏液防护装置、流体连接器组件及分水器，属于连接器技术领域。

证券之星 2024-12-28

星湖科技获得发明专利授权：“一种L-组氨酸提纯及结晶的方法”

证券之星消息，根据天眼查APP数据显示星湖科技（600866）新获得一项发明专利授权，专利名为“一种L-组氨酸提纯及结晶的方法”，专利申请号为CN202211482752.7，授权日为2024年12月27日。专利摘要：本发明属于生物工程发酵技术领域，具体为一种L‑组氨酸提纯及结晶的方法。

证券之星 2024-12-28

磁力在日常生活中的多种实用应用与便利性探索

磁力的使用其实是一个很有趣的话题，很多人听到“磁力”可能会想到一些高科技的东西，但实际上，磁力与我们的生活息息相关。

新报观察 2024-12-28

电脑联网详解：有线与无线连接方式及常见问题处理指南

那么，电脑究竟是怎么联网的呢？无论选择哪种方式，都需要确保你的网络设备正常工作。首先，检查一下你的网络设备是否正常工作，比如路由器是否开机，指示灯是否正常闪烁。

新报观察 2024-12-28

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

温度的科学与生活：如何理解、运用及珍惜变化带来的感动

轻松掌握Photoshop笔刷安装与使用技巧，提升设计效果！

海康威视获得发明专利授权：“安装调节组件和多媒体设备”

天汽模获得发明专利授权：“一种模具上、下模气路连通装置”

格力电器获得发明专利授权：“控制方法、装置、电子设备、磁悬浮压缩机及存储介质”

数字时代表情符号的使用与沟通技巧：让交流更生动有趣的指南

中航光电获得实用新型专利授权：“连接器漏液防护装置、流体连接器组件及分水器”

星湖科技获得发明专利授权：“一种L-组氨酸提纯及结晶的方法”

磁力在日常生活中的多种实用应用与便利性探索

电脑联网详解：有线与无线连接方式及常见问题处理指南

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响