使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

咸阳鑫瓷泵业取得用于泥浆泵单向阀相关专利，解决单向阀阀盖更换成本高及材料浪费问题

金融界2024年12月27日消息，国家知识产权局信息显示，咸阳鑫瓷泵业有限公司取得一项名为“用于泥浆泵的单向阀阀盖、单向阀组件及其泥浆泵”的专利，授权公告号CN222209169U，申请日期为2024年7月。专利摘要显示，本实用新型公开了一种用于泥浆泵的单向阀阀盖、单向阀组件及其泥浆泵。

金融界 2024-12-27

方太取得能冷却散热的电磁阀结构专利，散热效果好

金融界2024年12月27日消息，国家知识产权局信息显示，宁波方太厨具有限公司取得一项名为“一种能冷却散热的电磁阀结构”的专利，授权公告号CN222209176U，申请日期为2024年1月。

金融界 2024-12-27

中核核电运行管理有限公司取得一种电磁阀阀芯专利，使活塞稳定封堵通道

金融界2024年12月27日消息，国家知识产权局信息显示，中核核电运行管理有限公司取得一项名为“一种电磁阀阀芯”的专利，授权公告号CN222209175U，申请日期为2024年1月。

金融界 2024-12-27

宁波飞狼自动化取得先导阀专利，加快装置反应速度

金融界2024年12月27日消息，国家知识产权局信息显示，宁波飞狼自动化有限公司取得一项名为“先导阀”的专利，授权公告号CN222209179U，申请日期为2024年3月。

金融界 2024-12-27

常州翰润智能科技取得一种可调式气动执行器专利，可灵活控制阀门的开启程度

金融界2024年12月27日消息，国家知识产权局信息显示，常州翰润智能科技有限公司取得一项名为“一种可调式气动执行器”的专利，授权公告号CN222209186U，申请日期为2024年3月。

金融界 2024-12-27

常州华立取得一种阀门电动执行器的安装支架专利，能够将电动执行器快速安装在安装座上

金融界2024年12月27日消息，国家知识产权局信息显示，常州华立阀门控制设备有限公司取得一项名为“一种阀门电动执行器的安装支架”的专利，授权公告号CN222209171U，申请日期为2024年4月。

金融界 2024-12-27

个性化手机字体设置指南：提升使用体验与视觉享受

想象一下，如果你的手机字体能够独具一格，那会多么酷炫呢！今天，我们就来聊聊怎么在手机上修改字体，让你的手机变得更有个性。首先，你可以在“设置”中找到“显示与亮度”选项，接着点击“文本大小”来调整文字的大小，虽然这不是字体的变化，但能让你的文字看起来更清晰、舒适。

新报观察 2024-12-27

五笔输入法学习指南：掌握技巧与提高打字效率的方法

五笔输入法是很多中文用户常用的输入工具，它的输入方式相对其他输入法来说，速度更快、准确率高。尤其是在需要大量打字的工作中，五笔输入法能帮助你事半功倍。不过，很多刚接触五笔的人常常会觉得它复杂，不知道从何下手。今天就来聊聊如何掌握五笔输入法，特别是“引”这个字的输入方法。

新报观察 2024-12-27

浙江盾安取得电磁阀专利，解决现有技术中电磁阀的相关问题

金融界2024年12月27日消息，国家知识产权局信息显示，浙江盾安人工环境股份有限公司取得一项名为“电磁阀”的专利，授权公告号CN222209178U，申请日期为2024年3月。

金融界 2024-12-27

日照港油品码头有限公司取得可进行控制方式调控的阀门组件专利，能够实现两种远程控制模式的切换

金融界2024年12月27日消息，国家知识产权局信息显示，日照港油品码头有限公司取得一项名为“一种可进行控制方式调控的阀门组件”的专利，授权公告号CN222209173U，申请日期为2024年3月。

金融界 2024-12-27

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

咸阳鑫瓷泵业取得用于泥浆泵单向阀相关专利，解决单向阀阀盖更换成本高及材料浪费问题

方太取得能冷却散热的电磁阀结构专利，散热效果好

中核核电运行管理有限公司取得一种电磁阀阀芯专利，使活塞稳定封堵通道

宁波飞狼自动化取得先导阀专利，加快装置反应速度

常州翰润智能科技取得一种可调式气动执行器专利，可灵活控制阀门的开启程度

常州华立取得一种阀门电动执行器的安装支架专利，能够将电动执行器快速安装在安装座上

个性化手机字体设置指南：提升使用体验与视觉享受

五笔输入法学习指南：掌握技巧与提高打字效率的方法

浙江盾安取得电磁阀专利，解决现有技术中电磁阀的相关问题

日照港油品码头有限公司取得可进行控制方式调控的阀门组件专利，能够实现两种远程控制模式的切换

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响