使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

安徽淮南平圩发电取得适用于电力现货交易的电能采集装置专利，便于工作人员将电能采集盒固定在待安装位置

金融界2024年12月28日消息，国家知识产权局信息显示，安徽淮南平圩发电有限责任公司取得一项名为“一种适用于电力现货交易的电能采集装置”的专利，授权公告号CN222214793U，申请日期为2024年5月。

金融界 2024-12-28

Photoshop抠图技巧全解析：从基础工具到创意效果的完美应用

在当今这个视觉为王的时代，抠图技术被广泛应用于各种场合。无论是做海报、制作社交媒体内容，还是给朋友的照片加点创意，都会用到抠图。今天我们就来聊聊在Photoshop中如何抠图。相信我，掌握这项技能会让你的作品更具吸引力。首先，启动Photoshop，打开你想要处理的图片。你会发现，Photoshop提供了多种工具来帮助我们抠图。

新报观察 2024-12-29

宿迁奇斯灵智能科技取得直接输出半导体激光器专利，便于激光器的安装和拆卸

金融界2024年12月28日消息，国家知识产权局信息显示，宿迁奇斯灵智能科技有限公司取得一项名为“一种直接输出半导体激光器”的专利，授权公告号CN222214787U，申请日期为2024年5月。

金融界 2024-12-28

删除虚拟机前的注意事项与操作步骤详解

删除虚拟机的过程其实并不复杂，但在动手之前，了解一下整个流程和注意事项还是挺重要的。毕竟，虚拟机里的数据和设置可能对你来说有着特殊的意义，随意删除可能会造成不必要的麻烦。打开VirtualBox，界面上会列出你创建的所有虚拟机。

新报观察 2024-12-29

上海瀚宇光纤通信取得环形腔光纤激光器专利，实现 1.6μm 波段单频激光的输出

金融界2024年12月28日消息，国家知识产权局信息显示，上海瀚宇光纤通信技术有限公司取得一项名为“一种环形腔光纤激光器”的专利，授权公告号CN222214785U，申请日期为2024年5月。

金融界 2024-12-28

山东鲁控电力取得组合式低压配电JP柜专利，便于对柜门或组合框与侧板进行快速组装

金融界2024年12月28日消息，国家知识产权局信息显示，山东鲁控电力设备有限公司取得一项名为“组合式低压配电JP柜”的专利，授权公告号CN222214792U，申请日期为2024年5月。

金融界 2024-12-28

酷狗K歌使用指南：畅享音乐乐趣与社交互动的完美平台

《酷狗怎么K歌》在如今这个快速发展的时代，K歌已经成为了许多人日常生活中不可或缺的一部分。今天就来聊聊如何在酷狗上尽情享受K歌的乐趣。

新报观察 2024-12-29

如何设置幻灯片背景以提升演示效果与观众体验

在现代的演示文稿中，幻灯片的背景设置是一个非常重要的环节。一个好的背景不仅能提升幻灯片的美观度，还能帮助观众更好地理解和记住你的内容。今天，我们就来聊聊如何设置幻灯片的背景，让你的演示更加出彩。

新报观察 2024-12-29

派辰新能源取得壁挂式家庭储能电源专利，可实现对多组储能电源本体进行壁挂式安装

金融界2024年12月28日消息，国家知识产权局信息显示，派辰新能源科技（丽水市）有限公司取得一项名为“一种壁挂式家庭储能电源”的专利，授权公告号CN222214791U，申请日期为2024年4月。

金融界 2024-12-28

高效文件共享的步骤与注意事项详解，助力工作与学习提升效率

在日常生活中，文件共享已经成为了我们工作和学习中不可或缺的一部分。无论是团队合作还是个人项目，能够方便地共享文件都能大大提升效率。而设置共享文件其实并没有想象中那么复杂，稍微花点时间，你就能掌握这个技能。下面，我就来聊聊共享文件的设置方法，希望能对你有所帮助。首先，我们要明确共享文件的目的。

新报观察 2024-12-29

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

安徽淮南平圩发电取得适用于电力现货交易的电能采集装置专利，便于工作人员将电能采集盒固定在待安装位置

Photoshop抠图技巧全解析：从基础工具到创意效果的完美应用

宿迁奇斯灵智能科技取得直接输出半导体激光器专利，便于激光器的安装和拆卸

删除虚拟机前的注意事项与操作步骤详解

上海瀚宇光纤通信取得环形腔光纤激光器专利，实现 1.6μm 波段单频激光的输出

山东鲁控电力取得组合式低压配电JP柜专利，便于对柜门或组合框与侧板进行快速组装

酷狗K歌使用指南：畅享音乐乐趣与社交互动的完美平台

如何设置幻灯片背景以提升演示效果与观众体验

派辰新能源取得壁挂式家庭储能电源专利，可实现对多组储能电源本体进行壁挂式安装

高效文件共享的步骤与注意事项详解，助力工作与学习提升效率

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响