使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

权威认可，贝锐向日葵企业版通过安全渗透测试，获评低风险系统

近期，向日葵企业版、私有化部署版以及SDK嵌入版本等软件产品参与并通过了上海计算机软件技术开发中心进行的安全渗透测试，获得了国家级权威测试机构安全报告。上海计算机软件技术开发中心作为国家级权威测试机构，其安全渗透测试完全符合国家标准和规范，高于行业一般标准，可信度远高于商业测试机构。

砍柴网 2024-12-27

如何轻松加入钉钉群聊的技巧与注意事项分享

通常情况下，群主或者管理员会通过各种渠道（比如微信、QQ等）把群聊的邀请链接发给你。另外，很多群聊会有管理员，管理员的职责就是维护群的秩序。

新报观察 2024-12-27

格屋（上海）安防取得一种不分左右的平开铰链专利，结构合理使用方便

金融界2024年12月27日消息，国家知识产权局信息显示，格屋（上海）安防产品有限公司取得一项名为“一种不分左右的平开铰链”的专利，授权公告号CN222207583U，申请日期为2023年12月。

金融界 2024-12-27

在微信中轻松投骰子：聚会游戏与决策的好帮手

录、发现和我。我们要找的投骰子功能，藏在“发现”里。点击“发现”，你会看到一个个选项，像朋友圈、扫一扫、小程序等等。这里的“小程序”功能特别有用，里面有很多小工具，包括骰子。进入小程序后，你可以在搜索框里输入“骰子”。这时，微信会给你推荐相关的小程序，通常会有一些专门的投骰子的小程序，比如“投骰子”或者“骰子游戏”。

新报观察 2024-12-27

宁波华科取得一种可紧急制动的无刷电动撑杆专利，限制丝杆组件动作

金融界2024年12月27日消息，国家知识产权局信息显示，宁波华科汽车零部件有限公司取得一项名为“一种可紧急制动的无刷电动撑杆”的专利，授权公告号CN222207602U，申请日期为2024年4月。

金融界 2024-12-27

如何轻松关闭微信打字声音，提升使用体验

“录”、“发现”等。在这里，我们要找到右下角的“我”这个选项，点击进入。接下来，在“我”的界面中，你会看到个人信息的设置，包括头像、昵称、二维码等。在这个界面上，往下滑动，找到“设置”这个选项，点击进入。在设置界面中，有很多选项，比如“通用”、“隐私”、“账号与安全”等。这里我们要选择“通用”。

新报观察 2024-12-27

顺德中徽精密取得天地铰链专利，使门可处于自由状态让产品使用方便稳固

金融界2024年12月27日消息，国家知识产权局信息显示，佛山市顺德区中徽精密制造有限公司取得一项名为“天地铰链”的专利，授权公告号CN222207587U，申请日期为2024年3月。

金融界 2024-12-27

EOS R100——3000块带来无与伦比的快乐

对于刚刚入坑的摄影的朋友来说，最好的摄影习惯，就是可以有一台随身相机，举手就拍，拍了就能直出好照片。这次为了搭配这个小巧的机身和针对我平时喜欢扫街的习惯，我给这台相机搭配了一支同样小巧轻便的RF35mmF1.8MACROISSTM镜头，这样一来我就拥有了一支等效约56mm焦段的F1.8大光圈镜头，扫街的时候方便又出片。

砍柴网 2024-12-27

上海浙东铝业取得隐藏合页开启窗型材专利，能实现将合页隐藏提高美观性

金融界2024年12月27日消息，国家知识产权局信息显示，上海浙东铝业股份有限公司取得一项名为“一种隐藏合页开启窗型材”的专利，授权公告号CN222207579U，申请日期为2024年1月。

金融界 2024-12-27

如何在打车软件上轻松修改目的地，提升出行体验与灵活性

在众多打车软件中，有一款特别受欢迎，它的功能强大，使用方便，几乎覆盖了各个城市。说到这款软件，自然少不了谈谈如何修改目的地。今天，就来聊聊如何在这款软件上轻松修改目的地。这个时候，你可能会想：“哎，我要是能直接把目的地改成那儿就好了。”

新报观察 2024-12-27

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

权威认可，贝锐向日葵企业版通过安全渗透测试，获评低风险系统

如何轻松加入钉钉群聊的技巧与注意事项分享

格屋（上海）安防取得一种不分左右的平开铰链专利，结构合理使用方便

在微信中轻松投骰子：聚会游戏与决策的好帮手

宁波华科取得一种可紧急制动的无刷电动撑杆专利，限制丝杆组件动作

如何轻松关闭微信打字声音，提升使用体验

顺德中徽精密取得天地铰链专利，使门可处于自由状态让产品使用方便稳固

EOS R100——3000块带来无与伦比的快乐

上海浙东铝业取得隐藏合页开启窗型材专利，能实现将合页隐藏提高美观性

如何在打车软件上轻松修改目的地，提升出行体验与灵活性

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响