使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

《阴阳学及其阴阳五行的框架研究认识》［节点版，五］

《阴阳学及其阴阳五行的框架研究认识》［节点版，五］ [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片] [图片]

林盛治 2024-12-26

神译局 2024-12-26

独家揭秘：测力传感器在医疗患者托举力测试中的应用

摩尔力传感器 2024-12-26

保质期半年的“预制饭”，加了多少防腐剂？

痛批预制菜的年轻人，拥抱了预制饭

果壳 2024-12-26

腾势易三方荣获“中国心”2024年度十佳新能源汽车动力系统

“中国心” 年度十佳动力系统评选“中国心” 年度十佳动力系统评选是国内汽车行业中一项极具含金量的专业评选活动，最早可以追溯到 2006 年。今年的评选是由汽车与运动杂志社主办，在 10 月 18 日在江苏高邮嘉联汽车试验场进行的实车测试。一共有东风奕派 eπ 008、星纪元 ET、阿维塔 07、深蓝 G318、零跑 C16、极氪 007、腾势 Z9GT、吉利银河 E5、小米 SU7、哪吒 S 猎装 510、极狐考拉、第二代 AION V 650、小鹏 G6、乐道 L60 十四款入围车型。而且他们的评审除了

新能源研究僧 2024-12-25

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

《阴阳学及其阴阳五行的框架研究认识》［节点版，五］

凭高颜值大火，“年轻人第一辆车”，上市即遭退订潮？有门店一半订单被退，品牌方发声：遭到恶意攻击

大模型的2024年：我们对AI的发展脱敏了

“总有人想掌控我的手机”

《大学物理》郝玉英第六版第十章（导体和电介质中的静电场）自测题解析

日本人决定自己拯救日产车

聊天机器人陷阱：人工智能需要新的UI

独家揭秘：测力传感器在医疗患者托举力测试中的应用

保质期半年的“预制饭”，加了多少防腐剂？

腾势易三方荣获“中国心”2024年度十佳新能源汽车动力系统

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响