使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

网易云音乐回应年度报告不准：暂不支持删改！

快科技12月27日消息，今日，网易云音乐正式发布了2024年度听歌报告，回顾用户过去一年听歌“足迹”。然而，让人感到意外的是，不少网友反映听歌报告不准。有网友表示歌手信息不准，

秋白 2024-12-27

真爱粉无疑！李杰碰到成都一哥们穿着家居服来买一加Ace 5

快科技12月27日消息，一加中国区总裁李杰表示，他上午在成都走了6家门店，跟线下销售伙伴聊了聊，他们说，购机用户对一加Ace 5系列最感兴趣的信息是：芯片、游戏、散热、屏幕、网络、外观。李

振亭 2024-12-27

成都明确不鼓励发展共享电单车：安全隐患和风险太高

快科技12月27日消息，从成都市交通运输局获悉，《成都市互联网租赁自行车管理服务实施意见》将于2025年1月19日起施行。其中明确：不鼓励发展共享电单车。共享电单车与共享单车服务模式和功能

建嘉 2024-12-27

马斯克76岁母亲在中国火了：自称几乎每个月都要来

快科技12月27日消息，当今世界首富马斯克的母亲、76岁的梅耶·马斯克因频繁造访中国和广泛的商业活动，成为中国社交媒体的热门人物。英国《卫报》报道，梅耶透露，她“几乎每个月&

落木 2024-12-27

雪地靴又上热搜！经常穿真的很伤脚医生紧急提醒

提到雪地靴，很多女生必定又爱又恨，作为冬天的防寒神器，其舒适柔软的构造和可爱有趣的造型一直是冬日凹造型必备单品。但是，与此同时，不防滑、不跟脚等问题也十分突出，这两天“厚底靴

2024-12-27

比亚迪“天神之眼”交卷：杀进智驾第一梯队

2024年无疑是无图城市领航智驾的爆发元年，从上半年的“华理争霸”到下半年的群雄并起，无论是新势力亦或者传统自主车厂们，都将无图高阶智驾放进了每一次重要新车发布会的PPT里，因为

2024-12-27

首个主控龙芯打造！全新国产高速激光打印一体机发布

快科技12月27日消息，上海汉图科技发布了全新的极印全新高速激光打印一体机“XP356DNL”，搭载了国内首个打印机主控芯片——龙芯2P0500。龙芯2P0500是一款适用于单/多功能

上方文Q 2024-12-27

支付宝2024年度数据发布！大批00后平均每月攒钱20次

快科技12月27日消息，日前，支付宝发布2024年度关键词——宠己。“宠自己”正成为当代人的一门必修课。数据发现，700万人给蚂蚁庄园的小鸡收集了超50套“鸡皮&rdquo

朝晖 2024-12-27

电影《小小的我》上映：易烊千玺新角色是脑瘫少年

快科技12月27日消息，原定于2024年12月31日全国公映的电影《小小的我》，提档至今天上映。《小小的我》官微称，提档原因是“接收到大家想要见面的信号，所以我们提前到来了。”据

拾柒 2024-12-27

马斯克呼吁进一步引入高科技移民人才否则美国理当失败

马斯克近日在社交媒体上呼吁美国增加高科技移民数量，并强调移民劳动力是美国创新的重要组成部分。他在推特上公开表示，优秀工程人才的短缺是限制硅谷发展的根本因素。为了保持美国的科技领

随心 2024-12-27

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

网易云音乐回应年度报告不准：暂不支持删改！

真爱粉无疑！李杰碰到成都一哥们穿着家居服来买一加Ace 5

成都明确不鼓励发展共享电单车：安全隐患和风险太高

马斯克76岁母亲在中国火了：自称几乎每个月都要来

雪地靴又上热搜！经常穿真的很伤脚医生紧急提醒

比亚迪“天神之眼”交卷：杀进智驾第一梯队

首个主控龙芯打造！全新国产高速激光打印一体机发布

支付宝2024年度数据发布！大批00后平均每月攒钱20次

电影《小小的我》上映：易烊千玺新角色是脑瘫少年

马斯克呼吁进一步引入高科技移民人才否则美国理当失败

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响