使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

我国5G基站耗电量有多大：专家给结果确实很惊人！

快科技12月28日消息，中国工业经济联合会会长，工业和信息化部原部长李毅中近日公开表示，“数绿融合、协同发展”可以大幅度提高制造业的资源效率、环境效益、管理效能。他指出，据

2024-12-28

熊孩子楼顶做放大镜实验爸爸在微信群“举报”自己小孩

据湖南消防消息，近日，在湖南郴州市嘉禾县的一个小区业主微信群里，一段视频引起了大家的恐慌。视频显示，一名孩子趁家长不注意，独自跑到楼顶用放大镜做实验，不慎将自家拖鞋点燃，冒出明火

2024-12-28

警惕超大显存的魔改显卡：买了就后悔

如果比较关注低价显卡，你或许会发现最近的魔改显卡多了好多，尤其是某鱼有很多超大显存的显卡，比如860元的魔改RX5600拥有12GB显存，对于这个价位的显卡来说堪称“奢华”，而且还解锁

2024-12-28

“地下51米的南京”刷屏网友直呼犹如飞龙在天

快科技12月28日消息，今天，南京地铁7号线中段正式开通运营，标志着全线实现贯通。其中，清凉山站作为南京最深的地铁站，一经亮相便在南京人的朋友圈里刷屏，“地下51米的南京”成为

2024-12-28

久违的麒麟回归！华为重磅新机首度曝光：取代高通

快科技12月28日消息，博主数码闲聊站爆料，在畅享80系列登场之前，华为会先推出畅享70X，这款新品的海报已在社交平台上被曝光。海报显示，华为畅享70X包含4大卖点：北斗卫星消息、华为巨鲸长续

2024-12-28

红米Turbo 4外观巨变！员工：我最喜欢的REDMI设计

快科技12月28日消息，博主数码闲聊站剧透了REDMI Turbo 4的外观设计。他爆料，REDMI Turbo4元旦回来就发，这代设计删繁就简，配色都很克制，玻璃机身加强质感，整体很耐看，个人觉得是今年RED

2024-12-28

华为顶配机皇降价2000！网友直呼Mate70买早了

春节即将到来，不少朋友都有入手新手机回家过年的打算，华为手机成为了很多人的选择。其中最热门的还是刚刚发布不久的华为Mate70系列。尽管市场传言其备货量相较于前代Mate60系列有显

2024-12-28

客机坠毁25岁空姐幸存掩面痛哭：仍处于极大心理压力中

12月28日消息，据媒体报道，阿塞拜疆航空25岁空姐艾丹在客机坠毁事故中幸存，她在接受探视时崩溃痛哭。报道称艾丹仍处于极大心理压力中，无力讲述事发经过，正在接受心理治疗，艾丹的父亲表示

2024-12-28

华为Mate 70系列一机难求：从元旦开始供货量会增加

快科技12月28日消息，博主厂长是关同学透露，华为Mate 70系列从元旦开始会陆续增加货源，这批次供货Pro版会多一些。自从Mate 70系列上市后，该系列机型就处于供不应求的状态，华为商城显示，M

2024-12-28

北大数学家独作论文登数学顶刊！统一算术与几何大猜想

四大顶刊之一的《数学年刊》，正式接收北大袁新意独作论文。在困扰数学界多年的Uniform Bogomolov猜想问题上取得重要进展。值得一提的是，这篇论文还在预印版状态时就已获得一定引用，据称还

2024-12-28

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

我国5G基站耗电量有多大：专家给结果确实很惊人！

熊孩子楼顶做放大镜实验爸爸在微信群“举报”自己小孩

警惕超大显存的魔改显卡：买了就后悔

“地下51米的南京”刷屏网友直呼犹如飞龙在天

久违的麒麟回归！华为重磅新机首度曝光：取代高通

红米Turbo 4外观巨变！员工：我最喜欢的REDMI设计

华为顶配机皇降价2000！网友直呼Mate70买早了

客机坠毁25岁空姐幸存掩面痛哭：仍处于极大心理压力中

华为Mate 70系列一机难求：从元旦开始供货量会增加

北大数学家独作论文登数学顶刊！统一算术与几何大猜想

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响