使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

制造日本最先进半导体！台积电熊本一厂开始量产

快科技12月27日消息，据媒体报道，熊本县知事木村敬在27日的例行记者会上表示，台积电熊本工厂运营子公司JASM已通知，熊本工厂已于本月开始量产。木村敬指出，为了监控工厂废水，要求JASM在开

2024-12-27

洞悉变局中的机会品牌出海构建向上生长之道 | 2024全球化新锐品牌数字营销峰会回顾

中国企业出海增长路径及品牌全球化策略。

未来一氪 2024-12-27

12月第二周消费热门事件榜

刺激消费、关注安全、科技热点升温。

世研大消费指数 2024-12-27

游戏体验满分！致态TiPlus7100游戏性能实测

今年对于游戏玩家来说可是一个重要的年份，《冰汽时代2》带领玩家再次踏入那个严寒的末日世界，体验在极端环境下求生的紧张与刺激。《最终幻想7》的重制版则以其精美的画面和引人入胜的剧情，

2024-12-27

发哥玩LOL爽了！稳帧120fps 功耗降低13.5％

对于手游玩家而言，高画质、高帧率都是必需的体验，而在激烈的游戏中，谁也不想突然遇到掉帧、卡顿、高温等各种尴尬现象。12月27日，《英雄联盟手游》正式接入联发科的天玑星速引擎，在天玑终

2024-12-27

【算法】课程表 II

难度：中等题目现在你总共有 numCourses 门课需要选，记为 0 到 numCourses - 1。给你一个数组 prerequisites ，其中 prerequisites[i] = [

时清云 2024-12-27

【OpenHarmony】鸿蒙 UI开发之DanmakuFlameMaster

DanmakuFlameMaster是一款弹幕框架，支持发送纯文本弹幕、设置弹幕在屏幕的显示区域、控制弹幕播放状态等功能

塞尔维亚大汉 2024-12-27

高速跨实线下匝道口被追尾两车被判责五五开！网友热议

快科技12月27日消息，日前，有博主分享的一段高速上车辆碰撞事故，引起网友热议。视频车的行车记录仪显示，在经过一处高速路口时，前方一辆雪佛兰轿车突然急剧减速。因为当时车速较快，视频

2024-12-27

Apifox 12月更新｜接口的测试覆盖情况、测试场景支持修改记录、迭代分支能力升级、自定义项目角色权限、接口可评论

Apifox 新版本上线啦！看看本次版本更新主要涵盖的重点内容，有没有你所关注的功能特性：接口支持查看测试覆盖率测试场景新增「历史记录」功能「迭代分支」优化升级新增主分支保护机制支持迭代分

Apifox 2024-12-27

周鸿祎：每个家庭都会新增 “几十口人”！

快科技12月27日消息，今日360集团创始人、董事长周鸿祎发文预测，未来每个家庭都会新增 “几十口人”，因为家里所有的家电和硬件将一夜之间变为真正智能的AI伙伴。他还提到了英伟达

2024-12-27

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

制造日本最先进半导体！台积电熊本一厂开始量产

洞悉变局中的机会品牌出海构建向上生长之道 | 2024全球化新锐品牌数字营销峰会回顾

12月第二周消费热门事件榜

游戏体验满分！致态TiPlus7100游戏性能实测

发哥玩LOL爽了！稳帧120fps 功耗降低13.5％

【算法】课程表 II

【OpenHarmony】鸿蒙 UI开发之DanmakuFlameMaster

高速跨实线下匝道口被追尾两车被判责五五开！网友热议

Apifox 12月更新｜接口的测试覆盖情况、测试场景支持修改记录、迭代分支能力升级、自定义项目角色权限、接口可评论

周鸿祎：每个家庭都会新增 “几十口人”！

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响