使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

你今年给小米贡献多少！雷军：我谢谢大家祝我年入百万

快科技12月31日消息，赶在2024年过去的时候，雷军也是感谢了网友。今天雷军发视频称，回顾过去一年实现了很多愿望，也刷到了很多朋友在他视频下的许愿，有说祝他步步高升，明年继续年入百万的

2024-12-31

售价3.38万！《黑神话》天命人1/1雕像截单全球限量780体

快科技12月31日消息，Queen Studios与游戏科学联合打造的《黑神话：悟空》天命人1/1半身像正式截单，全球限量780体。据悉，该雕像全款为33800元，定金12000元，预计将于2025年第4季度发货。

2024-12-31

Electron使用D3可视化磁盘空间（6）

在上一集中，我们创建了一个小应用程序。以一种非常无聊的方式显示您有多少可用磁盘空间。现在是时候给它加点料了！我们根本不会触及后端，只修改前端部分。安装D3 首先，我们需要安装D3。这是前端的HT

关山月 2024-12-31

Kotlin Multiplatform 2024 年总结，KMP 崛起的一年

2024 Google I/O 上正式官宣了 KMP（Kotlin Multiplatform）项目，它是 Google Workspace 团队的一项长期「投资」项目，由 JetBrains 开发维

恋猫de小郭 2024-12-31

老外评选2024年优化最差的PC游戏：《黑神话》竟上榜

随着年末，各种盘点榜单也纷至沓来，除了最佳评选自然也有最差评选。近日“DSOGaming”就推出了2024年优化最差的PC游戏的榜单，而《黑神话：悟空》也进入了榜单中。根据“

2024-12-31

谷歌CEO：Gemini将成公司2025年“最大重点”

快科技12月31日消息，谷歌CEO桑达尔·皮查伊（Sundar Pichai）在12月18日举行的2025年战略会议上强调，2025年对谷歌来说将是“至关重要”的一年。皮查伊表示：“Gemini应

2024-12-31

前端常见的20种设计模式及其应用

1. 单例模式 (Singleton) 目的: 确保一个类只有一个实例，并提供一个全局访问点。应用场景: 全局状态管理、配置管理、缓存管理等。 2. 工厂模式 (Factory) 目的: 将对象的创

小小小小宇 2024-12-31

像素跳动效果

效果说明本案例实现了一个图片像素跳动的动画效果。将图片分解成像素块，默认进行垂直运动，当鼠标悬浮时切换为水平运动，创造出独特的视觉效果。

好_快 2024-12-31

中国汽车强势崛起：日本车企全球产量连续7个月下滑

快科技12月31日消息，根据外媒报道，包括丰田汽车在内的八家日本乘用车制造商公布的11月产销数据显示，这些车企的全球产量为212.2万辆，同比下降11%，连续七个月出现同比下降。除了铃木汽车外

2024-12-31

瑞航迫降客机一机组成员送医一周后去世：机舱曾布满浓烟

快科技12月31日消息，据报道，瑞士国际航空公司表示，瑞航一架客机因发动机故障、机舱和驾驶舱内出现烟雾而紧急迫降一周后，这趟航班的一名机组成员去世。航空运营商在声明中宣布，一名年轻同

2024-12-31

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

你今年给小米贡献多少！雷军：我谢谢大家祝我年入百万

售价3.38万！《黑神话》天命人1/1雕像截单全球限量780体

Electron使用D3可视化磁盘空间（6）

Kotlin Multiplatform 2024 年总结，KMP 崛起的一年

老外评选2024年优化最差的PC游戏：《黑神话》竟上榜

谷歌CEO：Gemini将成公司2025年“最大重点”

前端常见的20种设计模式及其应用

像素跳动效果

中国汽车强势崛起：日本车企全球产量连续7个月下滑

瑞航迫降客机一机组成员送医一周后去世：机舱曾布满浓烟

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响