使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

记一次手机厂商的BUG排查，App码农如何自证清白，不背锅：关于排除全面屏手势区域setSystemGestureExclusionRects不生效的问题

setSystemGestureExclusionRects禁用全面屏返回手势不生效？ “代码是负债，不是资产”！是时候排期改掉全面屏的实现了。

k3x1n 2024-12-28

从结绳记事到学富五车：前端开发的进化史

从最初的DOM操作到如今的Vue3，我们可以看到前端开发领域经历了巨大的变革。每个阶段的技术进步都反映了开发者社区不断追求更高效率、更好用户体验的努力。了解到这些前端框架的演变进化真的令人感触颇深。

wayhome在哪 2024-12-28

🚀 快速搭建 React 19 + TypeScript + React-Router v7 + MobX 项目教程

📦 环境准备在开始之前，请确保你的开发环境中已经安装了以下工具： Node.js（建议版本：20.x 或更高） npm 或 yarn（Node.js 安装后会自动包含 npm）你可以通过以下命令检

摸鱼了 2024-12-28

2张图彻底搞懂拖拽+缩放demo

今天让你看完图，彻底搞明白实现一个拖拽+缩放的功能，用到了那些属性，本文只是自己画图的一些心得，分享一下，也是下次遇到时忘了再翻翻时的笔记

猿小猿 2024-12-28

用旅行的心态一次性通过软考架构高级？（24年下半年真题回忆）

本文献给已经下定决心参加软考的读者，提供一个轻松有序，且能更好地和工作结合的复习方法。祝大家都能以旅行的形态完成自己的软考历程

代码不洗头 2024-12-28

深入浅出：从入门到精通大模型Prompt、SFT、RAG、Infer、Deploy、Agent

深入浅出：万字长文从入门到精通大语言模型LLM 我们都知道，通过编写一个提示词（prompt），我们可以引导大模型生成回答，从而开启愉快的人工智能对话，比如让模型介绍一下卡皮巴拉。

冷眸_ 2024-12-28

HarmonyOS ArkTs布局入门——层叠布局Stack（03）

层叠布局（StackLayout）用于在屏幕上预留一块区域来显示组件中的元素，提供元素可以重叠的布局。容器中的子元素（子组件）依次入栈，后一个子元素覆盖前一个子元素，子元素可以叠加，也可以设置位置。

小煦同学 2024-12-28

前端发展史-原生JS到VUE3

刀耕火种的年代：早期前端开发思想在Web发展的初期，前端开发者主要依赖于浏览器提供的底层API，如DOM编程和事件机制来构建网页。

ZXT 2024-12-28

yarn源码的调试编译

yarn是一个老版的包管理工工具。弄懂yarn的功能及其实现原理对于理解包管理器十分重要。本文介绍自定义打包yarn源码并生成sourcemap方便调试yarn的源码。

一只小川 2024-12-28

HarmonyOS ArkTs布局入门——弹性布局Flex（02）

弹性布局（Flex）提供更加有效的方式对容器中的子元素进行排列、对齐和分配剩余空间。弹性布局在开发场景中用例特别多，比如页面头部导航栏的均匀分布、页面框架的搭建、多行数据的排列等。

小煦同学 2024-12-28

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

记一次手机厂商的BUG排查，App码农如何自证清白，不背锅：关于排除全面屏手势区域setSystemGestureExclusionRects不生效的问题

从结绳记事到学富五车：前端开发的进化史

🚀 快速搭建 React 19 + TypeScript + React-Router v7 + MobX 项目教程

2张图彻底搞懂拖拽+缩放demo

用旅行的心态一次性通过软考架构高级？（24年下半年真题回忆）

深入浅出：从入门到精通大模型Prompt、SFT、RAG、Infer、Deploy、Agent

HarmonyOS ArkTs布局入门——层叠布局Stack（03）

前端发展史-原生JS到VUE3

yarn源码的调试编译

HarmonyOS ArkTs布局入门——弹性布局Flex（02）

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响