使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

使用CSS3实现立体文字重叠特效

# 使用CSS3实现立体文字重叠特效 ## 引言在现代网页设计中，立体文字特效可以为网页增添一...

Riesenzahn 2024-12-25

【HarmonyOS NEXT】页面沉浸式效果开发

关键词：沉浸式、安全区域、通知栏、导航栏在移动应用开发中，应用在默认情况下窗口背景绘制范围是全屏，但UI元素被限制在安全区内（自动避开状态栏和导航栏）进行布局，来避免界面元素被状态栏和导航条遮盖（

深海的鲸同学luvi 2024-12-25

HarmonyOS Next: HAP/HAR/HSP的区别

一、引言在HarmonyOS应用开发领域，HAP、HAR 和 HSP 是三个关键的概念，它们在构建应用架构、实现代码复用以及优化应用性能等方面发挥着独特且重要的作用。理解它们之间的关系、各自的功

i鸿蒙 2024-12-25

OkHttp源码学习之Cache

前几天做了一个需求是关于打点的缓存以及上报，看起来跟okhttp的缓存使用差不多，我觉得这个需要详细看看OkHttp是怎么做的。首先看一下构造函数，需要传入以下几个参数。什么时候存入缓存？如果知

TroubleMaker 2024-12-25

DOM是哪种基本的数据结构？

## DOM 是一种树形结构文档对象模型（DOM，Document Object Model）是...

Riesenzahn 2024-12-25

HarmonyOS: 创建线程的3种方式

使用Worker创建线程基本概念：Worker主要为应用程序提供多线程运行环境，可让应用程序在执行过程中与宿主线程分离，在后台线程中运行脚本进行耗时操作，避免计算密集型或高延迟任务阻塞宿主线程。使

i鸿蒙 2024-12-25

Android OpenGLES2.0开发（七）：纹理贴图之显示图片

通过前面的篇章我们熟悉了OpenGL ES绘制的基本流程了，我们主要就是绘制了一些基本的图形，而OpenGL的能力远不止如此。他可以构建绚丽多彩的游戏世界，多种建筑风格、逼真的人物皮肤等等

小智003 2024-12-25

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

使用CSS3实现立体文字重叠特效

【HarmonyOS NEXT】页面沉浸式效果开发

HarmonyOS Next: HAP/HAR/HSP的区别

OkHttp源码学习之Cache

DOM是哪种基本的数据结构？

HarmonyOS: 创建线程的3种方式

Android OpenGLES2.0开发（七）：纹理贴图之显示图片

【HarmonyOS NEXT】lv-markdown-in 三方库用法说明

View的绘制与子线程更新UI

MotionLayout的简单使用

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响