使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

外媒：从AI到空中出租车，2024年这些技术令人印象深刻

【环球时报综合报道】欧洲新闻网24日报道称，2024年出现了许多引人关注的新技术及人工智能产品，从人工智能（AI）技术在巴黎奥运会上的大规模应用，到空中出租车的首次试飞，再到可弯曲智能手机，2024年无疑是科技领域令人难忘的一年。

光明网 2024-12-26

“科幻之城”崛起

在京西石景山，一座“科幻之城”正在崛起。这里不仅有200余家科幻企业，还有不少科幻场景。走进首钢一高炉SoReal科幻乐园，参观者除了体验全息影像、3D投影等前沿技术，如今，还可以通过一块400多平方米的大屏幕沉浸式感受星际浪漫。

北青网 2024-12-26

目光投向具体应用场景推动行业定制化模型落地人工智能大模型应用或临拐点

经历近两年高歌猛进的发展，越来越多的人意识到，人工智能行业不仅有烈火烹油的技术比拼，更是一场长坡厚雪的落地摸索与价值“长跑”。在新技术的推动下，AI不再是冷冰冰的工具，而是成为生活中充满温度与智慧的助手。

千龙网 2024-12-26

【环球时报2024年终报道】2024，AI开始改变世界

【环球时报记者刘扬欧阳子涵环球时报特约记者武彦】编者按：人工智能（AI）技术在经历几年的高速发展后，终于在2024年开始取得井喷式爆发的成果应用。

环球网 2024-12-26

一加Ace5曝光，跌至新低的一加Ace3Pro，非常值得体验！

一加Ace3Pro搭载了第三代骁龙8满血版处理器，配备的天工VC散热系统，拥有高达9126mm²的超大VC，使得第三代骁龙8满血版处理器的性能得以充分释放，安兔兔跑分达到232万分，无论是日常的多任务操作，还是高强度的游戏使用，都能够轻松应对，给你带来流畅的体验。

大话百科天地 2024-12-26

12月25日股市必读：金博股份（688598）董秘有最新回复

投资者：近日有媒体报道《TOPCon电池进入存量博弈时代头部企业率先发起技改“迎战”BC电池》。请问：公司在BC电池方面有哪些技术储备，BC电池的普及，对公司有怎样的发展机遇？

证券之星 2024-12-26

15000元！这把纯铝键盘实在太贵了

有线版的价格为1500美元，而蓝牙无线版和带磁性霍尔效应开关的有线版更是标价1600美元（约合11678元人民币），这一价格已经与新款14英寸M4MacBookPro相当。此外，用户还可以选择透明或黑色底座，但选择黑色底座需要额外支付500美元，使得这款键盘的最高售价达到了2100美元（约合15327元人民币）。

中关村在线 2024-12-26

我国5G移动电话用户超10亿户

记者从工业和信息化部获悉：截至11月末，我国5G移动电话用户达10.02亿户，比上年末净增1.8亿户，占移动电话用户总数的56%，占比较上年末提高9.4个百分点。截至11月末，我国累计建成5G基站419.1万个，比上年末净增81.5万个，占移动基站总数的33.2%，占比较上年末提高4.1个百分点。

北京日报 2024-12-26

银昕推出VANGUARD系列金牌电源：ATX 3.1标准、原生12V-2×6接口

快科技12月26日消息，银昕推出VANGUARD系列金牌全模组电源，包括VG650、VG750和VG850三个型号。该系列电源全面遵循最新的ATX3.1与PCIe5.1国际标准，对电源的能效比、显卡供电能力及智能保护机制提出了更高要求。

驱动之家 2024-12-26

小米平板7即将在印度发布主打生产力国行早已开售

【CNMO科技消息】近日，小米正式宣布，其最新平板——小米平板7即将登陆印度市场。根据亚马逊的预热页面显示，这款平板的印度发布会将于2025年1月10日举行，同时该页面也透露了一些关键功能和设计亮点。亚马逊页面以“DoesitAll”（全能）作为小米平板7的宣传标语，这表明这款平板设备将定位为一款兼顾娱乐和生产力的全能型产品。

手机中国 2024-12-26

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

外媒：从AI到空中出租车，2024年这些技术令人印象深刻

“科幻之城”崛起

目光投向具体应用场景推动行业定制化模型落地人工智能大模型应用或临拐点

【环球时报2024年终报道】2024，AI开始改变世界

一加Ace5曝光，跌至新低的一加Ace3Pro，非常值得体验！

12月25日股市必读：金博股份（688598）董秘有最新回复

15000元！这把纯铝键盘实在太贵了

我国5G移动电话用户超10亿户

银昕推出VANGUARD系列金牌电源：ATX 3.1标准、原生12V-2×6接口

小米平板7即将在印度发布主打生产力国行早已开售

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响