使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

韩国济州航空又一架波音客机发生故障返航，还是起落架问题，资深机长：目前没有发现关联性

继12月29日韩国务安机场发生空难事故后，当地时间30日上午，韩国济州航空又一架客机因起落架故障，在起飞后不久临时返航，目前已安全降落在韩国金浦机场，没有造成人员伤亡。24小时内发生两起飞机起落架故障，且飞机型号都为波音737-800，这两起事故是否有关联？

极目新闻 2024-12-30

比谷歌高出10倍，智元宣布开源机器人数据集

钛媒体App12月30日消息，智元机器人宣布开源AgiBotWorld（智元世界）。智元机器人称，AgiBotWorld是一个汇集百万真实机器人数据的开源数据集。

钛媒体快报 2024-12-30

以攻为守，合法“黑客”为何成了职业技能大赛冠军？

找到网络漏洞，植入木马程序，躲避杀毒软件的追剿，窃取目标文件中的关键信息……这一连串的操作，乍一听似乎是违法的黑客所为，但这其实是北京市第六届职业技能大赛中“信息安全测试员（渗透测试员）”项目实操环节的比赛内容。作为这个项目的冠军，石磊在平时的工作中，也已经不知道重复了多少次类似的操作。

北京日报 2024-12-30

兴业银行厦门分行：多点发力密织洗钱风险防控网

充分利用金融科技手段，开展创新，推进反洗钱工作的标准化、专业化和智能化；创建并完善反洗钱宣教基地，引领全辖网点筑牢宣传阵地；联手多方力量，拓展宣传覆盖面，夯实反洗钱工作的社会基础……近期，在人民银行厦门市分行指导下，兴业银行厦门分行从上至下、由内到外，全面推动反洗钱工作的有效开展，收获良好效果。

和讯网 2024-12-30

详细步骤教你如何顺利安装Windows 10操作系统

不过，很多人可能会问，Win10到底怎么安装呢？如果你选择USB闪存驱动器，可以使用微软提供的“媒体创建工具”来制作安装介质。

新报观察 2024-12-30

iPhone 14在欧盟停售！

2022年10月4日，欧洲议会以压倒性优势通过了一项法案，要求手机等便携智能电子设备的充电接口必须统一为USBType-C。经过一系列程序，该法案于当地时间12月28日正式生效。新规规定，欧盟27国销售的电子设备制造商有义务为其产品配备USB-C（即USBType-C）接口。这意味着，无法适配USB-C接口的旧设备将逐渐退出市场。

中关村在线 2024-12-30

英特尔被曝确将推出 Ultra 3 205 处理器，仅限锁频有核显版本

IT之家12月30日消息，X平台消息人士포시포시(@harukaze5719)北京时间昨日分享了一份韩文的疑似英特尔官方宣传图片。该图显示酷睿Ultra3205“即将推出”，这也是第一次有资料正面提及该处理器。该处理器也将成为继面向边缘与嵌入式市场的Ultra3105UL后的第二款英特尔Ultra3产品。

IT之家 2024-12-30

山东鲁化森萱新材料取得一种二氧戊环萃取提纯装置专利，大大提高了对萃取罐内部的清洁效果

金融界2024年12月30日消息，国家知识产权局信息显示，山东鲁化森萱新材料有限公司取得一项名为“一种二氧戊环萃取提纯装置”的专利，授权公告号CN222218689U，申请日期为2024年5月。

金融界 2024-12-30

重达100多吨的飞机为什么能飞上天？需要多快的速度，才能飞起来

飞机是现在人们非常常见的一种交通工具，这是由于技术进步所带来的优势，作为交通工具的它载客量也非常可观，那么很多人就会产生一个疑问，为什么100多吨的飞机能飞上天空呢？在现在常见的客机当中，飞机的重量一般在120-160吨左右，这些都是常规，大家常见飞机的重量。

基建不倒翁 2024-12-30

华为新年礼遇活动开启鸿蒙加持打造全场景互联生态

【CNMO科技消息】随着公历新年即将到来，我们也是时候和2024年来一个告别了，何不犒赏一下过去一年努力的自己和一直爱我们的家人，以全新面貌开启蛇年新生活？恰逢年末，华为新年礼遇活动火热进行中，持续至明年2月16日，入手华为MateX5指定版本可享2500元优惠，入手华为Pura70Ultra至高可享2000元优惠，同时还有多重惊喜福利。

手机中国 2024-12-30

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

韩国济州航空又一架波音客机发生故障返航，还是起落架问题，资深机长：目前没有发现关联性

比谷歌高出10倍，智元宣布开源机器人数据集

以攻为守，合法“黑客”为何成了职业技能大赛冠军？

兴业银行厦门分行：多点发力密织洗钱风险防控网

详细步骤教你如何顺利安装Windows 10操作系统

iPhone 14在欧盟停售！

英特尔被曝确将推出 Ultra 3 205 处理器，仅限锁频有核显版本

山东鲁化森萱新材料取得一种二氧戊环萃取提纯装置专利，大大提高了对萃取罐内部的清洁效果

重达100多吨的飞机为什么能飞上天？需要多快的速度，才能飞起来

华为新年礼遇活动开启鸿蒙加持打造全场景互联生态

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响