使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

解锁更多功能！5G+智慧城市智慧杆展团连续五年亮相高交会

11月14日，第二十六届高交会在深圳国际会展中心开幕。本次专题展由深圳市工业和信息化局指导，深圳市智慧杆产业促进会、深圳市工业互联网产业促进会主办。深圳市智慧杆产业促进会会长王海龙介绍，智慧杆作为战略性资源和新型信息基础设施，是促进未来智慧先锋数字城市建设与治理能力的抓手，是扩大内需的重要引擎，是引导产业发展更有效的方法及手段。

南方都市报 2024-11-14

深圳低空竞飞丨高交会上的低空经济应用场景展现未来生活的若干可能

央广网深圳11月14日消息（记者荣冀晴）无人机发射灭火弹为600米超高层建筑灭火、快递驿站房顶化身停机坪、医疗救援直升机让远足更加安全……11月14日，第二十六届中国国际高新技术成果交易会的低空经济与空天馆中，有不少深圳企业展出了低空经济的应用场景，展现了科技赋能下的美好生活。

央广网 2024-11-14

雷军回应“睡在车间”：是摆拍，大家别当真

11月14日，小米集团创始人雷军在直播中回应了“睡车间”的传闻，他表示，自己此前发动态说“躺在车间地板上睡觉”，其实是摆拍，是为了逗大家开心。雷军表示：“昨天我们在等10万辆车下线，来得有点早，在车间等得有点无聊，我就说要不给我找块泡沫板睡一下，照片确实是摆拍，逗大家开心，别当真。”

极目新闻 2024-11-14

美联储理事Kugler：现在说人工智能正在推动生产力还为时过早

美联储理事Kugler：现在说人工智能正在推动生产力还为时过早。

华尔街见闻 2024-11-14

中国科学院院士做客重庆大学“科学读书汇”

11月14日上午，重庆大学“科学读书汇”学术沙龙迎来重磅嘉宾，中国科学院院士崔向群受邀作主题演讲。科技工作者、天文爱好者和中小学生约80人参加活动。

央广网 2024-11-14

南京鼓楼区携手南师大共建智能生物制造创新中心

11月14日，南京市鼓楼区与南京师范大学签署“深化校地融合战略”和“共建智能生物制造创新中心”合作协议，双方将在科研平台建设、产业转型发展、人才生态构建等方面系统布局，10个项目现场签约。

金台资讯 2024-11-14

IT之家 2024-11-14

推动科技成果“从书架走向货架”，力合科创亮相高交会

11月14日，第二十六届中国国际高新技术成果交易会在深圳国际会展中心开幕。目前已在多国市场技术转让和FDA获批共5个纳米药物，并且突破了数个技术难点。公司结合核酸纳米调控技术和合成生物学方法，致力于组织再生修复类药物的开发，并布局医美修复产品线。

深圳商报 2024-11-14

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

解锁更多功能！5G+智慧城市智慧杆展团连续五年亮相高交会

深圳低空竞飞丨高交会上的低空经济应用场景展现未来生活的若干可能

雷军回应“睡在车间”：是摆拍，大家别当真

美联储理事Kugler：现在说人工智能正在推动生产力还为时过早

中国科学院院士做客重庆大学“科学读书汇”

南京鼓楼区携手南师大共建智能生物制造创新中心

AI大模型升级放缓、马斯克“鲶鱼效应”、OpenAI的焦虑，数据中心狂潮会继续吗？

专访中国传媒大学曾祥敏：媒体融合十周年，要打造用户每天都想打开的“刚需平台”

拜雅 AMIRON 100 真无线入耳式耳机首销，1699 元

推动科技成果“从书架走向货架”，力合科创亮相高交会

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响