使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

新报观察 20小时前

古尔曼：苹果AirPods未来将新增心率、体温等健康监测功能

中透露了苹果公司在AirPods健康功能开发方面的最新进展。据古尔曼透露，苹果正在研发一系列健康功能，包括心率监测器、体温传感器以及能够追踪“大量生理指标”的新型传感器。目前，苹果正集中精力开发心率传感器。在内部测试中，苹果发现AppleWatch提供的心率信息更为准确，但古尔曼指出，AirPods的测试结果也相当接近。

IT之家 21小时前

国内首款量产AI拍摄眼镜发布，到2035年AI智能眼镜销量有望达到14亿副

全球智能硬件行业先锋品牌闪极，12月19日发布了一款AI拍拍镜，这也是国内首款量产AI拍摄眼镜。该眼镜售价1499元，首批5万台共创版仅999元。闪极AI拍拍镜业内首次搭载索尼1600万像素、123度超广角装置摄像头模组，其搭载紫光展锐旗舰级低功耗ARM平台，配备6500mAh增程环，并支持HI-FI级耳边音箱。

金融界 20小时前

全球超500个智创产品项目同台角逐共促宁波新质生产力发展

央广网宁波12月23日消息（记者刘欣莹）12月22日，2024宁波智能产品创新大赛冠军赛暨颁奖活动在宁波举行。大赛评委潘云鹤院士曾在多次公开演讲中强调发展智能产品的重要性：“产品的智能化是人工智能用于工业化崛起的最大需求之一。”他表示，人工智能中的智能机器人、无人系统、产品智能化三者在智能技术上是相通的，是殊途同归的。

央广网 21小时前

选择抖音短视频拍摄装备的全面指南与技巧分享

无论你是想记录生活中的点滴，还是想在抖音上成为一名内容创作者，拥有合适的拍摄装备都是至关重要的。那么，到底该买什么装备好呢？常见的灯光设备有环形灯、LED灯等，这些灯具不仅能够提供柔和的光线，还能帮助你调整色温，让视频中的人物看起来更加亮眼。

新报观察 20小时前

人民日报｜把握趋势，厚植制造业竞争优势

中国中车展台，观众在观看动车组列车模型。亿航智能航空器为现场观众带来飞行演示。宇树科技展示的人形机器人产品。徐工集团展示的无人叉车和托盘堆垛，助力物流自动化。辉锐光电科技的工业机器人演示金属增材3D打印过程。玄武大模型旨在将人工智能大模型能力与丰富多元的产业场景深度对接，促进数智化转型。图为玄武大模型工厂示意图。

金台资讯 21小时前

让提升江苏颜值的好项目“不差钱”

科技创新为生态环境保护提供了强有力的推动力量，为了打通科技成果向新质生产力转化“最后一公里”，2021年起，省财政厅会同省生态环境厅设立省级生态环境成果转化与推广类科研项目，鼓励企业牵头申报，对能够解决制约江苏生态环境保护技术瓶颈问题、推广应用前景好的项目，给予最高300万元的财政补助。

新华日报昨天

快手可灵1.6模型上线，视频效果越级提升

据媒体报道，快手可灵AI宣布基座模型再升级，视频生成推出可灵1.6模型，效果大幅提升。据了解，1.6模型在文本响应度上提升明显，对运动、时序类动作、运镜等文字描述响应更好；动态质量进一步增强：运动更加合理，人物表情更自然；同时，1.6模型画面质量也再次进化：色彩、光影、细节表现均明显提升。

金融界 20小时前

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

齐翔腾达[002408]日常公告系列

为给新机让路，iQOONeo9售价跌至“谷底”，入手那是真香！

选择拍抖音手机的关键因素：画质、稳定性与续航等综合考量

古尔曼：苹果AirPods未来将新增心率、体温等健康监测功能

国内首款量产AI拍摄眼镜发布，到2035年AI智能眼镜销量有望达到14亿副

全球超500个智创产品项目同台角逐共促宁波新质生产力发展

选择抖音短视频拍摄装备的全面指南与技巧分享

人民日报｜把握趋势，厚植制造业竞争优势

让提升江苏颜值的好项目“不差钱”

快手可灵1.6模型上线，视频效果越级提升

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响