当前位置：首页|资讯|Hugging Face|编程|机器学习

Hugging Face: 代码生成模型的预训练和微调

作者：HuggingFace发布时间：2023-10-23

Hugging Face 编程机器学习

和大家分享我们的机器学习工程师 Loubna Ben Allal 在 10 月上海 KubeCon 大会的主题演讲 📢
题目是：代码生成模型的预训练和微调

演讲介绍了构建和训练大型代码模型比如: StarCoder 🌟 的幕后过程，
还探讨了如何使用开源库，包括 Transformers、datasets 和 PEFT 等。

推荐体验

相关资讯

使用 Hugging Face 微调 Gemma 模型

来自 Google Deepmind 开放权重的语言模型 Gemma 现已通过 Hugging Face 面向更广泛的开源社区开放。该模型提供了两个规模的版本：2B 和 7B 参数，包括预训练版本和经过指令调优的版本。它在 Hugging Face 平台上提供支持，可在 Vertex Model Garden 和 Google Kubernetes Engine 中轻松部署和微调。Gemma 模型系列同样非常适合利用 Colab 提供的免费 GPU 资源进行原型设计和实验。在这篇文章中，我们将简要介绍如何

Hugging Face 谷歌

HuggingFace 2024-02-25

Hugging "Hugging Face"-低代码玩转Hugging Face

2016年，两位怀揣梦想的法国人Clem Delangue和Julien Chaumond在巴黎创立了HuggingFace公司。最初致力于研发聊天机器人，为青少年找点乐子，打发下时间。后来

Hugging Face 编程

colorknight 2023-10-08

Coovally模型探索：一键下载Hugging Face预训练模型并集成应用

Coovally是一个包含完整AI建模流程、AI项目管理及AI系统部署管理的机器学习平台，可提供数据预处理、智能标注、分布式模型训练、多维度模型评估、一键式模型部署服务。Coovally支持图像、文本、表格、时间序列等不同类型数据的深度学习和应用，快速实现机器学习。实现目标检测、图像分割、文本分类、多模态建模等12小类任务类型微调与应用。在模型创建中，系统支持用户上传本地模型文件创建模型，同时也支持用户一键下载和部署开源社区模型并集成应用(*目前支持Hugging Face, TIMM, Github以及

Hugging Face GitHub 机器学习深度学习

跑码地Coovally_AI 2023-09-12

如何使用Databricks、Hugging Face和MosaicML训练大型语言模型

大型语言模型，如OpenAI的GPT-4或谷歌的PaLM，已经席卷了人工智能世界。然而，大多数公司目前没有能力培训这些模型，完全依赖少数大型科技公司作为技术提供商。在本篇文章当中，我们将用Replit团队的实际经验，来概述如何训练LLM，从原始数据到面向用户的生产环境中的部署，在这一过程中面临的工程挑战，以及我们如何利用构成现代LLM堆栈的供应商：Databricks、Hugging face和MosaicML。虽然我们的模型主要用于代码生成的用例，但所讨论的技术和经验教训适用于所有类型的LLM

Hugging Face GPT-4 大语言模型 OpenAI 谷歌

AI研习所 2023-07-13

OLMo：真正的开源大模型，预训练、微调代码、数据集、模型架构、模型权重都完全公开

2024年3月18日，马斯克兑现诺言，开源了其大模型Grok。有网友戏谑：这很马斯克，一言不合就开源，随后还不忘对OpenAI进行一番嘲笑。说起开源大模型，Meta早在2023年7月就开源了LLama2。但无论是Grok还是LLama2，都不包含训练代码，出于隐私和安全考虑，也没有公开训练数据集，只包含模型架构和推理代码。LLama2：https://github.com/meta-llama/llamaGrok：https://github.com/xai-org/grok-1这对于那些想从头开始训练一

编程马斯克 OpenAI GitHub

人工智能大讲堂 2024-03-18

近期资讯

《晓彤格调局》尽显时尚格调：关晓彤手持nova 13 Pro拍摄绝美大片

快科技12月26日消息，今天下午，关晓彤携手华为nova13Pro拍摄了不少绝美大片，并且晒出了自己的华为nova13Pro。影像体验是华为nova13Pro的一大亮点，前置采用6000万追焦双摄，配备6000万像素广角人像追焦镜头+800万像素5倍变焦人像特写镜头，实现了业界独家0.7X-5X全焦段人像。

快科技 2024-12-26

WTT发布陈梦的年度总结

不惧挑战，捍卫荣耀。期待在新的一年里继续发光发热，迎接更美好的未来！

光明网 2024-12-26

深圳罗湖数据产业生态联盟正式成立

12月25日下午，深圳市罗湖区数据产业暨数据要素推介会在罗湖投控大厦成功举行。本次活动以“数聚罗湖智启新章”为主题，推动数据要素价值化应用，为罗湖区数字经济高质量发展赋能增效。云、优合集团、软通智慧科技有限公司、华海智汇(深圳)云计算有限公司、图为技术有限公司、瞳感科技有限公司等首批企业会员组成。

金台资讯 2024-12-26

读创今日荐书 | 数字世界是如何运转的？

上网冲浪的技术基础是什么？为何程序会崩溃，又缘何被病毒攻击？人人都在说的服务器、云计算、区块链是什么意思？《数字世界是如何运转的》一书力图用简单明了的模型和贴近生活的案例讲清楚操作系统、搜索引擎、云、加密货币等常见的数字技术的基本知识。

深圳商报 2024-12-26

更安全，更可靠：讯飞AI录音笔S8离线版评测

飞独有的离线录音转文字、同声转译等功能，以及国密级加密技术，是一只特别可靠的AI录音笔。

DoNews 2024-12-26

广汽集团发布第三代具身智能人形机器人预计2026年实现整机生产

许梦旖/文12月26日，广汽集团在2024年中国机器人网年会现场发布了其自主研发的第三代具身智能人形机器人——GoMate。12月26日，广汽集团董事会办公室工作人员向经济观察网记者表示，其第二、第三代具身智能人形机器人的研发与布局是由广汽集团的前瞻技术部门来完成的，广汽集团相较于业内同行的最大优势在于自身拥有完备的产业链。

经济观察报 2024-12-26

手机企业纷纷加码电竞赛道行业自研电竞芯片迭出

市场竞争激烈背景下，手机企业纷纷加码电竞（游戏）赛道，而搭载专用自研电竞芯片则成为各企业竞争的重要抓手之一。12月26日，一加Ace5及一加Ace5Pro正式发布。

证券时报 2024-12-26

科创引领·新质大庆|大庆科创引擎向“新”而进

科创引领·新质大庆——2024科技+产业对接大会将于12月26日举办。业内人士认为，在大庆“新”潮澎湃、科创引擎轰鸣的基础上，大会将成为大庆以科技创新引领振兴发展“加速度”的有力助推，为城市高质量发展、可持续振兴蓄势赋能。近年来，大庆市委、市政府将科技创新列入全市重点工作，顶格部署、顶格推进。

央广网 2024-12-26

上海市消保委调查：98%白领消费者想拥有家庭服务机器人

该报告显示，服务消费成为提振消费的重要力量，消费者对高品质、智能化服务需求日益增长，人工智能大模型有望成为服务消费的新风口。85.62%的受访者预期，在未来生活中，服务消费的开支占比将有所上升，其中43.85%的受访者认为这一开支将持续增长。

澎湃新闻 2024-12-26

AMD RX 9070 XT功耗、性能有惊喜！可媲美RTX 4080

快科技12月26日消息，AMD新一代最高端显卡已确认命名为RX9070XT，当然不是真正的旗舰，不可能去竞争RTX5090甚至是RTX5080。之前有曝料显示，RX9070XTTimeSpy基准跑分只稍高于RX7900GRE，还不如现有次旗舰RX7900XT，对比竞品大致相当于RTX4070Ti。

驱动之家 2024-12-26

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响

意见反馈

Copyright © 2025 aigcdaily.cn 北京智识时代科技有限公司版权所有京ICP备2023006237号-1