当前位置：首页|资讯|Hugging Face|编程|机器学习

Hugging Face: 代码生成模型的预训练和微调

作者：HuggingFace发布时间：2023-10-23

Hugging Face 编程机器学习

和大家分享我们的机器学习工程师 Loubna Ben Allal 在 10 月上海 KubeCon 大会的主题演讲 📢
题目是：代码生成模型的预训练和微调

演讲介绍了构建和训练大型代码模型比如: StarCoder 🌟 的幕后过程，
还探讨了如何使用开源库，包括 Transformers、datasets 和 PEFT 等。

推荐体验

相关资讯

使用 Hugging Face 微调 Gemma 模型

来自 Google Deepmind 开放权重的语言模型 Gemma 现已通过 Hugging Face 面向更广泛的开源社区开放。该模型提供了两个规模的版本：2B 和 7B 参数，包括预训练版本和经过指令调优的版本。它在 Hugging Face 平台上提供支持，可在 Vertex Model Garden 和 Google Kubernetes Engine 中轻松部署和微调。Gemma 模型系列同样非常适合利用 Colab 提供的免费 GPU 资源进行原型设计和实验。在这篇文章中，我们将简要介绍如何

Hugging Face 谷歌

HuggingFace 2024-02-25

Hugging "Hugging Face"-低代码玩转Hugging Face

2016年，两位怀揣梦想的法国人Clem Delangue和Julien Chaumond在巴黎创立了HuggingFace公司。最初致力于研发聊天机器人，为青少年找点乐子，打发下时间。后来

Hugging Face 编程

colorknight 2023-10-08

Coovally模型探索：一键下载Hugging Face预训练模型并集成应用

Coovally是一个包含完整AI建模流程、AI项目管理及AI系统部署管理的机器学习平台，可提供数据预处理、智能标注、分布式模型训练、多维度模型评估、一键式模型部署服务。Coovally支持图像、文本、表格、时间序列等不同类型数据的深度学习和应用，快速实现机器学习。实现目标检测、图像分割、文本分类、多模态建模等12小类任务类型微调与应用。在模型创建中，系统支持用户上传本地模型文件创建模型，同时也支持用户一键下载和部署开源社区模型并集成应用(*目前支持Hugging Face, TIMM, Github以及

Hugging Face GitHub 机器学习深度学习

跑码地Coovally_AI 2023-09-12

如何使用Databricks、Hugging Face和MosaicML训练大型语言模型

大型语言模型，如OpenAI的GPT-4或谷歌的PaLM，已经席卷了人工智能世界。然而，大多数公司目前没有能力培训这些模型，完全依赖少数大型科技公司作为技术提供商。在本篇文章当中，我们将用Replit团队的实际经验，来概述如何训练LLM，从原始数据到面向用户的生产环境中的部署，在这一过程中面临的工程挑战，以及我们如何利用构成现代LLM堆栈的供应商：Databricks、Hugging face和MosaicML。虽然我们的模型主要用于代码生成的用例，但所讨论的技术和经验教训适用于所有类型的LLM

Hugging Face GPT-4 大语言模型 OpenAI 谷歌

AI研习所 2023-07-13

OLMo：真正的开源大模型，预训练、微调代码、数据集、模型架构、模型权重都完全公开

2024年3月18日，马斯克兑现诺言，开源了其大模型Grok。有网友戏谑：这很马斯克，一言不合就开源，随后还不忘对OpenAI进行一番嘲笑。说起开源大模型，Meta早在2023年7月就开源了LLama2。但无论是Grok还是LLama2，都不包含训练代码，出于隐私和安全考虑，也没有公开训练数据集，只包含模型架构和推理代码。LLama2：https://github.com/meta-llama/llamaGrok：https://github.com/xai-org/grok-1这对于那些想从头开始训练一

编程马斯克 OpenAI GitHub

人工智能大讲堂 2024-03-18

近期资讯

华为官宣：奖金300万元！

奥林帕斯奖奖金100万元人民币（含税）/个，奥林帕斯先锋奖20万元人民币（含税）/个，合计300万元。

中国基金报 2024-12-29

95后AI“天才少女”刷屏！雷军千万年薪挖角！

她曾在DeepSeek参与了DeepSeek-V2的研发，是这款模型的关键开发者之一。在DeepSeek-V3发布前几天，媒体报道称小米创始人雷军已开出千万年薪，将罗福莉招至麾下，罗福莉将就职于小米AI实验室，领导大模型团队。

证券时报 2024-12-29

AMD RX 9070 XT功耗超过300W！但拒绝16针供电

快科技12月29日消息，AMD的新一代显卡RX9070XT、RX9070将会在CES2025期间正式发布，预计1月底春节前就会上市，更多曝料也不断出现。不过在NVIDIA全线普及12V-2x616针供电接口的情况下，AMD并不会跟进，而是继续使用传统的PCIe8针接口，预计公版标配两个(最大供电能力就有375W)，非公版上三个也不罕见。

驱动之家 2024-12-29

六足机器人打完冰壶还要登月六条腿为什么能更强？

今年我们看到了很多“机器狗”的新闻，比如在珠海航展上，“机器狗”搭载各种作战装备变成了“战狼”，还有一只山东的“机器狗”驮着物资往泰山上运。

环球时报新媒体 2024-12-29

这家科创板公司成为宇树科技合作伙伴

《科创板日报》记者从道通科技获悉，道通科技及全资子公司深圳市道和通泰机器人有限公司与某头部创新机器人公司签订《战略合作协议》，确认未来双方将在联合研发和推广空地一体集群智慧解决方案上展开合作。

金融界 2024-12-29

如何找回删除的微信聊天记录及预防措施总结

在我们的日常生活中，微信已经成为了沟通的主要工具。无论是和朋友聊天，还是和家人联系，微信都扮演着重要的角色。然而，有时候我们可能会不小心删除了一些重要的聊天记录，或者因为手机故障、误操作等原因导致聊天记录丢失。这时候，很多人就会想，微信聊天记录删除了怎么找回呢？今天就来聊聊这个话题。

新报观察 2024-12-29

过去十年，网上流行的这些“科学”流言，你中招了吗？

二维码很快就会被用完、基因检测能够剧透智商、新能源汽车辐射很强……这些在网上流传的所谓“科学道理”，你是否还在深信不疑？12月29日，记者从北京市科协获悉，“智止流言探求真知”——“科学”流言求真榜十周年发布活动举行，邀请专家为公众梳理并粉碎过去十年在网络上广为传播的十大“科学”流言，帮助公众明辨是非。

新京报 2024-12-29

财富自由涨粉百万，初代网红选择扎堆翻红

在互联网世界快速发展的今天，不知道你有没有好奇过那些初代网红的现状如何呢？大冰是谁？要爆炸头？还是要猪脚饭？留几手，原名刘爽。

砍柴网 2024-12-29

迈瑞医疗与腾讯联合发布启元重症大模型

联合发布了全球首个重症医疗大模型——「启元重症大模型」，这一创新工具旨在通过人工智能技术减轻ICU医生的负担，并提高抢救效率。启元重症大模型能够高效处理病情数据，接管文书工作，使医生能够更专注于治疗和抢救工作。基于对临床工作痛点的深入了解，其精准聚焦临床实践中的多元需求，打造出四大功能——重症知识查询、病情问答、建议生成、病例撰写。

动点科技 2024-12-29

【实探】华为手机，大降价！

12月29日，中国证券报·中证金牛座记者在华为旗舰店实探发现，近期，华为Pura70系列、MateX5等多款手机开启降价促销优惠。

中国证券报 2024-12-29

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响

意见反馈

Copyright © 2025 aigcdaily.cn 北京智识时代科技有限公司版权所有京ICP备2023006237号-1