使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

作者：HuggingFace发布时间：2023-08-25

大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命...【查看原文】

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

在之前的年度演讲中，雷军提到今年4月，小米正式组建AI大模型团队。而且小爱同学正式升级生成式大模型，已经开始测试，小米高管最新表态很快会实现端侧AI模型能力。这篇文章来自小米创始人雷军公众号的分享，详细解释了小米大模型的台前幕后，希望能对大家了解小米大模型有所帮助。

AI大模型

Nairo 2024-01-01

OPPO携手联发科技共建轻量化大模型

鞭牛士10月11日消息，联发科技官方发文称，将携手@OPPO@ColorOS，合作共建轻量化大模型端侧部署方案，共同推动大模型能力在端侧逐步落地。联发科技先进的AI处理器APU与AI开发平台NeuroPilot，构建了完整的终端侧AI与生成式AI计算生态，可加速边缘AI计算的应用开发与落地，强化大语言模型和生成式AI应用的性能。

生成式AI 大语言模型

鞭牛士 2023-10-11

泰迪智能科技企业AI大模型服务——轻量化部署

据中国证券报记者不完全统计，当前全国生成式AI产品数量已超300个。随着大模型产品日益增加，当前大模型行业竞争从比拼参数阶段过渡到比拼落地应用阶段。业内人士表示，随着未来不断有新的企业通过备案，大模型应用拐点将加速到来，轻量化的行业大模型将以更低的成本和灵活性吸引行业客户，加速大模型的落地推广，也有助于为大模型企业带来良好回报。中科院自动化所副所长、研究员刘成林表示，当前大模型产品数量还在爆发增长阶段，但未来达到某一数量级后或会下降。“大模型产品如果不能很好地实现业务落地，就会被淘汰，最终能够存活下去的大

AI大模型生成式AI

泰迪科技 2023-10-13

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

金融界3月18日消息，有投资者在互动平台向拓尔思提问：董秘，你好：Sora是由800张英伟达A100的卡运算1天时间生成的1分钟视频，当下的AI硬件的水平没法支撑Sora模式进行盈利，那么通用大模型的性能天花板将很快达到了，后面通用大模型与行业大模型将与行业进行结合，赋予行业降本增效。请问贵司的行业大模型最近有什么具体的进展么，谢谢回复。

金融融资 Sora 英伟达

金融界 2024-03-18

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！重磅更新Transformers Agents 发布，通过自然语言控制超过十多万个 HF 模型！近期，我们发布了一个非常“大胆”的新特性: Transformers Agents，并加入到了 Transformers 4.29 之后的版本中

大语言模型 Hugging Face

HuggingFace 2023-06-03

近期资讯

机器人如何打通手术最后1毫米？｜科技有狠活

约为人民币一元硬币的直径，是食指和中指并排的长度，或是穿过复杂咽喉生理弯曲至肿瘤病灶的距离，决定患者的生死。此次手术所使用的“经口手术机器人”系统——TORSS®拓思系统，采用全球首创的柔性精密手术器械，通过口腔进入复杂的咽喉部位，精准切除声门区肿瘤，成为全球首台进行这一微创手术的国产机器人。

封面新闻 2024-11-08

微信步数其实在暴露你的隐私？网友：我前任说睡了步数还在增加！

有位网友在社交平台直言不讳：微信运动步数真的是一个很私密的东西，很多人压根没意识到！它悄悄暴露你的行踪，说不定哪天就给你带来不必要的困扰。

潇湘晨报 2024-11-08

江苏不凡文化创意有限公司召回DAV牌手动削笔机，涉及数量为360个

近期，江苏不凡文化创意有限公司按照《消费品召回管理暂行规定》的要求，主动向盐城市市场监督管理局报告了召回计划，将自即日起，召回2022年8月2日制造的DAV牌手动削笔机（规格型号V5S透明黑），涉及数量为360个。本次召回范围内的手动削笔机，存在以下问题：削笔机存在功能性锐利边缘，包装上没有警示说明。

金融界 2024-11-08

铭瑄终结者 Z890-A Wi-Fi 主板评测：进阶玩家的实用之选

随着10月24日，英特尔酷睿Ultra200系列处理器的正式发售，各家厂商的Z890新品主板也纷纷亮相。那么这款主板的表现究竟如何？为了更好地展现这块主板的综合素质，我们选择了酷睿Ultra9285K处理器配合测试，并搭建了配置如图的测试平台。

IT之家 2024-11-08

249元起酷凛雪界DX240无风扇版水冷散热器上市：格栅RGB冷头

快科技11月8日消息，酷凛ID-Cooling带来了雪界DX系列无风扇版一体式水冷散热器，售价249元起。在外观设计上，这款散热器深度融合了极简美学理念，其格栅式RGB冷头设计独具匠心，侧面采用黑银或白银的撞色搭配，营造出强烈的视觉冲击力。

驱动之家 2024-11-08

聚焦科博会︱绵阳2023-2024年核医疗重要成果发布：五大领域取得14项突破性成果

11月8日，中国（绵阳）科技城核医疗创新发展大会暨涪江实验室、国家卫健委核技术医学转化重点实验室年会在绵阳市召开。会上，发布了绵阳2023-2024年核医疗重要成果：在医用同位素自主供给、放射性药物研发等五大领域取得了14项突破性成果。

红星新闻 2024-11-08

当京剧老电影遇上AI，北邮学生用新技术为京剧大师“换新颜”

学期过半，北京邮电大学选修“当京剧老电影遇上AI”这门“微课”的师生们，让京剧大师程砚秋的电影作品“年轻了起来”。11月8日，在这门“微课”的结课现场，学生们分组上台展示如何利用人工智能等技术对这部诞生于1956年的作品进行修复，让原本52岁出演作品的程砚秋以青年时期的模样出现在电影中。

新京报 2024-11-08

国产新能源银十卖爆，“卷哭”德系BBA | 科技很有料

奔驰、宝马、大众，曾经的德系豪华BBA在华遇冷，相反国内新能源车企们则来势汹汹，最新10月交付量同比升104%，小米SU7单月首超2万辆，比亚迪则领跑达到50万辆，小鹏、零跑等也相继创纪录，可以说在各家价格战销售战的一次次猛攻下，新能源的金九银十迎来了收获。

搜狐号科技 2024-11-08

荣威官方&经销商主播天团已就位，全网荣威直播间等你来！

荣威ROEWE 2024-11-08

【异动股】心理健康评估技术公司Trivarx (ASX:TRI)飙涨27%：AI算法赋能重度抑郁症筛查

MEB-001的潜在用例有望扩展到多个硬件平台，从长远来看，它将公司技术的应用范围扩大到了远程患者监测和可穿戴设备等领域。周四TRI澳交所股价飙涨26.67%，报0.019澳元，成交量2097万股。

ACBNews澳华财经在线 2024-11-08

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

推荐体验

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

OPPO携手联发科技共建轻量化大模型

泰迪智能科技企业AI大模型服务——轻量化部署

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

近期资讯

机器人如何打通手术最后1毫米？｜科技有狠活

微信步数其实在暴露你的隐私？网友：我前任说睡了步数还在增加！

江苏不凡文化创意有限公司召回DAV牌手动削笔机，涉及数量为360个

铭瑄终结者 Z890-A Wi-Fi 主板评测：进阶玩家的实用之选

249元起酷凛雪界DX240无风扇版水冷散热器上市：格栅RGB冷头

聚焦科博会︱绵阳2023-2024年核医疗重要成果发布：五大领域取得14项突破性成果

当京剧老电影遇上AI，北邮学生用新技术为京剧大师“换新颜”

国产新能源银十卖爆，“卷哭”德系BBA | 科技很有料

荣威官方&经销商主播天团已就位，全网荣威直播间等你来！

【异动股】心理健康评估技术公司Trivarx (ASX:TRI)飙涨27%：AI算法赋能重度抑郁症筛查

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响