使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

作者：HuggingFace发布时间：2023-08-25

大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命...【查看原文】

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

在之前的年度演讲中，雷军提到今年4月，小米正式组建AI大模型团队。而且小爱同学正式升级生成式大模型，已经开始测试，小米高管最新表态很快会实现端侧AI模型能力。这篇文章来自小米创始人雷军公众号的分享，详细解释了小米大模型的台前幕后，希望能对大家了解小米大模型有所帮助。

AI大模型

Nairo 2024-01-01

OPPO携手联发科技共建轻量化大模型

鞭牛士10月11日消息，联发科技官方发文称，将携手@OPPO@ColorOS，合作共建轻量化大模型端侧部署方案，共同推动大模型能力在端侧逐步落地。联发科技先进的AI处理器APU与AI开发平台NeuroPilot，构建了完整的终端侧AI与生成式AI计算生态，可加速边缘AI计算的应用开发与落地，强化大语言模型和生成式AI应用的性能。

生成式AI 大语言模型

鞭牛士 2023-10-11

泰迪智能科技企业AI大模型服务——轻量化部署

据中国证券报记者不完全统计，当前全国生成式AI产品数量已超300个。随着大模型产品日益增加，当前大模型行业竞争从比拼参数阶段过渡到比拼落地应用阶段。业内人士表示，随着未来不断有新的企业通过备案，大模型应用拐点将加速到来，轻量化的行业大模型将以更低的成本和灵活性吸引行业客户，加速大模型的落地推广，也有助于为大模型企业带来良好回报。中科院自动化所副所长、研究员刘成林表示，当前大模型产品数量还在爆发增长阶段，但未来达到某一数量级后或会下降。“大模型产品如果不能很好地实现业务落地，就会被淘汰，最终能够存活下去的大

AI大模型生成式AI

泰迪科技 2023-10-13

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

金融界3月18日消息，有投资者在互动平台向拓尔思提问：董秘，你好：Sora是由800张英伟达A100的卡运算1天时间生成的1分钟视频，当下的AI硬件的水平没法支撑Sora模式进行盈利，那么通用大模型的性能天花板将很快达到了，后面通用大模型与行业大模型将与行业进行结合，赋予行业降本增效。请问贵司的行业大模型最近有什么具体的进展么，谢谢回复。

金融融资 Sora 英伟达

金融界 2024-03-18

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！重磅更新Transformers Agents 发布，通过自然语言控制超过十多万个 HF 模型！近期，我们发布了一个非常“大胆”的新特性: Transformers Agents，并加入到了 Transformers 4.29 之后的版本中

大语言模型 Hugging Face

HuggingFace 2023-06-03

近期资讯

工信部部长金壮龙：大力发展人形机器人、脑机接口、6G、原子级制造、清洁氢、新型储能等新领域新赛道

工信部部长金壮龙在求是网发表《进一步全面深化工业和信息化领域改革为推进新型工业化注入强大动力》。其中提出，健全构建以先进制造业为骨干的现代化产业体系体制机制。加强统筹谋划、分业施策，实施先进制造业集群专项行动，推动产业结构优化升级。

每日经济新闻 2024-11-16

小米 15 Ultra 渲染图曝光，后置镜头排列变了

前段时间小米15系列正式发布，只不过目前上市的只有小米15以及小米15Pro，至于更高配置的小米15Ultra目前还未发布。据了解，小米15Ultra将在明年第一季度发布，而目前也出现了许多关于小米15Ultra方面的消息。最近有博主分享了一组小米15Ultra的渲染图，根据图片来看，小米15Ultra正面为居中单挖孔，直角边框。

简科技 2024-11-16

断供中国厂商7nm芯片！台积电：将在美国生产最先进芯片

快科技11月16日消息，据国外媒体报道称，美国商务部已最终敲定向台积电位于亚利桑那州的美国子公司提供66亿美元政府补助，用于半导体生产。台积电总裁魏哲家在声明中表示，这笔交易有助于他们

雪花 2024-11-16

金壮龙：健全推进信息化和工业化深度融合制度

工信部部长金壮龙在求是网发表《进一步全面深化工业和信息化领域改革为推进新型工业化注入强大动力》，其中提出，健全推进信息化和工业化深度融合制度。抢抓数字技术变革机遇，推动构建促进数字经济发展体制机制，继续做好信息化和工业化深度融合这篇大文章。

证券时报 2024-11-16

徐工集团取得压路机整机高度调整机构专利，使压路机无需拆除驾驶室即可装入集装箱

金融界2024年11月16日消息，国家知识产权局信息显示，徐工集团工程机械股份有限公司道路机械分公司取得一项名为“一种压路机整机高度调整机构”的专利，授权公告号CN222005205U，申请日期为2024年3月。

金融界 2024-11-16

男子夜驾撞飞两头野猪被判全责车损3万多：网友送神评

11月16日消息，近日南京一男子深夜驾车撞飞两头野猪，汽车受损严重的同时，还被判了全责。按照车主的说法，自己在正常行驶中，突然闯出了两头野猪，结果接造成了上述结果。随后交警到来了现

雪花 2024-11-16

旅行者2号当年飞掠天王星遭遇了什么？最新研究称或逢太阳异常活动

中新网北京11月16日电(记者孙自法)施普林格·自然旗下专业学术期刊《自然-天文学》最新发表一篇行星科学论文认为，旅行者2号太空探测器在1986年飞掠天王星时可能正处在罕见情形下，当时天王星的磁层正受到太阳风的异常压缩，而这次探索很大程度上塑造了对这颗行星的科学认知。

光明网 2024-11-16

小米汽车发布智能底盘预研技术

展示了小米全主动悬架、小米超级四电机系统、小米48V线控制动和小米48V线控转向四项核心技术。仅仅一年时间，小米汽车就发布了三代底盘技术，真正做到了量产一代、发布一代、预研一代。

轿车情报 2024-11-16

2024年岳麓区白马实验小学举办第九届校园科技节

为了丰富学生校园文化生活，营造浓厚的学科学、爱科学、用科学的校园科技氛围，让同学们亲身感受科学的奥妙，2024年11月14日，白马实验小学举办了以“玩转科学+融合向未来”为主题的校园科技节活动。本次科技节分为实验展示、互动游戏、动手制作、竞赛项目以及科技展览等板块，涵盖了从基础物理学到化学反应，再到现代科技应用的广泛领域。

潇湘晨报 2024-11-16

212越野车T01长风版发布：儿时记忆中的吉普车回来了

快科技11月16日消息，近日，212品牌独立后首次亮相车展，并正式推出T01长风，该车售价18.88万元。这款车其实就是212的一个衍生产品，在T01现有车型的基础上，对“宽体套件、升高套件、车

落木 2024-11-16

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

推荐体验

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

OPPO携手联发科技共建轻量化大模型

泰迪智能科技企业AI大模型服务——轻量化部署

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

近期资讯

工信部部长金壮龙：大力发展人形机器人、脑机接口、6G、原子级制造、清洁氢、新型储能等新领域新赛道

小米 15 Ultra 渲染图曝光，后置镜头排列变了

断供中国厂商7nm芯片！台积电：将在美国生产最先进芯片

金壮龙：健全推进信息化和工业化深度融合制度

徐工集团取得压路机整机高度调整机构专利，使压路机无需拆除驾驶室即可装入集装箱

男子夜驾撞飞两头野猪被判全责车损3万多：网友送神评

旅行者2号当年飞掠天王星遭遇了什么？最新研究称或逢太阳异常活动

小米汽车发布智能底盘预研技术

2024年岳麓区白马实验小学举办第九届校园科技节

212越野车T01长风版发布：儿时记忆中的吉普车回来了

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响