使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

作者：HuggingFace发布时间：2023-08-25

大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命...【查看原文】

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

在之前的年度演讲中，雷军提到今年4月，小米正式组建AI大模型团队。而且小爱同学正式升级生成式大模型，已经开始测试，小米高管最新表态很快会实现端侧AI模型能力。这篇文章来自小米创始人雷军公众号的分享，详细解释了小米大模型的台前幕后，希望能对大家了解小米大模型有所帮助。

AI大模型

Nairo 2024-01-01

OPPO携手联发科技共建轻量化大模型

鞭牛士10月11日消息，联发科技官方发文称，将携手@OPPO@ColorOS，合作共建轻量化大模型端侧部署方案，共同推动大模型能力在端侧逐步落地。联发科技先进的AI处理器APU与AI开发平台NeuroPilot，构建了完整的终端侧AI与生成式AI计算生态，可加速边缘AI计算的应用开发与落地，强化大语言模型和生成式AI应用的性能。

生成式AI 大语言模型

鞭牛士 2023-10-11

泰迪智能科技企业AI大模型服务——轻量化部署

据中国证券报记者不完全统计，当前全国生成式AI产品数量已超300个。随着大模型产品日益增加，当前大模型行业竞争从比拼参数阶段过渡到比拼落地应用阶段。业内人士表示，随着未来不断有新的企业通过备案，大模型应用拐点将加速到来，轻量化的行业大模型将以更低的成本和灵活性吸引行业客户，加速大模型的落地推广，也有助于为大模型企业带来良好回报。中科院自动化所副所长、研究员刘成林表示，当前大模型产品数量还在爆发增长阶段，但未来达到某一数量级后或会下降。“大模型产品如果不能很好地实现业务落地，就会被淘汰，最终能够存活下去的大

AI大模型生成式AI

泰迪科技 2023-10-13

如何使用BART模型和Hugging Face Transformers总结文本？

BART是一个帮助总结文本的工具。它可以使长文章变得更短，更容易阅读。这有助于你快速找到要点。BART的工作原理是，分析整段文本以理解其上下文。然后，它通过保留重要的部分并删除不太重要的部分来生成摘要。

Hugging Face

51CTO 2024-12-17

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

金融界3月18日消息，有投资者在互动平台向拓尔思提问：董秘，你好：Sora是由800张英伟达A100的卡运算1天时间生成的1分钟视频，当下的AI硬件的水平没法支撑Sora模式进行盈利，那么通用大模型的性能天花板将很快达到了，后面通用大模型与行业大模型将与行业进行结合，赋予行业降本增效。请问贵司的行业大模型最近有什么具体的进展么，谢谢回复。

金融融资 Sora 英伟达

金融界 2024-03-18

近期资讯

AI编程进入应用时代，低代码相关概念股梳理（附股）

低代码(Low-Code)是一种软件开发方法，它是一种通过简化和自动化的方式，让开发者使用少量代码或无需代码，通过可视化建模、模块化设计和拖放式操作来快速构建应用程序的工具。同年，Gartner也提出了与低代码相关的aPaaS(应用程序平台即服务)概念，进一步推动了低代码技术的普及。

证券之星 2024-12-17

企查查财经 2024-12-17

图｜中建新疆建工苏州新基建智能交通项目二标段举行“云观摩”

12月17日,中建新疆建工苏州新基建智能交通项目二标段举行2024年全省“云观摩”交流活动,通过线上展播的方式展示高品质产业园。活动从BIM技术应用、建筑机器人、智慧工地、绿色施工、质量管控等板块全方位展现新基建项目在管理实施过程中的亮点,促进交流与学习。云筑网平台处理所有采购、订单和物料管理,使供应链更加高效。

扬子晚报 2024-12-17

国家卫星气象中心：空间物理学家和空间天气学家张效信博士因遭遇交通事故逝世

（来源：）…

极目新闻 2024-12-17

台积电2纳米制程技术细节出炉，性能跃升15%，功耗降低30%

钛媒体App12月17日消息，在旧金山举行的IEEE国际电子器件会议(IEDM)上，全球晶圆代工巨头台积电公布了其备受瞩目的2纳米（N2）制程技术的更多细节。据介绍，相较于前代制程，N2制程在性能上提升了15%，功耗降低了高达30%，能效显著提升。

钛媒体快报 2024-12-17

字节否认与中兴探讨成立新品牌后者股票一度涨停

则可能存在业务的契合点。探讨过成立新品牌可能性。芯片也没有相关的合作。一度涨停，成交额超100亿元。公开资料显示，豆包软件是由字节跳动公司推出的一款AI对话产品。这款软件自上线以来，凭借其强大的功能和良好的用户体验，迅速获得了市场的关注和用户的喜爱。2024年9月率先成为国内用户规模破亿的首个AI应用。

手机中国 2024-12-17

长虹面孔 | 华丰科技刘敏：做全球受关注和尊重的连接器供应商

2019年，长虹华丰科技陆续开发出10Gbps/25Gbps/32Gbps高速背板连接器并实现量产，一举打破国外头部企业对于20Gbps及以上速率的高速背板连接器技术封锁；2020年，长虹华丰科技研发的56Gbps高速背板连接器产品通过客户认证，并在终端设备中大批量使用；目前，长虹华丰科技112Gbps高速背板连接器也已完成主要客户的产品...

封面新闻 2024-12-17

警惕AI成为孩子的“隐形帮凶”，父母岂能尴尬面对？

在科技迅猛发展的今天，AI的出现和普及已经深刻影响了我们的生活。尤其是对于孩子，AI不仅是玩具，更是潜在的“隐形帮凶”，父母的尴尬和无力感在逐渐增加。AI的智能和沟通能力令人惊叹。在与AI的互动中，孩子常常会得到过度的鼓励和赞美，这种看似正面的交流方式，实际上却让孩子在无形中建立了错误的价值观。

七席 2024-12-17

台积电魏哲家：全世界最有钱企业家告诉我，多功能机器人是他努力方向，而不是汽车【附智能机器人行业现状分析】

同时，他特别强调了AI在推动节能减碳与水资源高效利用方面所展现的巨大潜力，这一领域同样被视为未来科技发展的重要蓝海。谈到多功能机器人领域发展时，魏哲家透露了一个有趣的细节。尽管如此，智能机器人的应用前景依然广阔。

前瞻网 2024-12-17

希捷发布Exos M 3+平台：单碟容量3TB、最大32TB可选

快科技12月17日消息，据报道，希捷在今年初推出了其首个采用HAMR（热辅助磁记录）技术的硬盘平台——“Mozaic3+”之后，再次发力，推出了专为超大规模云服务提供商量身打造的ExosM3+平台。

驱动之家 2024-12-17

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

推荐体验

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

OPPO携手联发科技共建轻量化大模型

泰迪智能科技企业AI大模型服务——轻量化部署

如何使用BART模型和Hugging Face Transformers总结文本？

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

近期资讯

AI编程进入应用时代，低代码相关概念股梳理（附股）

小鹏汽车人形机器人相关专利公布

图｜中建新疆建工苏州新基建智能交通项目二标段举行“云观摩”

国家卫星气象中心：空间物理学家和空间天气学家张效信博士因遭遇交通事故逝世

台积电2纳米制程技术细节出炉，性能跃升15%，功耗降低30%

字节否认与中兴探讨成立新品牌后者股票一度涨停

长虹面孔 | 华丰科技刘敏：做全球受关注和尊重的连接器供应商

警惕AI成为孩子的“隐形帮凶”，父母岂能尴尬面对？

台积电魏哲家：全世界最有钱企业家告诉我，多功能机器人是他努力方向，而不是汽车【附智能机器人行业现状分析】

希捷发布Exos M 3+平台：单碟容量3TB、最大32TB可选

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响