大模型参数高效微调技术原理综述（五）-LoRA、AdaLoRA、QLoRA

作者：吃果冻不吐果冻皮发布时间：2023-06-12

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。...【查看原文】

近期资讯

菲沃泰：承办微电机会议纳米镀膜助力潜力巨大

菲沃泰产品研发总监隋爱国博士作《耐电压防腐蚀多功能膜层在电机马达产品上的应用介绍》主题演讲，其纳米镀膜防护解决方案能提升电机性能和使用寿命。王健建议加强对微电机行业应用领域拓展研究，与微电机行业共同打磨纳米镀膜防护技术应用并迭代技术。任雷表示，新技术纳米材料可降低绝缘材料占比，提高电机能量密度和功率密度。

和讯网 8小时前

短视频时代：成为抖音网红的设备与技巧全解析

在如今这个信息爆炸的时代，短视频平台的崛起让很多人找到了展示自我的舞台，尤其是抖音。无论是搞笑的段子，还是精美的舞蹈，或者分享日常的生活点滴，抖音上总能找到引人注目的内容。现在市场上有很多便携式的环形灯和LED灯，价格也不贵，使用起来也很方便，能够帮助你在任何环境下都能拍出好看的视频。

新报观察 1小时前

第十七届东亚实学国际高峰论坛在京举办

央广网北京12月22日消息（记者朱冠安）12月21日，第十七届东亚实学国际高峰论坛在京举办。来自中、日、韩三国实学界近300名学者相聚北京，围绕“经世致用：现代化进程中的实学及其价值”这一主题展开深入研讨。

央广网 7小时前

话费充值活动来了：95元充值100元电话费！

充值后大概多久到账？如果没有到账的话怎么办？有！“就教解板打船，众庄客闻得此言，无不喜舍。那个道我买桅篷，这个道我办篙桨，有的说我出绳索，有的说我雇水手。正都在河边上吵闹，忽听得河中间高叫：”孙大圣不要打船，花费人家财物，我送你师徒们过去。“众人听说，个个心惊，胆小的走了回家，胆大的战兢兢贪看。

PS4中文社区 9小时前

ASML 29亿元的EUV光刻机做成乐高玩具：要价1660元依然疯抢

快科技12月22日消息，ASML已经向Intel等客户出货迄今最先进的高NAEVU光刻机TWINSCANEXE:5000，还打造了一个特别的纪念品，等比例缩小的乐高玩具，结果超乎寻常的火爆。

驱动之家 7小时前

中大设计力学超材料，比同类材料吸能能力和重用性提高2个数量级

DeepTech深科技 8小时前

短视频时代的蓝线道具：提升抖音视频创作的新利器

而在这其中，蓝线道具的出现，让人们的拍摄体验变得更加有趣和多样化。说到蓝线，大家可能会觉得陌生，但如果你经常刷抖音，或许会发现一些视频中会有一条蓝色的线。很多人可能会问，蓝线到底是怎么用的呢？通过这种方式，创作者能更好地把握镜头语言，提升视频质量。

新报观察 1小时前

华阳集团：公司推出的VPD信息显示区域横跨整个挡风玻璃支持A柱到A柱显示

金融界12月22日消息，有投资者在互动平台向华阳集团提问：请问贵司的VPD已经获得定点并于明年量产，这个技术与之前说的PHUD指的是同一个技术吗？感谢回复。

金融界 9小时前

国产颗粒DDR5内存开卖 32GB仅499元国外厂商有点慌

近日，国内内存制造商金百达与光威相继宣布，正式推出基于国产颗粒的DDR5内存产品，标志着我国在高端存储技术领域取得了重要进展。金百达推出的银爵系列DDR5内存，采用了国产内存颗粒，运行频率高达6000MHz，时序为CL36-36-36-80，工作电压为1.35V。

中关村在线 8小时前

OPPO 旗下两款智能手表入网，均支持 eSIM 通讯

IT之家注意到，科技媒体Smartprix于12月20日报道称一加计划2025年第1季度推出OnePlusWatch3，并分享了这款智能手表的渲染图和关键规格。在健康监测方面，一加手表3将升级心率传感器，支持心电图（ECG）功能（不同市场，取决于当地法规要求），可以更精准地监测用户的心脏健康状况。

IT之家 7小时前

大模型参数高效微调技术原理综述（五）-LoRA、AdaLoRA、QLoRA

推荐体验

相关资讯

大模型参数高效微调技术实战（五）-LoRA

大模型参数高效微调技术原理综述（六）-MAM Adapter、UniPELT

大模型参数高效微调技术原理综述（七）-最佳实践、总结

大模型参数高效微调技术原理综述（四）-Adapter Tuning及其变体

大模型参数高效微调技术原理综述（二）-BitFit、Prefix Tuning、Prompt Tuning

近期资讯

菲沃泰：承办微电机会议纳米镀膜助力潜力巨大

短视频时代：成为抖音网红的设备与技巧全解析

第十七届东亚实学国际高峰论坛在京举办

话费充值活动来了：95元充值100元电话费！

ASML 29亿元的EUV光刻机做成乐高玩具：要价1660元依然疯抢

中大设计力学超材料，比同类材料吸能能力和重用性提高2个数量级

短视频时代的蓝线道具：提升抖音视频创作的新利器

华阳集团：公司推出的VPD信息显示区域横跨整个挡风玻璃支持A柱到A柱显示

国产颗粒DDR5内存开卖 32GB仅499元国外厂商有点慌

OPPO 旗下两款智能手表入网，均支持 eSIM 通讯

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响