机器之心报道 编辑:小舟、泽南 用微调的方法,现在羊驼模型也可以打 ChatGPT 了,这不是随便说说,有测试结果为证。 最近,来自华盛顿大学的 QLoRA 成为了 AI 领域的热门,很多人把它形容为...【查看原文】
机器之心报道 编辑:小舟、泽南 「原驼」大模型输出的内容和 ChatGPT 比,人类也无法区分谁好谁坏。 用微调的方法,现在羊驼模型也可以打 ChatGPT 了,这不是随便说说,有测试结果为证。
ChatGPT
机器之心 2023-05-26
这是开源大模型最新成果,来自羊驼家族的又一重磅成员——华盛顿大学原驼(Guanaco)。更关键的是,与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到<48GB。开源社区直接开始狂欢,相关论文成为24小时内关注度最高的AI论文。
量子位 2023-05-25
自动测试分数达到ChatGPT的99.3%,人类难以分辨两者的回答……这是开源大模型最新成果,来自羊驼家族的又一重磅成员——华盛顿大学原驼(Guanaco)。更关键的是,与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到。开源社区直接开始狂欢,相关论文成为24小时内关注度最高的AI论文。以Meta的美洲驼LLaMA为基础,得到原驼650亿参数版只需要48GB显存单卡微调24小时,330亿参数版只需要24GB显存单卡微调12小时。24GB显存,也就是一块消费级RTX3090
ChatGPTLLaMA
一起学chatGPT一起学ai 2023-05-27
大杀器QLoRA终于放出了论文和相关实现。单个GPU即可部署的ChatBot,甚至达到了ChatGPT 99%的能力。只需使用消费级GPU微调12个小时就可以达到97%的ChatGPT水平。同时只用4B就可以保持16B精度的效果。QLoRA通过以下三个创新点来优化资源:1. 4Bit NormalFloat 4比特量化2. Double Quantization 双重量化3. Paged Optimizers 分页优化器QLoRA是在LORA的基础上,先对Transformer进行4Bit量化,
ChatGPTLoRA
AI研习所 2023-05-25
还推出新AI加速技术,光刻计算速度提升40倍
量子位 2023-03-22
建生产线,买大IP授权,这条路的可复制性,为布鲁可未来发展埋下了隐患。
略大参考 2024-12-31
“短剧会员制兴起,行业变革几何?” 在短剧蓬勃发展的当下,会员制的出现引发诸多关注。它能否为短剧行业开辟新的发展路径?又面临哪些挑战与机遇?
传媒1号 2024-12-31
还能有什么新菜呢?
娱乐独角兽 2024-12-31
挑战蜜雪冰城?
斑马消费 2024-12-31
“AI 赋能 XR 创作,3D 内容迎曙光。” 在科技飞速发展的当下,AI 如何为 XR 内容创作带来新契机?其又将如何重塑 3D 内容生态?
VR陀螺 2024-12-31
一家顶三家。
伯虎财经 2024-12-31
“星巴克困局剖析,价格与价值之思。” 在竞争激烈的咖啡市场中,星巴克为何不推出 9.9 元咖啡?其在中国市场面临着怎样的困境与抉择?
首席商业评论 2024-12-31
“客户体系设计揭秘,会员商户各有千秋。” 在企业运营中,客户体系设计至关重要。三户模型如何运作?会员派和商户派又有何区别与特点?
刚哥 2024-12-31
“2024 电商新局,中国商家海外机遇与挑战并存。” 在全球电商格局变动的当下,中国商家在海外市场有着怎样的发展态势?又面临哪些新情况?
刺猬公社 2024-12-31
“初代网红重出江湖,翻红背后有何奥秘?” 在互联网的不断发展中,曾经的初代网红如今又有了新的动态。他们是如何实现翻红的呢?
互联网那些事 2024-12-31
Copyright © 2026 aigcdaily.cn 北京智识时代科技有限公司 版权所有 京ICP备2023006237号-1