机器之心报道 编辑:小舟、泽南 用微调的方法,现在羊驼模型也可以打 ChatGPT 了,这不是随便说说,有测试结果为证。 最近,来自华盛顿大学的 QLoRA 成为了 AI 领域的热门,很多人把它形容为...【查看原文】
机器之心报道 编辑:小舟、泽南 「原驼」大模型输出的内容和 ChatGPT 比,人类也无法区分谁好谁坏。 用微调的方法,现在羊驼模型也可以打 ChatGPT 了,这不是随便说说,有测试结果为证。
ChatGPT
机器之心 2023-05-26
这是开源大模型最新成果,来自羊驼家族的又一重磅成员——华盛顿大学原驼(Guanaco)。更关键的是,与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到<48GB。开源社区直接开始狂欢,相关论文成为24小时内关注度最高的AI论文。
量子位 2023-05-25
自动测试分数达到ChatGPT的99.3%,人类难以分辨两者的回答……这是开源大模型最新成果,来自羊驼家族的又一重磅成员——华盛顿大学原驼(Guanaco)。更关键的是,与原驼一起提出的新方法QLoRA把微调大模型的显存需求从>780GB降低到。开源社区直接开始狂欢,相关论文成为24小时内关注度最高的AI论文。以Meta的美洲驼LLaMA为基础,得到原驼650亿参数版只需要48GB显存单卡微调24小时,330亿参数版只需要24GB显存单卡微调12小时。24GB显存,也就是一块消费级RTX3090
ChatGPTLLaMA
一起学chatGPT一起学ai 2023-05-27
大杀器QLoRA终于放出了论文和相关实现。单个GPU即可部署的ChatBot,甚至达到了ChatGPT 99%的能力。只需使用消费级GPU微调12个小时就可以达到97%的ChatGPT水平。同时只用4B就可以保持16B精度的效果。QLoRA通过以下三个创新点来优化资源:1. 4Bit NormalFloat 4比特量化2. Double Quantization 双重量化3. Paged Optimizers 分页优化器QLoRA是在LORA的基础上,先对Transformer进行4Bit量化,
ChatGPTLoRA
AI研习所 2023-05-25
还推出新AI加速技术,光刻计算速度提升40倍
量子位 2023-03-22
打榜 首先宏哥要拉一下票,希望喜欢宏哥的支持一下,投下你宝贵的6票,投票完成记得抽奖哈,灰常感谢!!!掘金2024年度人气创作者打榜中,快来帮我打榜吧~ activity.juejin.cn/rank
北京_宏哥 2024-12-29
每个开发者都有很多和 AI 相关的创意,而 Web 技术是把灵感落地的最佳选择之一。Web is all you need!
JaxNext 2024-12-29
竞争刚刚开始。
胡香赟 2024-12-29
2024年,中国商家的全球征程。
刺猬公社 2024-12-29
你消费的品牌,你关心的周报。
贺哲馨 2024-12-29
前端开发的历史,从刀耕火种的年代走向现在高效的现代前端开发。 vue的出现不仅提高了前端开发的效率,也让开发者能够更好地专注于业务逻辑的实现。
经常见 2024-12-29
ClamAV是一个开源的跨平台病毒扫描引擎,用于检测恶意软件、病毒、木马等安全威胁。 一、Linux Debian安装ClamAV 在Linux Debian系统上安装ClamAV,你可以按照以下步骤
星如雨落 2024-12-29
越穷越省钱?
科技狐 2024-12-29
产业联手VC。
投资界 2024-12-29
Copyright © 2025 aigcdaily.cn 北京智识时代科技有限公司 版权所有 京ICP备2023006237号-1