首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。...【查看原文】
要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…
ChatGPT
量子位 2023-02-19
其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…
OSC开源社区 2023-02-21
但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…
机器之心Pro 2023-02-15
最新大模型研究工作中，以十六原则为基础，IBM让AI自己完成对齐流程。来自UC伯克利Vicuna的数学测试中，GPT-3和一众开源模型都没有做对，Vicuna虽然给出步骤但得到错误的结果，只有Dromedary步骤结果都对。
ChatGPTGPT-4Vicuna
量子位 2023-05-07
这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。
ChatGPTLLaMA
量子位 2023-03-29
金融界2024年12月26日消息，国家知识产权局信息显示，广西徐沃工程机械设备有限公司取得一项名为“一种自适应山地凹凸不平复杂地形的四轮驱动异形车桥”的专利，授权公告号CN222202203U，申请日期为2024年1月。
金融界 2024-12-26
金融界2024年12月26日消息，国家知识产权局信息显示，广东辰奕智能科技股份有限公司申请一项名为“应用于万能遥控器的数据通信方法、装置、设备及介质”的专利，公开号CN119181231A，申请日期为2024年11月。
科技有限公司申请一项名为“匝道控制及匝道控制模型训练方法和装置”的专利，公开号CN119181239A，申请日期为2024年8月。专利摘要显示，本公开提供了一种匝道控制及匝道控制模型训练方法和装置，涉及人工智能技术领域，具体为智能云、智慧交通等技术领域。
金融界2024年12月26日消息，国家知识产权局信息显示，安轩科技（江苏）有限公司申请一项名为“一种智能办公用一键呼叫装置”的专利，公开号CN119181223A，申请日期为2024年9月。
金融界2024年12月26日消息，国家知识产权局信息显示，广州番禺电缆集团有限公司申请一项名为“基于集成线路信息的电缆操作预警系统及方法”的专利，公开号CN119181224A，申请日期为2024年8月。
金融界2024年12月26日消息，国家知识产权局信息显示，湖南致力工程科技有限公司申请一项名为“一种多源信息融合的公路边坡综合监测预警系统”的专利，公开号CN119181228A，申请日期为2024年11月。
金融界2024年12月26日消息，国家知识产权局信息显示，江苏林洋能源股份有限公司申请一项名为“一种面向多链路组网的并行抄表管理方法”的专利，公开号CN119181229A，申请日期为2024年8月。
金融界2024年12月26日消息，国家知识产权局信息显示，无锡优奇智能科技有限公司取得一项名为“一种自动升降牵引销”的专利，授权公告号CN222202184U，申请日期为2024年5月。
金融界2024年12月26日消息，国家知识产权局信息显示，浪潮智慧科技有限公司申请一项名为“一种基于大数据的交通数据采集及实时路况分析系统、方法、设备及介质”的专利，公开号CN119181242A，申请日期为2024年9月。
金融界2024年12月26日消息，国家知识产权局信息显示，平安科技（深圳）有限公司申请一项名为“交通流预测方法、装置、终端设备及计算机可读存储介质”的专利，公开号CN119181240A，申请日期为2024年8月。
Copyright © 2026 aigcdaily.cn 北京智识时代科技有限公司 版权所有 京ICP备2023006237号-1
