百川智能发布超千亿参数大模型 Baichuan 3，号称中文评测超越 GPT-4
2024-01-29 15:36:00 作者：姚立伟
百川智能于1月29日发布了Baichuan 3，这是一款拥有超千亿参数的大语言模型。在CMMLU、GAOKAO和AGI-Eval等评测中，Baichuan 3宣称在中文任务上超过了GPT-4，并号称是“中文医疗任务表现最佳的大模型”。
据了解，百川智能在Baichuan 3的训练过程中采用了多种技术手段和方案，包括“动态数据选择”、“重要度保持”以及“异步 CheckPoint 存储”。这些措施稳定了训练时间达到一个月以上，并且故障恢复时间不超过10分钟。此外，Baichuan 3还突破了“迭代式强化学习”技术，进一步提升了语义理解和生成能力，在诗词创作方面也进行了改进。
百川智能成立于2023年4月10日，由前搜狗公司CEO王小川创立。Baichuan 3大模型已在百川智能官网上线，并对感兴趣的用户开放体验。
