当前位置:首页|资讯|王小川|医疗|GPT-4|腾讯|大语言模型

王小川首个千亿参数大模型,官方称医疗能力逼近GPT-4

作者:AI未来指北发布时间:2024-01-29

王小川首个千亿参数大模型,官方称医疗能力逼近GPT-4

腾讯科技讯(苏扬)1月29日,王小川旗下百川智能发布首个超千亿参数大语言模型Baichuan3,主打中文能力尤其是在医疗领域中文方面的提升。

公开资料显示,百川智能基于“RLHF(基于人类反馈的强化学习)、RLAIF(基于AI反馈的强化学习)以及迭代式强化学习方法,Baichuan3强化了对中文的理解,尤其是诗词歌赋的创作能力。

*Baichuan3中文医疗相关诗词生成演示

官方提供的数据显示,Baichuan3在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,表现都优于GPT-4。

*Baichuan3与GPT-4通用能力基准测试对比

到目前为止,OpenAI、谷歌等头部大模型企业都将医疗作为模型的重点训练方向和性能评价的重要体系。

大模型在医疗领域的优点在于,多模态学习能力能够整合文本、影像、声音等多种类型的医疗数据,深层推理能力有助于复杂医疗决策的制定,而稳定的性能和知识更新能力确保了医疗建议的可靠性和时效性,同时还具备处理专业术语和复杂句式,也支持从复杂的医疗数据中学习和识别出重要的模式和特征。

优点众多,但也要求大模型具备丰富的医疗知识、合适的Prompt,以及模型本身的逻辑推理能力。

*Baichuan3与GPT3.5,GPT-4等权威医疗评测对比

百川智能强调称,Baichuan3在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4。

据百川智能介绍,为了给Baichuan3注入丰富的医疗知识,官方在模型预训练阶段构建了超过千亿Token的医疗数据集,包括医学研究文献、真实的电子病历资料、医学领域的专业书籍和知识库资源、针对医疗问题的问答资料等。数据集涵盖了从理论到实际操作,从基础理论到临床应用等各个方面的医学知识。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1