当前位置:首页|资讯|微软|提示工程|GPT-4|医疗

微软通过提示工程将GPT-4变成医学专家,首次准确率超90%

作者:AI方立体发布时间:2023-12-05

原标题:微软通过提示工程将GPT-4变成医学专家,首次准确率超90%

要点:

微软通过「提示工程」将GPT-4成功转化为医学专家,使用最新提示策略Medprompt在医疗专业领域取得了超过90%的准确率,首次超越其他高度微调的模型。

Medprompt是一个多种提示策略的组合,包括动态少样本选择、自生成思维链和选项洗牌集成,使GPT-4能够在医学领域表现出色,并且该方法具有通用性,可推广到其他专业领域。

在测试中,GPT-4结合Medprompt在MultiMed QA九个基准数据集中均取得最高分,平均准确率达到了91.3%。研究人员还进行了消融实验,发现自动生成思维链对性能提升的贡献最大。

近期微软的研究成果展示了通过「提示工程」成功将GPT-4转化为医学专家的威力。在医学专业领域,GPT-4使用最新提示策略Medprompt在MultiMed QA九个测试集中取得了超过90%的准确率,首次超越其他高度微调的模型,如BioGPT和Med-PaLM。

Medprompt是一个由动态少样本选择、自生成思维链和选项洗牌集成等多种提示策略组成的综合体,使GPT-4能够在医学领域表现出色,同时也具有通用性,可以推广到电气工程、机器学习、法律等专业中。

结构图

论文地址:https://arxiv.org/pdf/2311.16452.pdf

其中,动态少样本选择利用训练数据作为少样本示例的来源,通过向量相似度从训练集中选择最相似的样本,避免了对模型参数进行大量更新。

自生成思维链通过要求GPT-4使用特定提示生成思维链,实现了逐步思考和推理,从而提高了模型的细粒度逻辑。选项洗牌集成解决了在选择题中可能存在的位置偏差问题,通过打乱选项顺序并进行多轮预测,最终选择最一致、正确的选项。

在测试中,GPT-4结合Medprompt在MultiMed QA九个基准数据集中表现出色,优于其他微调方法。消融实验进一步验证了Medprompt各组件对整体性能的贡献,其中自动生成思维链步骤对性能提升的贡献最大。

此外,研究人员还探索了Medprompt的跨域泛化能力,发现其在不同领域的数据集上同样取得了显著的提升。这一研究成果引发了广泛关注,被认为是一项能够改变行业的技术。目前我们仍未触及提示的极限,也未达到微调的极限,为未来研究和发展提供了更多的探索空间。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1