微软通过提示工程将GPT-4变成医学专家，首次准确率超90%
要点:
微软通过「提示工程」将GPT-4成功转化为医学专家，使用最新提示策略Medprompt在医疗专业领域取得了超过90%的准确率，首次超越其他高度微调的模型。
Medprompt是一个多种提示策略的组合，包括动态少样本选择、自生成思维链和选项洗牌集成，使GPT-4能够在医学领域表现出色，并且该方法具有通用性，可推广到其他专业领域。
在测试中，GPT-4结合Medprompt在MultiMed QA九个基准数据集中均取得最高分，平均准确率达到了91.3%。研究人员还进行了消融实验，发现自动生成思维链对性能提升的贡献最大。
近期微软的研究成果展示了通过「提示工程」成功将GPT-4转化为医学专家的威力。在医学专业领域，GPT-4使用最新提示策略Medprompt在MultiMed QA九个测试集中取得了超过90%的准确率，首次超越其他高度微调的模型，如BioGPT和Med-PaLM。
Medprompt是一个由动态少样本选择、自生成思维链和选项洗牌集成等多种提示策略组成的综合体，使GPT-4能够在医学领域表现出色，同时也具有通用性，可以推广到电气工程、机器学习、法律等专业中。
结构图
论文地址:https://arxiv.org/pdf/2311.16452.pdf
其中，动态少样本选择利用训练数据作为少样本示例的来源，通过向量相似度从训练集中选择最相似的样本，避免了对模型参数进行大量更新。
自生成思维链通过要求GPT-4使用特定提示生成思维链，实现了逐步思考和推理，从而提高了模型的细粒度逻辑。选项洗牌集成解决了在选择题中可能存在的位置偏差问题，通过打乱选项顺序并进行多轮预测，最终选择最一致、正确的选项。
在测试中，GPT-4结合Medprompt在MultiMed QA九个基准数据集中表现出色，优于其他微调方法。消融实验进一步验证了Medprompt各组件对整体性能的贡献，其中自动生成思维链步骤对性能提升的贡献最大。
此外，研究人员还探索了Medprompt的跨域泛化能力，发现其在不同领域的数据集上同样取得了显著的提升。这一研究成果引发了广泛关注，被认为是一项能够改变行业的技术。目前我们仍未触及提示的极限，也未达到微调的极限，为未来研究和发展提供了更多的探索空间。