人工 AI 在临床医学上的应用发展到什么程度了?
近日,谷歌于 Nature 发表了题为:Large language models encode clinical knowledge 的研究论文,展现了专精于医学领域的大语言模型——Med-PaLM——的测评结果。
论文截图
Med-PaLM 在大语言模型 Flan-PaLM 的基础上进行微调。研究人员首先对 Flan-PaLM 进行测试,结果发现,在整合了美国医师执照考试类问题的数据集中, Flan-PaLM 达到了 67.6% 的准确率,达到了通过考试的标准(60%)。不过,进一步评估显示,Flan-PaLM 在回答消费者的医疗问题方面依然存在不足。
论文截图
经过更适应医学领域的调整后,Med-PaLM 诞生。研究人员让真正的人类临床医生和 Flan-PaLM、Med-PaLM 共同回答了 140 个临床问题,并将答案交由一组临床医生评分。
测试结果显示 ,评分小组认为 Flan-PaLM 的答案只有 61.9% 符合科学共识,而 Med-PaLM 的这一比例为 92.6%,与临床医生生成的答案(92.9%)相当。此外,29.7% 的 Flan-PaLM 答案被评为可能导致有害结果,而 Med-PaLM 的这一比例为 5.9%,这与临床医生生成的答案(5.7%)的结果相似。
论文截图
论文表示,尽管研究结果展现出了一定的希望,但医学领域非常复杂,依然有许多困难需要克服和改善,在 Med-PaLM 真正应用于临床之前,还需要更详细的进一步评估。 (策划:z_popeye|监制:gyozua、carellero)
丁香园是面向医疗从业者的专业平台,以「助力中国医生」为己任。在丁香园,可以和同行讨论病例 ,在线学习公开课,使用用药助手等临床决策工具,在丁香人才找可靠医疗岗位。