当前位置:首页|资讯|机器学习|ChatGPT

JAMA预测模型:机器学习真的比传统回归强吗?

作者:郑老师统计发布时间:2024-06-19


详情请点击右方:科研人如何利用ChatGPT来协助撰写科研论文,看这个课程就够了!

预测模型中,传统的回归模型,如线性回归和逻辑回归,已经在临床研究中使用了几十年。例如,经典的Framingham心血管疾病风险评分就是基于多元线性回归模型的。这些模型通常基于一些假设,如误差的正态性、独立性和同方差性,以及预测变量和结果之间的线性关系。

而近十年来,在临床研究中开始崭露头角的机器学习逐渐受到越来越多的学者青睐,并且随着计算机性能的提高和大数据的出现,机器学习技术被用于处理复杂的非线性关系和高维数据。例如,支持向量机(SVM)、随机森林(RF)和神经网络等机器学习模型已经在临床研究中得到了广泛应用。

那么,在临床研究中,机器学习是否会真的逐步淘汰掉传统的回归模型呢?我们来看一下这篇发表在顶刊JAMA上的文章,标题为”Predictive Accuracy of Stroke Risk Prediction Models Across Black and White Race, Sex, and Age Groups”,这篇文章中就比较了机器学习模型与传统回归模型的性能。


文章摘要

1.目的: 比较新型机器学习模型传统预测模型在预测不同亚组新发脑卒中的性能。

2.人群: 来自美国四项队列的62482名研究对象。

3.结局:随访10年脑卒中的发生风险。


参与对比的模型:预测模型VS机器学习模型

这项研究中评估的模型包括已发表并重新校准的合并队列方程模型弗雷明汉卒中模型和REGARDS 自我报告模型,以及新开发的机器学习模型

1.已发表的模型:

(1)合并队列方程模型(The pooled cohort equations model, PCE)

(2)弗雷明汉卒中模型(The Framingham Stroke model)

(3)REGARDS 自我报告模型(The REGARDS self-report model)


上图是合并队列方程模型中一个分层人群的模型公式,当前美国卒中协会卒中预防指南使用上述风险预测模型来进行筛查和干预,由此该文章作者提出了这些预测模型的算法均依赖于传统的多元回归技术,缺乏关于更复杂的机器学习算法提供的潜在附加预测价值的信息,于是作者进一步构建了新的机器学习模型

2.新的机器学习模型:

(1)弹性网正则化 Cox 比例风险模型(CoxNET)

(2)随机生存森林模型 


模型评价:传统预测模型OR机器学习模型

1.模型评价指标:

(1)使用 Spearman 相关系数和Kappa值评估模型之间的一致性;

(2)该研究中模型性能的评估遵循 TRIPOD标准,使用C 指数和Brier评分评估模型预测能力;

(3)通过标准化的净收益与分类阈值绘制决策曲线评价临床效用;

(4)采用渐近法量化变异性并构建95%置信区间。

2.模型对比结果:

(1)各模型间相关性

合并队列方程、Framingham Stroke 和 REGARDS 自我报告模型与 CoxNET 模型之间存在高度一致性,Spearman 相关性范围为 0.83-0.89,Kappa值范围为 0.63-0.70。随机生存森林和所有其他模型的相关性较弱,Spearman相关性范围为0.68-0.82,Kappa值范围为0.51-0.63。


(2)模型预测能力

新开发的复杂机器学习模型的附加值有限。在各亚组中,CoxNET 模型的C 指数在数值上最高,但与次优模型相比,收益只有不到0.02。两个机器学习模型的C指数除了白人女性亚组外均未高于0.70,而其他模型的C指数则均高于0.70。随机生存森林模型的预测能力最弱,其他模型相对于随机生存森林的性能更好。从C指数结果上看,两个机器学习模型并没有达到比传统模型更好的预测能力。

(3)模型决策曲线

下图的决策曲线绘制了五个模型的净收益与风险分类阈值的关系,这些曲线在整个范围内基本重叠,表明在各个亚组内这几个模型的临床效用仅存在微小差异


小结

从单篇文章,我们不好说,机器学习与传统的回归预测模型相差不大。但现在确实有很多文献相继指出,机器学习不优于传统模型。即便,机器学习由于其出色的性能,在预测模型的效果较好,但往往存在过拟合、其结果不易解释、可视化效果不如传统模型,在临床上应用也存在一些阻碍。这票我仍投给传统回归法构建预测模型。

一个模型好不好,关键还是数据,而不是统计算法。

当然,现在为了毕业论文、SCI论文,机器学习还是值得推荐的。文章方法越复杂,审稿人越看不懂,越容易受到好评。

详情请点击右方:看看文献,顺便发了人生中的第一篇SCI!欢迎参加Meta分析培训课程


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1