人工智能大模型的兴起,让“人工智能+医疗”有了更强大的功能。最近,商汤科技与上海交通大学医学院附属瑞金医院联合展示了“未来医院”建设的最新成果,包括大模型赋能的AI健康咨询、“云上瑞金”智慧服务、全流程管控的智慧运营平台。其中,多院区智慧影像云平台获得大模型赋能,在多院区医疗影像互联互通的基础上,实现了覆盖多部位多病种的放射、病理AI辅诊诊疗,提升了临床诊疗效率。
《中国人工智能大模型地图研究报告》显示,截至目前,我国10亿级参数规模以上的大模型已发布79个,相关应用行业正从办公、生活、娱乐等领域向医疗、工业、教育等领域快速拓展。近日在上海举行的“大爱无疆·日日新”人工智能论坛上,美国罗格斯大学计算机系特聘教授Dimitris Metaxas表示,医疗大模型在解决医疗多模态数据分析和临床长尾问题方面已展现出不俗能力,例如在一些数据较少的临床场景,大模型可带来显著的人工智能效果提升。
“我肚子不舒服”“您还有其他症状吗?”“呕吐、恶心、腹泻”“结合您的症状,填写正确的生日和性别,能够给出更精准的科室推荐哦。”“1993年4月3日,男”“建议您前往消化内科就诊,请点击‘门诊预约’。”
这是一段“智慧陪诊助手”与病人的对话。针对就医环节,商谈科技基于医疗语言大模型“大医”打造了智慧就医平台,具有智能导诊、智能预问诊、诊前检验、智能随访、院内导航等多种功能,实现了诊前、诊中、诊后多个环节的数字化和智能化升级,可缩短患者在院停留时间,优化患者就医体验。
商汤科技副总裁、智慧医疗业务负责人张少霆介绍,商汤大装置SenseCore有5000 Petaflops算力,支持20个千亿参数超大模型同时训练。借助超大算力和医疗基础模型群,公司能基于医疗机构的特定需求,帮助其针对临床长尾问题(大量个性化、零散的临床需求)高效地训练模型,甚至辅助医疗机构进行模型自主训练。“这个模式突破了医疗长尾问题数据样本少、标注难度高的瓶颈,可开展针对不同任务的小数据、弱标注、高效率的训练,同时显著降低大模型部署成本,满足不同医疗机构个性化、多样化的临床诊疗需求。”
凭借这种“医疗大模型工厂”能力,商汤科技与行业伙伴合作,推出了医疗语言大模型、医疗影像大模型、生物信息大模型等多种基础模型,覆盖CT、磁共振、超声、内镜、病理、医学文本、生物信息等不同医疗数据模态。
比如,瑞金医院部署了覆盖全身多部位多器官的AI辅助诊疗应用。这些多院区智慧影像云平台上的应用覆盖肺、心脏冠脉、头颈血管、肝脏、骨科、病理等十余个临床方向,在多模态医疗基础模型的赋能下,能够为不同临床科室提供满足诊、疗、愈全流程的智能化服务,有效提高了医生的诊疗效率和精度。
除了放射影像,瑞金医院病理科也实现了数字化和智能化转型。基于高分辨率的全尺寸数字病理切片图像,智慧病理辅助诊断系统可以自动对数字病理切片进行AI分析,快速定位可疑病灶区域,并检测出异常细胞。目前,相关算法已覆盖消化道活检病理检查、TCT宫颈细胞学筛查、乳腺免疫组化量化分析等一系列场景,缓解了病理医生工作量超负荷的问题,显著提高了阅片效率。
“我们将继续深化‘未来医院’建设,与商汤科技等人工智能领军企业合作,把大模型、元宇宙等前沿科技应用于更多的临床方向,进一步延伸服务边界,为患者提供精益求精的医疗服务。”瑞金医院上海市数字医学创新中心专职副主任朱立峰说。