AI长手长脚了，买咖啡、充话费、挂号等

作者／ IT时报记者孙妍

编辑／孙妍

AI Agent把2024世界人工智能大会（WAIC2024）包围了，它又被称为AI助理或AI智能体。国民App支付宝也被生活、金融和医疗三大AI助理改造了。

支付宝AI生活管家能帮你自动下单一杯星巴克冰美式，AI金融管家能帮你制定一份中产家庭资产配置方案，AI就医助理能像AI陪诊员一样，陪老人挂号、咨询。AI助理出现后，交互方式改变了，只需要像跟人交流一样使用自然语言，大大降低了专业服务的门槛。

在移动互联网时代，二维码让移动支付成为每个人的生活日常，“扫一扫”让小商家用最低成本完成生意中的支付环节，让普通人都享受到了技术红利。

“在人工智能带时代，我们也在探索，让AI像扫码支付一样便利每个人的生活。”蚂蚁集团董事长兼CEO井贤栋表示，通过专业智能体的深度连接，Al会像互联网一样，带来服务的代际升级。

三大AI助理“再造”支付宝

作为国内最早布局AI大模型的厂商，蚂蚁自研的百灵大模型2023年已通过备案，当下蚂蚁打造了三个管家：AI生活管家、AI金融管家和AI医疗健康管家。

为何会选择生活、金融、医疗这三个场景？蚂蚁集团CTO何征宇在接受《IT时报》等媒体采访时提到，这是蚂蚁有生态积累、用户有需求的三个专业领域。

而大模型在严谨产业落地面临着三个“能力短板”，领域知识相对缺乏、复杂决策难以胜任、对话交互不等于有效协同，于是蚂蚁选择了构建专业智能体生态的路径。

随着世界最好模型们的逐步开源，模型之间的差距如何拉开？高质量数据是未来大模型竞争的焦点已经成为行业共识。

如何说服金融、医疗等严谨行业来用大模型？蚂蚁的答案是让大模型具备专家知识水平，因为垂直领域数据往往以多种模态存在，体系庞杂，比较分散，对隐私保护和资产价值保护的要求高，很难直接“喂给”通用大模型。

蚂蚁AI助理的核心壁垒就是专业性和安全性。井贤栋介绍，蚂蚁依托知识图谱、密态计算等技术，构建了大规模专业知识引擎，可以将垂直领域不同类型的数据，抽象成不涉及隐私信息的领域知识，“合成”为大模型的“专业教材”，供大模型训练学习，也能让大模型在推理中随时“翻阅”。

这次亮相WAIC2024的百灵医疗领域大模型背后，是支付宝和人民卫生出版社、浙江大学联合构建的全国权威医学专业教材医疗知识图谱。蚂蚁和上海市一医院联合打造的AI就医助理，背后是上海市一医院自建的服务与病例知识库。

医疗是最容不得大模型幻觉的领域，毕竟影响的是健康甚至生命。于是，蚂蚁与大量行业技术专家共创，从源头上杜绝幻觉，让智能体借鉴人类专家的思考方式，构建专业的推理和决策能力，这就是FoE专家级决策框架（Framework of Experts）。在研发阶段，支付宝就与数百个专业医学团队、专家进行合作标注数据，保障信息权威可信，联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。

同理，投资研究智能体“支小助”学习了金融专家的分析推理框架，在接到不同的投研任务时，它会动态学习专家的思考方式来生成，可以实现媲美人类专家的金融分析能力。目前“支小助”已经为超百家金融机构提供服务，背后的专业智能体框架AgentUniverse已对外开源。

在WAIC 2024上，开源与闭源的道路选择又引发了一波讨论。井贤栋认为，未来智能化的用户体验，一定不是只靠一个大模型，而是需要全行业深度协作，需要很多专业智能体共同参与、各司其职。蚂蚁坚持走开放道路，和行业共建专业智能体生态。

蚂蚁和浙江卫健委联合推出数字健康管家“安诊儿”，背后就是一个连接着多家医院、多个医疗机构的智能体生态。安诊儿的服务贯穿诊前、诊中、诊后，覆盖挂号、咨询、用药、健康科普等26个环节，未来每个环节都会有专业的智能体服务。今年，安诊儿将升级为2.0版本，真正带来全流程的就医智能体网络。

蚂蚁百灵大模型让大模型更像真人

原生多模态被认为是通往AGI的必经之路，在国内，目前只有为数不多的大模型厂商实现了这一能力。多模态技术可以让大模型像人一样感知和互动，是AI智能体的“感官”，能使AI更好地理解人类世界的复杂信息。

百灵大模型已经具备原生多模态能力，能“看”会“听”、能“说”会“画”，可以直接理解并训练音频、视频、图、文等多模态数据。

“我的冰箱里有这些食材，能做什么菜？”“你看看我今天这身适合跟男神约会吗？”“这几天我有点头痛，适合吃哪种药？”通过视频对话，AI助理就能为你给出约会穿搭建议、菜谱组合、服药建议等，整个体验更符合人类的交互习惯，在智能客服、自动驾驶、医疗诊断等领域具备应用潜力。

大模型有四个发展阶段：感知智能、认知智能、运动智能、情感意识。能说会道只是感知智能和认知智能层面，但要真的有用，就必须具有一定规划执行能力，比如帮用户充一笔话费，帮用户在星巴克小程序会下单一杯咖啡等。

基于百灵大模型多模态能力，由蚂蚁集团与武汉大学联合研发的遥感模型SkySense，也在WAIC2024上公布开源计划。SkySense是目前参数规模最大、覆盖任务最全、识别精度最高的多模态遥感基础模型。

“从单一的文本语义理解，到多模态能力，是人工智能技术的关键迭代，而多模态技术催生的‘看听说写画’的应用场景，将让AI的表现更真实，更接近人类，从而也能更好地服务人类。蚂蚁会持续投入原生多模态技术的研发。”蚂蚁集团副总裁徐鹏说。

医疗AI共建计划 20家机构联合发起

“浙江杭州最好的儿童医院有哪几家？”当《IT时报》记者这样询问支付宝AI就医助理“安诊儿”时，它会立即推荐多家专业权威医院，并可一键跳转预约挂号。

去年11月，浙江卫健委应用支付宝开放的“AI就医助理”解决方案，依托大模型、数字人技术，打造了全国首个数字健康人“安诊儿”，给浙江居民提供云陪诊、健康咨询等服务，上线以来，服务了1000多家医疗机构。上海市第一人民医院应用AI大模型，不仅上线了上海首个可语音交互的“数字陪诊师”，还在业内首创了生成式电子病历，将繁杂的文书工作从原本的10分钟缩减到了15秒。

经过半年多测试打磨，支付宝医疗大模型终于在WAIC 2024“可信大模型论坛”上亮相，这是国内首批多模态医疗大模型之一。

看不懂病历和医学报告，不知道自己脱发严不严重，医疗大模型来帮你。目前，支付宝医疗大模型可以提供智能问答、病历结构化和检索、辅助诊断、识别解读药品和上百种医学报告，甚至进行毛发健康检测，这些都能嵌入医院等医疗机构的全流程，提高运营效率。

支付宝医疗大模型的基座模型正是蚂蚁百灵大模型，如何在这个基座上搭房子？主材是包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱，中英文医疗考试、基准测试达到或超过GPT-4水准，医疗专业能力在中文医疗LLM评测榜单promptCBLUE中，位列A榜第一，B榜第二；架构是全栈自研医疗多模态结构，使得模型识别报告、药品、毛发等图像准确率达90%以上，相关技术在行业顶尖技术期刊与会议CVPR、KDD、ECCV等发表了多项成果。

医疗对数据隐私安全保障要求极高的行业，几乎所有大模型在落地医院时，都会被问到一个问题：如何保障医疗数据可用不可见？据蚂蚁集团大模型应用部总经理顾进杰介绍，支付宝推出“医疗可信一体机+可信云”的解决方案，其中可信云是通过公有云和专有云部署密态推理，来保障数据安全和商业保密。如果医院本身算力不足，可以部署百灵医疗可信一体机，开箱即用，训推一体，支持国产算力。

数据安全、回答可靠是大模型跨进医疗领域的第一步，在WAIC 2024上，支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业，联合发起了AI医疗共建计划，共同探索大模型应用及各类专科模型创新研发。

10年以来，支付宝一直推动着医疗便利的进程。2014年，支付宝支持全国第一笔远程挂号缴费。2024年，支付宝已服务超6亿看病就医人群，成为国内规模最大的医保第三方在线服务平台。全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。

“支付宝会持续开放AI技术与行业解决方案，与合作伙伴一起，推动智能医疗走向普惠、普及。让AI像‘扫码支付’一样便利每个人的生活。”支付宝副总裁、数字医疗健康事业部总经理张俊杰表示。

排版／ 季嘉颖

图片／ WAIC

来源／《IT时报》公众号vittimes

E N D