当前位置:首页|资讯|腾讯|数字人|AI大模型

加速大模型落地,腾讯云蹚出新路径

作者:21世纪商业评论发布时间:2024-01-03

原标题:加速大模型落地,腾讯云蹚出新路径

文丨魏薇 林可

距离OpenAI首次发布聊天机器人ChatGPT,已有285天了。

过去数月,企业对大模型的态度逐步转变。当下,如何将大模型的能力快速、低成本地应用到具体业务场景,成为产业界最关注的问题。

对企业来说,自己组团队开发大模型,成本高、耗时长,效果不一定好;干坐傻等,又没法升级业务,搭不上AI快车。

千行百业“想用大模型又用不上”的痛点,亟待解决。

瞄准产业界需求,腾讯云今年6月发布行业大模型,基于TI平台为广大用户提供MaaS(Model as a service)一站式服务。

9月7日,在腾讯全球数字生态大会上,腾讯云MaaS又宣布了最新升级,以更好地帮助产业客户既快速、又经济地搭建专属大模型

腾讯自主研发的通用大语言模型——混元,也正式面向产业亮相。

升级后的MaaS,就像一个品类丰富的大模型“精选商店”。有需求的企业,步入商店,按需挑选产品,省时省心。

比如,企业可以选用行业大模型,自行训练数据,生成专属大模型;也可以直接选择OCR、数字人等智能应用。

技术升级,加速落地

国内大模型百花齐放,已经过了尝鲜期。

落地应用,赋能业务,在产业更深层次比拼“价值”,是大模型的下一个战场。

“C端火爆的大模型,本质上是个语言模型。大模型的定位不应只是辅助决策,给出一个参考答案。”

对比多家大模型产品之后,蘑菇物联工业 AI 科学家周子叶评价,向要求更高的B端发力,才是大模型真正的价值所在。

深入B端,腾讯云希望和行业客户一起落地大模型,重塑生产力。

必须把大模型技术应用到企业场景中,为客户降本增效”——腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生早就做出如此判断。

汤道生

9月7日,汤道生再次强调,大模型需要基于产业场景,与企业数据融合,才能释放出最大的价值。

自6月推出“MaaS服务”,腾讯云MaaS快速成长,向内,修炼自身技术,向外,不断拓展落地场景。

“我们把腾讯的产品作为一个磨刀石,在内部先磨炼,再出来服务更多行业。”

腾讯云副总裁、腾讯云智能研发负责人、腾讯企点研发负责人吴永坚谈到,未来,还会将AI大模型能力应用到更广泛的PaaS、SaaS产品,一方面,验证MaaS服务的可用性、易用性;

另一方面,也将更多开箱即用的产品、服务,向客户开放,推动大模型在实际生产、运营场景发挥效用。

历练三个多月,在技术底座、平台能力、智能应用三个维度上,腾讯云Maas均有较大升级。

吴永坚

完善后的MaaS“精选商店”分为四层,能力更强,应用更广

底层是以基础设施、腾讯混元大模型、行业大模型、开源模型组成的技术底座。

其中,基础设施包括算力(HCC高性能计算集群)、数据(向量数据库)和网络(星脉计算网络),性能强劲。

比如,若想在大模型中找到一张带“猫”的图片,向量数据库能在1百毫秒内,从10亿张向量化的图片中,返回查询结果。

中间层“TI平台”的货架上,摆满了工具

企业可按需选用数据标注、训练、评估、测试和部署等“大模型”工具。

此次升级后,TI平台更易使用,比如其为客户内置了精选模型,可一键启动精调任务。

第三层是面向行业的MaaS层。

企业可以根据需要,选择合适的模型,再借助腾讯云的TI平台,导入专有数据,做进一步的训练与精调,快速生成更有针对性的专属大模型,满足企业个性化需求。

顶层是场景层,包含众多成熟智能应用。企业无需费时费力,可以直接选用AI助手、数智人、车载助手、AI绘画、OCR大模型等成品。

基础稳固,厚积薄发

按需定制、量体裁衣,考验平台实力。其不仅要把底层的算法、算力和数据扎扎实实做好,还需具备场景落地的能力。

输出一整套能力的背后,是腾讯数十年如一日的积累。

“大模型的本质就是深度学习。腾讯十几年前就已经进入深度学习赛道。”

吴永坚表示,客户若直接用开源代码去训练和推理,时间长、成本高。

据吴介绍,腾讯一直在关注大模型相关技术,只是相对低调,没有对外说。

“比如星脉计算网络,是花费多年时间研发出来的,几个月的时间里,不可能有如此大的进展。”

技术有了,场景落地,还需要一支基本功扎实、灵活作战的队伍。

腾讯云内部,有跟进前沿技术的产研团队,背后有优图实验室。

“从2012年优图成立开始,我们就强调,研究和落地两条腿并重。”

腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声介绍,优图一方面坚持在技术方面做研究,为长期的发展做准备;另一方面会紧密地跟行业结合,把技术应用到行业中,产生实际的价值。

优图实验室的技术早就落地到工业、金融、传媒、政务、能源等行业。

去年,腾讯云与立铠精密达成合作,在了解到对方存在“硬件缺陷多样、成像复杂”等质检难题后,便开展了算法研究。

针对工业场景缺陷样本少、缺陷噪音多、产品型号广等问题,优图实验室通过小样本学习、域迁移学习、带噪学习和模板学习等方法提升了算法的鲁棒性与泛化性。

最终,立铠精密用AI工具替代了原有的目视检测,漏检率接近于0。

配合技术团队,解决客户的实际问题,腾讯组织体系灵活。其产品架构师直接对接客户需求,快速传递给后方,内部再给出解决方案。

“针对某些头部客户,我们甚至会驻场,提供贴身服务,到现场去看问题,更好地满足其需求,积累经验,沉淀到产品里。”吴永坚补充。

“对前方销售团队来说,大模型能够带来新订单,其有强劲意愿拉动后场产研去打胜仗。”吴永坚谈道,部门之间,沟通也顺畅。

这支团队,正深入千行百业,实实在在地提升生产力。

扎根行业,实用性优先

B端需求千变万化,落地大模型,并不容易。

吴永坚举了个例子,有位客户想做一个智能客服应用,对语言的精准度要求高,担心“说得多,错得多”。

“不说错话,这很关键。跟他的需求结合,(模型)的生成能力可以不用那么强,更重视安全。”

他解释,实用性,是CSIG(腾讯云与智慧产业事业群)最关注的一个点。腾讯云做大模型,不是为了强调自身技术有多强,而是为了解决客户的问题

除需求各异外,企业的资源、禀赋不同,落地大模型也需要考虑自身实际条件。

“大模型要想真正做到量产实用,效率及成本控制必须是极致的,否则高昂的人力、计算成本容易让行业大模型落地成为纸上谈兵。”一位AI企业创始人说。

客户提需求,腾讯云扎根业务,量体裁衣,给出实用的解决方案。

比如,在内容创作领域,腾讯云和阅文集团达成合作。

阅文平台,用户有大量复杂的“文生图/图生图”需求,其需要处理海量的模型,投入算法和工程师团队进行维护,同时,千百亿级别的模型,推理部署成本高昂,推理吞吐和时延存在瓶颈。

该公司选用“商店”里的Angel加速引擎,推理能力提升30%。大模型提供动态batch和自动服务调度机制,大幅提高服务吞吐量。

腾讯云还将大模型与腾讯的行业解决方案、企业级应用结合,在生产、营销、售后服务、办公等多个环节,实现能力提升,达至降本增效。

例如,在能源领域,大量电网设备散布在偏远地区,依靠人工巡检方式,故障隐患无法及时发现和处理,影响电力生产安全。

腾讯云训练电力视觉大模型,可以适应不同电网场景,具有高检出率、低误检率、泛化能力强的优势,助力电网生产经营和减负增效。

在上海仁济医院,腾讯云将数智人与医疗大模型结合,合作开发了“数智人医疗智能客服”。

通过这个“虚拟护士”,患者可以用语音咨询看哪个科室,找哪个医生。系统的回复也更准确。这既保障了患者高效就医,又避免了三甲医院专家资源的浪费。

“现阶段,我们挑选若干个关键场景,结合客户的需求做深做透,形成标杆,希望往后能够往腰部覆盖、规模化。”吴永坚表示。

新生产力工具正对千行百业赋能、提效。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1